Arenadata Hyperwave
Arenadata Hyperwave (ADH) — это универсальная гибридная платформа, основанная на компонентах с открытым исходным кодом и проприетарной разработке, предназначенная для хранения, обработки и анализа данных любой структуры и объема.
ТОП-10 популярных статей
Обзор Apache Iceberg — открытого формата таблиц для больших хранилищ данных, который обеспечивает ACID-транзакции, перемещение во времени (time travel), изменение схемы (schema evolution), изменение партиции (partition evolution) и предоставляет другие возможности работы с данными.
Список требований к программному обеспечению для работы c кластером Arenadata Hyperwave.
Обзор механизма аутентификации Kerberos, используемого для безопасного доступа к ADH-кластерам.
В статье описан процесс создания и запуска вашего первого DAG с использованием файлов CSV. Этот DAG будет имитировать процесс ETL (Extract, Transform, Load).
Анализ плана выполнения запросов Hive с помощью команд EXPLAIN и ANALYZE.
Обзор архитектуры HDFS (Hadoop Distributed File System) — распределенной файловой системы, которая обеспечивает высокую отказоустойчивость на оборудовании с низкой стоимостью.
Обзор сервиса Ozone — распределенного хранилища объектов, использующего формат ключ/значение и оптимизированного для работы как с сервисами Hadoop, так и с хранилищами S3.
Обзор сервиса Kyuubi — распределенного многопользовательского JDBC-интерфейса для обработки и анализа больших данных.
Обзор сервиса HBase — распределенной базы данных, функционирующей поверх HDFS, которая обеспечивает высокоскоростной произвольный доступ к большим объемам структурированных или полуструктурированных данных.
Описание наиболее распространенных HDFS-команд с примерами.