Arenadata Hadoop

В разработке. HUE (Hadoop User Experience) – это веб-интерфейс экосистемы Hadoop для анализа данных.

Hue позволяет пользователям выполнять анализ данных без потери контекста. Цель состоит в том, чтобы продвигать самообслуживание и оставаться простыми, как Excel, чтобы пользователи могли находить, исследовать, запрашивать и анализировать имеющиеся данные

Одним из главных достоинств Hue является возможность подключения к различным источникам данных: Apache Hive, Impala, Flink SQL, Spark SQL, Phoenix, ksqlDB, Apache Hadoop HDFS, Ozone, HBase и пр.

В разработке. Apache Ozone – это масштабируемое и распределенное объектное хранилище с открытым исходным кодом, предназначенное для нагрузок с большими данными. Является частью экосистемы Apache Hadoop и построен поверх распределенной файловой системы Hadoop (HDFS).

Ozone разработан для обеспечения высокой производительности и масштабируемости при хранении и обработке больших объемов неструктурированных данных, таких как файлы журналов, изображения, видео и другие объекты данных. Он оптимизирован для нагрузок, требующих высокой пропускной способности и низкой задержки, таких как аналитика больших данных, машинное обучение и обработка потоковых данных.

Одной из ключевых особенностей Ozone является поддержка нескольких типов хранилищ, включая горячее (hot), теплое (warm) и холодное (cold). Это позволяет хранить данные в зависимости от шаблонов доступа и жизненного цикла, оптимизируя затраты и производительность.

Ozone также имеет встроенные возможности репликации и распределения данных, что позволяет хранить данные на нескольких узлах кластера Hadoop для повышения их доступности.

Apache Kyuubi — это распределенный многопользовательский шлюз для предоставления SQL для DWH и DataLake.

Kyuubi создает распределенные механизмы запросов SQL поверх различных видов современных вычислительных платформ, например, Apache Spark, Flink, Hive, Impala и т. д., чтобы получать и обрабатывать большие наборы распределенных данных из разнородных источников.

Apache Impala – это движок для SQL-запросов с открытым исходным кодом, предназначенный для массивно-параллельной обработки (MPP) больших объемов данных в режиме реального времени. Позволяет выполнять интерактивные запросы к данным Apache Hadoop, хранящимся в HDFS/HBase. Impala был разработан как более быстрый и эффективный механизм запросов SQL для обработки больших данных по сравнению с традиционными SQL-движками, ориентированными на пакетную обработку.

Impala обеспечивает высокую производительность благодаря архитектуре MPP, которая позволяет распределять обработку данных между несколькими узлами кластера Hadoop. Impala также поддерживает такие расширенные возможности, как complex joins, подзапросы и агрегатные функции.

Impala разработан для простоты использования и интеграции с существующими инструментами BI и аналитики. Сервис поддерживает стандартные SQL-запросы и JDBC/ODBC-драйверы для простой интеграции с широким спектром приложений.

Apache ZooKeeper – это распределенный сервис, предназначенный для координации больших распределенных систем. Он предоставляет централизованную инфраструктуру для поддержания информации о конфигурации, именовании, обеспечении распределенной синхронизации и предоставлении групповых сервисов. ZooKeeper широко используется в кластерах Hadoop для координации распределенных систем и обеспечения того, чтобы каждому узлу в кластере было известно о состоянии других узлов.

HDFS – масштабируемая и отказоустойчивая распределенная файловая система, составляющая основу платформы ADH. Позволяет хранить большие объемы данных на нескольких узлах кластера со встроенной избыточностью для постоянной доступности данных даже в случае отказа узла. HDFS оптимизирована для работы с большими файлами, что делает ее идеальным выбором для приложений больших данных.

YARN – это система управления ресурсами и планирования задач, которая позволяет одновременно запускать несколько приложений в кластере Hadoop. YARN позволяет динамически распределять ресурсы кластера в зависимости от потребностей каждого приложения, а также контролировать и управлять этими ресурсами для обеспечения оптимальной производительности.

Это база данных NoSQL, которая обеспечивает доступ в режиме реального времени для чтения/записи больших массивов данных, хранящихся в Hadoop. HBase разработана для обработки огромных объемов данных и оптимизирована для случайного доступа к данным в режиме реального времени, что делает ее популярным выбором для приложений big data, которым требуется доступ к большим массивам данных с низкой задержкой.

Apache Phoenix – это SQL-подобный механизм запросов для Hadoop с открытым исходным кодом, предназначенный для быстрого и эффективного выполнения запросов к большим наборам данных. Phoenix построен на базе HBase, что означает, что он может обрабатывать огромные объемы данных с низкой задержкой и обеспечивает поддержку обновлений и доступа к данным в режиме реального времени.

Apache Spark – это быстрый и мощный механизм обработки данных с открытым исходным кодом, который обеспечивает масштабируемые, отказоустойчивые возможности обработки данных для больших нагрузок. Компонент Apache Spark в составе Arenadata Hadoop обеспечивает высокопроизводительную и распределенную вычислительную структуру, которая может обрабатывать большие массивы данных параллельно на узлах кластера. Благодаря своим расширенным аналитическим возможностям, включая машинное обучение, обработку графов и SQL-подобные запросы, Apache Spark может помочь бизнесу извлечь ценные сведения из своих данных.

Apache Hive – это инфраструктура хранилища данных с открытым исходным кодом, предоставляющая возможности обобщения данных, запросов и анализа больших наборов данных, хранящихся в Hadoop. Компонент Apache Hive в составе Arenadata Hadoop предоставляет SQL-подобный интерфейс для запросов к данным в Hadoop, позволяя бизнесу выполнять специальные запросы, осуществлять анализ данных и вести отчетность. Hive конвертирует SQL-запросы в MapReduce-задачи для выполнения в кластере Hadoop. Благодаря поддержке разбиения, индексирования и сжатия Hive может помочь бизнесу оптимизировать хранение и обработку данных в Hadoop.

Apache Tez – это платформа обработки данных с открытым исходным кодом, которая обеспечивает гибкое, эффективное и масштабируемое выполнение сложных задач обработки данных в кластере Hadoop. При использовании вместе с Apache Hive Tez обеспечивает более быстрое и эффективное выполнение запросов Hive, заменяя механизм выполнения MapReduce на более оптимизированный.

Комбинация Hive + Tez в Arenadata Hadoop обеспечивает мощную и масштабируемую платформу для хранилищ данных, позволяя бизнесу выполнять специальные запросы, осуществлять анализ данных и вести отчетность в масштабе. Благодаря поддержке динамического планирования задач и разделения данных, Tez может ускорить обработку запросов, оптимизируя поток данных между операторами Hive.

Apache Flink – это система обработки потоковых данных с открытым исходным кодом, которая позволяет обрабатывать большие объемы данных в реальном времени с низкой задержкой. Компонент Apache Flink в составе Arenadata Hadoop предоставляет распределенную вычислительную среду для обработки данных в реальном времени, которая может быть легко интегрирована с пакетной обработкой. Flink поддерживает событийно-ориентированную обработку и предоставляет единую модель программирования как для пакетной, так и для потоковой обработки, что делает его идеальным для построения конвейеров (pipelines) обработки данных. Благодаря своим расширенным возможностям, включая поддержку потоковой обработки данных с учетом состояния, оконной обработки и машинного обучения, Apache Flink может помочь компаниям получить представление о данных в реальном времени.

Apache Solr – это поисковая платформа корпоративного уровня с открытым исходным кодом, построенная на базе поисковой библиотеки Apache Lucene. Solr представляет собой надежное и масштабируемое решение для поиска, которое используется организациями всех размеров для обеспечения функциональности поиска на их веб-сайтах, в мобильных и других приложениях.