Документация Arenadata
Наша цель — создание эффективных и гибких решений, масштабируемых до десятков петабайт
Продукты
Ознакомьтесь с нашими современными решениями в области Big Data

Arenadata Streaming

Arenadata Streaming (ADS) – это платформа потоковой передачи данных в реальном времени, разработанная компанией Arenadata. ADS предназначена для того, чтобы предприятия могли обрабатывать, анализировать и реагировать на большие объемы потоков данных в режиме реального времени.
Платформа использует Apache Kafka в качестве основной системы обмена сообщениями, известной своей высокой пропускной способностью и низкой задержкой. Arenadata Streaming обеспечивает распределенную и отказоустойчивую архитектуру, которая может обрабатывать большие объемы данных из различных источников, включая базы данных, устройства IoT, датчики и другие источники потоковой передачи.
Сценарии использования
Прием данных в режиме реального времени

Arenadata Streaming может принимать данные в режиме реального времени из различных источников, включая базы данных, датчики и устройства IoT.

Обработка данных

Платформа может обрабатывать и преобразовывать потоки данных в режиме реального времени, используя возможности обработки потоков Apache Kafka.

Аналитика

Arenadata Streaming предоставляет инструменты для анализа данных в реальном времени, включая машинное обучение, прогнозную аналитику и обнаружение аномалий.

Интеграция

Платформа предлагает интеграцию с другими системами данных, такими как базы данных Hadoop, Spark и NoSQL.

IoT

MiNiFi может быть интегрирован с протоколом MQTT (Message Queuing Telemetry Transport), который представляет собой облегченный протокол обмена сообщениями, разработанный для устройств IoT. Эта интеграция позволяет MiNiFi получать и публиковать данные для брокеров MQTT, которые можно использовать для потоковой передачи и обработки данных в реальном времени на периферии.

Enterprise
Community
Управление кластером и мониторинг
Автоматизация развертывания и обновления
Offline-установка
Высокая доступность
Расширенные функции безопасности (шифрование, управление доступом на основе ролей)
Техническая поддержка 24/7
Корпоративные обучающие курсы
Индивидуальные решения
Доступные интеграции
ADB
ADB
Для чтения данных существует расширение для Arenadata Database (ADB), реализующее транзакционую загрузку данных из ADS.
Запись данных в ADS от ADB обеспечивается плагином PXF.
Существующие инструменты для взаимодействия с ADB:
  • Kafka Connect. Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и базами данных в обоих направлениях в режиме реального времени для обработки и анализа.
  • Kafka JDBC Connector. Коннектор Kafka с открытым исходным кодом, который обеспечивает простой способ подключения Kafka к базе данных с помощью JDBC. Kafka JDBC Connector можно использовать для потоковой передачи данных из топиков Kafka в базу данных в режиме реального времени или для потоковой передачи данных из базы данных в топики Kafka.
  • NiFi Database Connection Pooling Service. Встроенный сервис NiFi, который позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
ADH
Arenadata QuickMarts
Kafka Connect – инструмент для масштабируемой и надежной потоковой передачи данных, используемый для передачи данных между Kafka и Arenadata Hadoop (ADH) в обоих направлениях и обеспечивающий потоковую передачу данных в ADH в режиме реального времени для обработки и анализа.
Существует большой набор коннекторов NiFi для взаимодействия с сервисами ADH.
ADQM
ADQM
Существующие коннекторы для взаимодействия с Arenadata QuickMarts (ADQM):
  • Kafka Connect ClickHouse Sink. Подключаемый модуль Kafka Connect, который позволяет передавать данные из Kafka в ADQM в режиме, близком к реальному времени. ClickHouse Sink Connector можно использовать для потоковой передачи данных из топиков Kafka в таблицы ADQM в виде отдельных строк либо пакетов строк.
  • Kafka JDBC Connector. Подключаемый модуль Kafka Connect, который предоставляет способ подключения к JDBC-совместимой базе данных, такой как ClickHouse. Коннектор JDBC можно использовать для потоковой передачи данных из топиков Kafka в таблицы ADQM, что позволяет анализировать и обрабатывать данные в режиме реального времени.
  • NiFi Database Connection Pooling Service. Встроенный сервис NiFi, которая позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
ADPG
ADPG
Существующие коннекторы для взаимодействия с Arenadata Postgress (ADPG):
  • Kafka Connect. Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и базой данных в обоих направлениях. Обеспечивает потоковую передачу данных в базу данных в режиме реального времени для обработки и анализа.
  • Kafka JDBC Connector. Коннектор Kafka с открытым исходным кодом, который обеспечивает простой способ подключения Kafka к базе данных с помощью JDBC. Kafka JDBC Connector можно использовать для потоковой передачи данных из топиков Kafka в базу данных в режиме реального времени или для потоковой передачи данных из базы данных в топики Kafka.
  • NiFi Database Connection Pooling Service. Встроенный сервис NiFi, которая позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
Oracle
Oracle
Существующие инструменты для взаимодействия с Oracle:
  • Kafka Connect. Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и базой данных в обоих направлениях. Обеспечивает потоковую передачу данных в базу данных в режиме реального времени для обработки и анализа.
  • Kafka JDBC Connector. Коннектор Kafka с открытым исходным кодом, который обеспечивает простой способ подключения Kafka к базе данных с помощью JDBC. Kafka JDBC Connector можно использовать для потоковой передачи данных из топиков Kafka в базу данных в режиме реального времени или для потоковой передачи данных из базы данных в топики Kafka.
  • NiFi Database Connection Pooling Service. Встроенный сервис NiFi, который позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
MS SQL
MS SQL
Существующие инструменты для взаимодействия с MS SQL:
  • Kafka Connect. Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и базой данных в обоих направлениях. Обеспечивает потоковую передачу данных в базу данных в режиме реального времени для обработки и анализа.
  • Kafka JDBC Connector. Коннектор Kafka с открытым исходным кодом, который обеспечивает простой способ подключения Kafka к базе данных с помощью JDBC. Kafka JDBC Connector можно использовать для потоковой передачи данных из топиков Kafka в базу данных в режиме реального времени или для потоковой передачи данных из базы данных в топики Kafka.
  • NiFi Database Connection Pooling Service. Встроенная служба NiFi, которая позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
S3
S3
Существующие инструменты для взаимодействия с S3:
  • Kafka Connect S3 Sink. Подключаемый модуль Kafka Connect, который позволяет передавать данные из Kafka в S3 в режиме, близком к реальному времени. S3 Sink Connector можно использовать для потоковой передачи данных из топиков Kafka в бакеты S3 в виде отдельных объектов либо в виде пакетов объектов. Эта интеграция может быть особенно полезна для долгосрочного хранения и архивирования данных из Kafka.
  • Kafka Connect S3 Source. Подключаемый модуль Kafka Connect, который обеспечивает способ передачи данных из S3 в Kafka. S3 Source Connector можно использовать для потоковой передачи данных из объектов S3 в топики Kafka, что позволяет анализировать и обрабатывать данные в режиме реального времени.
  • S3 Object Processor. Процессор NiFi, который можно использовать для выполнения операций CRUD (создание, чтение, обновление, удаление) над объектами S3. Процессор объектов S3 можно настроить для взаимодействия с S3 с помощью ключей доступа или ролей и использовать для передачи данных между NiFi и S3 в режиме реального времени.
  • Amazon S3 Put/Get Object processors. Процессор PutS3Object можно использовать для записи данных из NiFi в S3, а процессор GetS3Object – для чтения данных из S3 в NiFi.
MongoDB
MongoDB
Существующие инструменты для взаимодействия с MongoDB:
  • Kafka Connect MongoDB Sink. Подключаемый модуль Kafka Connect, который позволяет передавать данные из Kafka в MongoDB в режиме, близком к реальному времени. Kafka Connect MongoDB Sink можно использовать для потоковой передачи данных из топиков Kafka в коллекции MongoDB в виде отдельных документов либо пакетов документов.
  • Kafka MongoDB Source Connector. Подключаемый модуль Kafka Connect, который предоставляет способ получения данных из набора реплик MongoDB в топики Kafka практически в режиме реального времени.
  • PutMongoRecord Processor. Встроенный процессор NiFi, который можно использовать для записи данных из NiFi в MongoDB в режиме, близком к реальному времени. PutMongoRecord Processor можно настроить для подключения к MongoDB с использованием клиента MongoDB и учетных данных, а также использовать для вставки данных в коллекции MongoDB из NiFi.
  • GetMongo Processor. Встроенный процессор NiFi, который можно использовать для чтения данных из MongoDB и передачи их в NiFi для дальнейшей обработки. Процессор GetMongo можно настроить для подключения к MongoDB с использованием клиента MongoDB и учетных данных, а также использовать для извлечения данных из коллекций MongoDB для дальнейшей обработки в NiFi.
AVRO
AVRO
AVRO – двоичный формат данных, разработанный для того, чтобы быть компактным и быстрым. Он поддерживает эволюцию схемы, которая позволяет изменять схемы данных с течением времени, не требуя перезаписи или перезагрузки данных.
JSON
JSON
JSON (JavaScript Object Notation) – упрощенный формат данных, который обычно используется для обмена данными между приложениями.
Операционные системы
Alt Linux 8.4 SP
Поддерживается
CentOS 7
Поддерживается
RedHat 7
Поддерживается
RedOS
Поддерживается
Astra Linux
Поддерживается
Управление кластером и мониторинг
Автоматизация развертывания и обновления
Offline-установка
Высокая доступность
Расширенные функции безопасности (шифрование, управление доступом на основе ролей)
Техническая поддержка 24/7
Корпоративные обучающие курсы
Индивидуальные решения
Доступные интеграции
ADB
ADB
Доступно только для Enterprise
ADH
Arenadata QuickMarts
Kafka Connect – инструмент для масштабируемой и надежной потоковой передачи данных, используемый для передачи данных между Kafka и Arenadata Hadoop (ADH) в обоих направлениях и обеспечивающий потоковую передачу данных в ADH в режиме реального времени для обработки и анализа.
Существует большой набор коннекторов NiFi для взаимодействия с сервисами ADH.
ADQM
ADQM
Существующие коннекторы для взаимодействия с Arenadata QuickMarts (ADQM):
  • Kafka Connect ClickHouse Sink. Подключаемый модуль Kafka Connect, который позволяет передавать данные из Kafka в ADQM в режиме, близком к реальному времени. ClickHouse Sink Connector можно использовать для потоковой передачи данных из топиков Kafka в таблицы ADQM в виде отдельных строк либо пакетов строк.
  • Kafka JDBC Connector. Подключаемый модуль Kafka Connect, который предоставляет способ подключения к JDBC-совместимой базе данных, такой как ClickHouse. Коннектор JDBC можно использовать для потоковой передачи данных из топиков Kafka в таблицы ADQM, что позволяет анализировать и обрабатывать данные в режиме реального времени.
  • NiFi Database Connection Pooling Service. Встроенный сервис NiFi, которая позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
ADPG
ADPG
Существующие коннекторы для взаимодействия с Arenadata Postgress (ADPG):
  • Kafka Connect. Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и базой данных в обоих направлениях. Обеспечивает потоковую передачу данных в базу данных в режиме реального времени для обработки и анализа.
  • Kafka JDBC Connector. Коннектор Kafka с открытым исходным кодом, который обеспечивает простой способ подключения Kafka к базе данных с помощью JDBC. Kafka JDBC Connector можно использовать для потоковой передачи данных из топиков Kafka в базу данных в режиме реального времени или для потоковой передачи данных из базы данных в топики Kafka.
  • NiFi Database Connection Pooling Service. Встроенный сервис NiFi, которая позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
Oracle
Oracle
Существующие инструменты для взаимодействия с Oracle:
  • Kafka Connect. Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и базой данных в обоих направлениях. Обеспечивает потоковую передачу данных в базу данных в режиме реального времени для обработки и анализа.
  • Kafka JDBC Connector. Коннектор Kafka с открытым исходным кодом, который обеспечивает простой способ подключения Kafka к базе данных с помощью JDBC. Kafka JDBC Connector можно использовать для потоковой передачи данных из топиков Kafka в базу данных в режиме реального времени или для потоковой передачи данных из базы данных в топики Kafka.
  • NiFi Database Connection Pooling Service. Встроенный сервис NiFi, который позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
MS SQL
MS SQL
Существующие инструменты для взаимодействия с MS SQL:
  • Kafka Connect. Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и базой данных в обоих направлениях. Обеспечивает потоковую передачу данных в базу данных в режиме реального времени для обработки и анализа.
  • Kafka JDBC Connector. Коннектор Kafka с открытым исходным кодом, который обеспечивает простой способ подключения Kafka к базе данных с помощью JDBC. Kafka JDBC Connector можно использовать для потоковой передачи данных из топиков Kafka в базу данных в режиме реального времени или для потоковой передачи данных из базы данных в топики Kafka.
  • NiFi Database Connection Pooling Service. Встроенная служба NiFi, которая позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
S3
S3
Существующие инструменты для взаимодействия с S3:
  • Kafka Connect S3 Sink. Подключаемый модуль Kafka Connect, который позволяет передавать данные из Kafka в S3 в режиме, близком к реальному времени. S3 Sink Connector можно использовать для потоковой передачи данных из топиков Kafka в бакеты S3 в виде отдельных объектов либо в виде пакетов объектов. Эта интеграция может быть особенно полезна для долгосрочного хранения и архивирования данных из Kafka.
  • Kafka Connect S3 Source. Подключаемый модуль Kafka Connect, который обеспечивает способ передачи данных из S3 в Kafka. S3 Source Connector можно использовать для потоковой передачи данных из объектов S3 в топики Kafka, что позволяет анализировать и обрабатывать данные в режиме реального времени.
  • S3 Object Processor. Процессор NiFi, который можно использовать для выполнения операций CRUD (создание, чтение, обновление, удаление) над объектами S3. Процессор объектов S3 можно настроить для взаимодействия с S3 с помощью ключей доступа или ролей и использовать для передачи данных между NiFi и S3 в режиме реального времени.
  • Amazon S3 Put/Get Object processors. Процессор PutS3Object можно использовать для записи данных из NiFi в S3, а процессор GetS3Object – для чтения данных из S3 в NiFi.
MongoDB
MongoDB
Существующие инструменты для взаимодействия с MongoDB:
  • Kafka Connect MongoDB Sink. Подключаемый модуль Kafka Connect, который позволяет передавать данные из Kafka в MongoDB в режиме, близком к реальному времени. Kafka Connect MongoDB Sink можно использовать для потоковой передачи данных из топиков Kafka в коллекции MongoDB в виде отдельных документов либо пакетов документов.
  • Kafka MongoDB Source Connector. Подключаемый модуль Kafka Connect, который предоставляет способ получения данных из набора реплик MongoDB в топики Kafka практически в режиме реального времени.
  • PutMongoRecord Processor. Встроенный процессор NiFi, который можно использовать для записи данных из NiFi в MongoDB в режиме, близком к реальному времени. PutMongoRecord Processor можно настроить для подключения к MongoDB с использованием клиента MongoDB и учетных данных, а также использовать для вставки данных в коллекции MongoDB из NiFi.
  • GetMongo Processor. Встроенный процессор NiFi, который можно использовать для чтения данных из MongoDB и передачи их в NiFi для дальнейшей обработки. Процессор GetMongo можно настроить для подключения к MongoDB с использованием клиента MongoDB и учетных данных, а также использовать для извлечения данных из коллекций MongoDB для дальнейшей обработки в NiFi.
AVRO
AVRO
AVRO – двоичный формат данных, разработанный для того, чтобы быть компактным и быстрым. Он поддерживает эволюцию схемы, которая позволяет изменять схемы данных с течением времени, не требуя перезаписи или перезагрузки данных.
JSON
JSON
JSON (JavaScript Object Notation) – упрощенный формат данных, который обычно используется для обмена данными между приложениями.
Операционные системы
Alt Linux 8.4 SP
Доступно только для Enterprise
CentOS 7
Поддерживается
RedHat 7
Поддерживается
RedOS
Доступно только для Enterprise
Astra Linux
Доступно только для Enterprise
Компоненты
Apache ZooKeeper

Apache ZooKeeper – это служба распределенной координации, используемая Arenadata Streaming для управления конфигурацией и координацией своих кластеров. Это важнейший компонент системы, поскольку он помогает обеспечить высокую доступность и отказоустойчивость в кластерах потоковой передачи Arenadata.

ZooKeeper предоставляет иерархическое пространство имен, которое позволяет Arenadata Streaming хранить данные конфигурации, управлять распределенными блокировками и координировать распределенные процессы. Он обеспечивает единообразное представление состояния системы на всех узлах кластера, что помогает предотвратить несогласованность данных и обеспечить их целостность.

Например, Arenadata Streaming использует ZooKeeper для управления брокерами Kafka, топиками и партициями. Когда в кластер добавляется новый брокер, ZooKeeper используется для присвоения ему уникального идентификатора и координации распределения данных по кластеру.

Apache Kafka

Apache Kafka – это распределенная платформа потоковой передачи, используемая Arenadata Streaming для управления приемом, обработкой и анализом потоков данных в реальном времени. Он предоставляет масштабируемую, отказоустойчивую и высокодоступную инфраструктуру для обработки и хранения данных в реальном времени.

Arenadata Streaming использует возможности Kafka для обработки больших объемов данных и поддержки нескольких источников данных. Он предоставляет платформу обработки данных в режиме реального времени, которая позволяет предприятиям анализировать данные по мере их прохождения через систему, обеспечивая почти мгновенное понимание бизнес-операций.

Schema Registry

Schema Registry – это централизованный репозиторий, используемый Arenadata Streaming для хранения и управления схемами данных, создаваемых и потребляемых Apache Kafka. Он позволяет пользователям определять, развивать и совместно использовать схемы в различных приложениях и системах, использующих Kafka.

В Arenadata Streaming сервис Schema Registry позволяет пользователям обеспечивать совместимость данных в различных версиях их приложений и систем. Он обеспечивает способ принудительной проверки данных и гарантирует, что все данные, создаваемые и потребляемые Kafka, соответствуют предопределенной схеме.

KSQL

KSQL – это потоковый механизм SQL, используемый Arenadata Streaming для обработки потоков данных в реальном времени. Он позволяет пользователям писать SQL-запросы для преобразования, агрегирования и анализа данных в режиме реального времени, что упрощает создание конвейеров обработки данных в реальном времени без необходимости сложного программирования.

В Arenadata Streaming сервис KSQL предоставляет простой, но мощный способ взаимодействия с потоками данных, позволяя пользователям запрашивать, объединять и фильтровать данные по мере их прохождения через систему. Он поддерживает широкий спектр операций SQL, включая работу с окнами, агрегирование и объединение, что позволяет пользователям создавать сложную логику обработки без необходимости в специальном коде.

Kafka Connect

Kafka Connect – это платформа интеграции данных, используемая Arenadata Streaming для перемещения данных между Apache Kafka и другими системами. Она предоставляет масштабируемую и отказоустойчивую инфраструктуру для приема и экспорта данных в Kafka и из нее, что упрощает интеграцию различных систем и технологий с Kafka.

В Arenadata Streaming сервис Kafka Connect позволяет пользователям интегрировать с Kafka данные из различных источников, таких как базы данных, файловые системы и системы обмена сообщениями. Kafka Connect предоставляет коннекторы, которые можно настроить для извлечения данных из разных систем и записи их в топики Kafka или для чтения данных из топиков Kafka и записи их во внешние системы.

Kafka Connect также используется для MirrorMaker 2. MirrorMaker 2 – это инструмент, используемый Arenadata Streaming для репликации данных между кластерами Apache Kafka. Он заменяет оригинальный инструмент MirrorMaker и предоставляет несколько новых функций и улучшений по сравнению с его предшественником.

Kafka REST Proxy

Kafka REST Proxy – это инструмент, используемый Arenadata Streaming для предоставления функциональности Apache Kafka в виде RESTful API. Он предоставляет простой и масштабируемый способ интеграции Kafka с другими системами и технологиями, поддерживающими RESTful API.

Apache NiFi

Apache NiFi – это инструмент интеграции данных с открытым исходным кодом, используемый Arenadata Streaming для автоматизации потока данных между различными системами и технологиями. Он предоставляет визуальный интерфейс drag-and-drop для проектирования и настройки потоков данных, что позволяет пользователям легко создавать сложные конвейеры данных без написания кода.

В Arenadata Streaming сервис Apache NiFi позволяет пользователям создавать и управлять потоками данных в различных системах и технологиях. Он предоставляет широкий спектр процессоров и коннекторов, которые можно использовать для интеграции с различными источниками данных и местами назначения, включая базы данных, очереди сообщений и облачные платформы.

Apache MiNiFi

Apache MiNiFi – это облегченный инструмент сбора данных, используемый Arenadata Streaming для сбора и предварительной обработки данных на сетевой периферии. Он предназначен для работы на устройствах с ограниченными ресурсами, таких как датчики и устройства IoT, и позволяет пользователям собирать и обрабатывать данные в режиме реального времени, не полагаясь на центральный сервер.

В Arenadata Streaming сервис Apache MiNiFi позволяет пользователям собирать и предварительно обрабатывать данные на границе сети перед их отправкой на центральный сервер для дальнейшей обработки и анализа. Он предоставляет широкий спектр процессоров и разъемов, которые можно использовать для сбора данных из различных источников, включая датчики, камеры и другие устройства IoT.

Apache NiFi Registry

Apache NiFi Registry – это система контроля версий и управления, используемая Arenadata Streaming для управления потоками данных и другими активами, созданными с помощью Apache NiFi, и управления ими. Он предоставляет центральный репозиторий для хранения и управления потоками, шаблонами и другими артефактами NiFi, позволяя пользователям легко создавать версии, развертывать и повторно использовать их в разных средах.

Kafka Manager

Kafka Manager (также известный как CMAK) – это веб-инструмент управления, используемый для управления кластерами Apache Kafka. Он предназначен для упрощения администрирования кластеров Kafka, предоставляя удобный интерфейс для управления и мониторинга топиков, партиций и брокеров Kafka.

В Arenadata Streaming сервис Kafka Manager позволяет пользователям легко управлять своими кластерами Kafka и отслеживать их. Он предоставляет веб-интерфейс для выполнения административных задач, таких как создание и удаление топиков, переназначение партиций и управление конфигурациями брокера. Он также предоставляет метрики в реальном времени и мониторинг кластеров Kafka, позволяя пользователям легко выявлять и устранять проблемы.

Ключевые особенности
Быстрое развертывание
Arenadata Streaming упрощает процесс установки и настройки, сокращая время, необходимое для настройки по сравнению с ручными методами
Удобство для пользователя
Благодаря Arenadata Streaming пользователи могут легко развертывать и настраивать свою инфраструктуру потоковой передачи данных, даже не обладая обширными техническими знаниями
Согласованная установка
Arenadata Streaming обеспечивает стандартизированное развертывание в нескольких системах, сводя к минимуму ошибки и несоответствия
Улучшенная производительность
Оптимизируя процесс настройки потоковой передачи данных, Arenadata Streaming повышает производительность системы, сводя к минимуму время простоя и повышая эффективность
Экспертиза сообщества
Команда Arenadata оценивает исправленные баги и улучшения, полученные от сообщества Data Streaming, гарантируя их включение в продукт для бесперебойной работы
Arenadata Platform Security
версия Enterprise
Arenadata Platform Security (ADPS) представляет собой комбинацию двух компонентов безопасности:
Apache Ranger
Apache Ranger – это платформа безопасности с открытым исходным кодом, которая обеспечивает централизованное управление политиками для Hadoop и других экосистем больших данных. Платформа Arenadata интегрируется с Apache Ranger для обеспечения контроля доступа на основе политик и тонкой авторизации для приложений данных и аналитики.
Apache Knox
Apache Knox – это шлюз с открытым исходным кодом, обеспечивающий безопасный доступ к кластерам Hadoop и другим системам больших данных. Платформа Arenadata интегрируется с Apache Knox для обеспечения безопасного доступа к платформе и ее услугам.
ADPS обеспечивает всеобъемлющую структуру безопасности, которая включает управление доступом на основе политик, детальную авторизацию и безопасный доступ к платформе и ее службам. Это помогает организациям защищать конфиденциальные данные и обеспечивать соблюдение нормативных требований.
ADS Control
Arenadata Streaming Control – это графический пользовательский веб-интерфейс (GUI) для управления и мониторинга кластеров потоковой передачи Arenadata. Он предоставляет удобный способ управления экземплярами Kafka Connect.
ADS Control позволяет администраторам управлять всеми аспектами своих кластеров ADS Connect, включая потоковую обработку и настройку кластера. Он также предоставляет возможности мониторинга, которые позволяют администраторам просматривать состояние своих кластеров.
Сравнение продуктов
Инфраструктура
Система управления
Arenadata Cluster Manager (ADCM)

Единое средство управления жизненным циклом всех продуктов Arenadata.

ADCM устанавливается с помощью одной команды и требует только Docker.

Confluent

Два варианта развертывания и управления кластером.

Self-managed вариант для on-premises требует ручной установки и настройки.

Cloud Managed позволяет управлять кластером через интерфейсы облака.

Встроенный мониторинг
Есть
Есть
Централизованный апгрейд
Есть
Есть
Поддержка IT-ландшафта
Возможность развертывания различных сочетаний bare metal, cloud
Есть

Используя механизмы инфраструктурных бандлов, ADS поддерживает установку на физические и виртуальные сервера (on-premises), частные и публичные облака по модели IaaS.

Кроме того, инфраструктурные бандлы позволяют выполнять автоматическую установку в существующие узлы и создавать узлы "на лету" для части облачных провайдеров (YC, VK).

Есть

Возможно.

Поддержка cloud-провайдеров
Yandex Cloud;
VK Cloud;
Sber Cloud;
Google Cloud.
AWS;
Azure;
Google Cloud Platform.
Поддержка отечественных операционных систем
Alt Linux 8SP
Есть
Нет
Astra Linux
Есть
Нет
Функционал
Offline-установка
Есть
Есть
Высокая доступность (HA)
Есть
Есть
Интеграция с другими продуктами
Есть

ADS поддерживает ряд собственных решений для интеграции:

  • ADB Kafka Connector;
  • ADQM Kafka Connector;
  • Kafka Picodata Connector;
  • NiFi Hive streaming processor;
  • Kafka Connect Mirror Maker 2.
Есть
Коннекторы в составе Kafka Connect.
Администрирование
Есть

Управление кластером Kafka осуществляется через Kafka Manager на базе CMAK.

Дополнительно имеется собственное решение — ADS Control, текущий функционал которого позволяет в удобном интерфейсе администрировать сервис Kafka Connect.

Есть

Собственный интерфейс для конфигурации и администрирования всех компонентов.

Дополнительные сервисы
Есть

В составе ADS поставляются Kafka Connect, Schema Registry, ksqlDB, Kafka REST Proxy, Kafka Manager, NiFi, MiNiFi.

Дополнительно предлагается ADS Control — решение для управления кластерами Kafka. Он поддерживает управление несколькими кластерами Kafka и Kafka Connect с возможностью создавать, редактировать и удалять коннекторы Kafka.

Есть

Включает в себя всю экосистему Apache Kafka: Kafka Connect, Schema Registry, ksqlDB, Kafka REST Proxy.

Настройки безопасности
SSL-шифрование
Есть

Управляется в ADCM.

Есть
Стандартное разделение доступа на основе Role Base Access Control
Есть

Гибкие настройки с помощью Ranger в отдельном продукте ADPS, может обслуживать несколько экземпляров ADS и других продуктов Arenadata.

Есть
Единая точка безопасного доступа
Есть

Knox в составе ADPS.

Есть
Дополнительно
Техническая поддержка 24/7
Есть
Есть
Исправления и доработки по требованию
Есть
Нет данных
Обучение/тренинги
Есть

Полноценное обучение работе с продуктами Arenadata.

Недоступно для РФ
Community-версия
Есть

ADS имеет доступную бесплатную версию. Вы можете просто скачать её.

Есть
Только для self-managed в режиме single node.
Документация
Есть

Подробная документация по всем сервисам, их установке, настройке и эксплуатации.

Находится в открытом доступе.

Есть
Есть в открытом доступе.
Регистрация в реестре отечественного ПО
Есть
Нет
Успешные внедрения
Есть

Дистрибутив ADS прошел "обкатку" в сотни тысяч часов на площадках более чем 20 лидеров РФ в качестве стриминговой платформы.

Есть
История релизов с описанием
Есть

В открытом доступе полная история релизов с версиями сервисов и описанием доработанного функционала.

Есть

В открытом доступе полная история релизов с версиями сервисов и описанием доработанного функционала.

Отдельно для Cloud и Self-managed.

Сравнение акутальных версий
Сервис

ADS 2.8.1.1

Confluent

Kafka
2.8.1
latest
Kafka Connect
2.8.1
latest
ksqlDB
6.2.1
latest
Kafka REST Proxy
6.2.1
latest
Schema Registry
6.2.1
latest
NiFi
1.20.0
MiNiFi
1.20.0
ZooKeeper
3.5.10
latest

Раздел "Сравнение продуктов" является актуальным на дату 17.10.2023.

Roadmap
2023
ADS 2.8.1.1
  • Реализована поддержка RedOS
  • Реализовано шифрование параметров конфигурации NiFi
  • Ni-Fi обновлен до версии 1.20.0
ADS Control 2.1.1
  • Реализована поддержка Astra Linux
  • Переработано управление пользователями для использования записей типа secretmap в интерфейсе ADCM
ADS 1.8.2
  • Реализована поддержка Astra Linux для Enterprise-версии бандла ADS
  • Реализован показ лицензий Confluent в ADS при добавлении сервисов во время установки кластера
  • Реализована возможность настройки группы хостов для всех сервисов
  • Переработано управление пользователями при аутентификации SASL PLAINTEXT и Basic Auth для использования записей типа secretmap в интерфейсе ADCM
ADS 1.8.1
  • Обновление версий пакетов:
    • ZooKeeper 3.5.10
    • Kafka Connect 2.8.1
  • Для сервиса Schema Registry добавлены действия expand и shrink
  • Добавлена установка набора инструментов MiNiFi Toolkit
  • Добавлена возможность использовать конфигурационные группы для сервиса MiNiFi
  • Переработаны шаблоны логирования для log4j сервиса ksqlDB
ADS 1.8.0
  • Обновление версий пакетов:
    • Nifi 1.18.0
    • Nifi-Registry 1.18.0
    • MiNiFi 1.18.0
  • Добавлена возможность удаления сервиса из кластера в интерфейсе ADCM
  • Реализована поддержка Alt 8 SP в minifi.sh для сервиса NiFi версии 1.18
ADS 1.7.2
  • Для NiFi Registry (компонент сервиса NiFi) реализована возможность авторизации с помощью Ranger
  • Добавлена возможность управлять всеми параметрами при помощи пользовательского интерфейса ADCM во всех конфигурационных файлах
  • Добавлена возможность базовой аутентификации для сервисов:
    • Schema Registry
    • Kafka REST Proxy
    • KSQL
ADS 1.7.1
  • Поддержка операционной системы Alt Linux 8.4
  • Для сервиса NiFi добавлен плагин авторизации Ranger, реализована возможность добавления или удаления разрешений на обработку сообщений в NiFi
  • Добавлена поддержка сервиса Kafka Connect и механизма Mirror Maker 2
ADS 1.7.0
  • Обновление версий пакетов:
    • Kafka 2.8.1
    • Nifi 1.15.0
    • Nifi-Registry 1.15.0
    • Schema-Registry 6.2.1
    • Kafka REST Proxy 6.2.1
    • KSQL 6.2.1
    • MiNiFi 1.15.0
  • Для сервиса NiFi добавлена аутентификация LDAP/AD
  • Добавлена возможность работы с опцией "_routing" при помощи процессора NiFi Elasticsearch
  • Добавлена возможность изменения уровня логирования (log level) для сервисов
  • Реализована возможность настройки взаимодействия по протоколу SSL
ADS 1.6.2
  • Реализована аутентификация по протоколу Kerberos
  • Добавлена поддержка Active Directory в качестве хранилища Kerberos
ADS 1.6.0
  • Реализована сборка компонентов с зависимостью от ZooKeeper 3.5.8:
    • MiNiFi 0.7.0
    • NiFi-Registry 0.7.0
    • NiFi 1.12.0
  • Обновление версий пакетов
    • Kafka 2.6.0
    • Zookeeper 3.5.8
    • Nifi 1.12.0
    • Nifi-Registry 0.7.0
    • Schema-Registry 6.0.0
    • Kafka REST Proxy 6.0.0
    • KSQL 6.0.0
    • Kafka Manager 3.0.0.5
  • Реализована поддержка SASL/PLAIN для сервисов Kafka, KSQL, Schema-Registry, Kafka-Rest, Kafka-Manager
  • Реализована возможность добавления/обновления пользователей для SASL/PLAIN
  • Реализована интеграция ADS с ADPS (Arenadata Platform Security)
  • Реализована поддержка Ranger Kafka Plugin
  • Выпущена Enterprise-версия
ADS 1.5.0
  • Обновление версий пакетов
    • Kafka 2.4.0
    • Zookeeper 3.5.6
    • Nifi 1.10.0
    • Nifi-Registry 0.5.0
    • Schema-Registry 5.4.0
    • Kafka REST Proxy 5.4.0
    • KSQL 5.4.0
    • Kafka Manager 1.3.3.23
  • Внедрение сервиса MiNiFi 0.5.0
  • Для сервиса MiNiFi реализованы действия:
    • Install
    • Start/Stop/Restart
    • Check
    • Expand
    • Shrink
  • Реализован сбор, автоматическая отправка и визуализация метрик MiNifi
  • Поддержка операционной системы ALT Linux
  • Добавлена ​​поддержка версии Kafka 2.4.0 в Kafka-Manager
  • Добавлена поддержка Analytics Framework для сервиса NiFi
ADS 1.4.11
  • Добавлена операция обновления кластера
  • Добавлены oперации добавления/вывода хоста из работающего кластера Kafka, Nifi, Zookeeper
  • Добавлена возможность экспорта/импорта строки подключения к сервису Zookeeper для совместного использования одного экземпляра сервиса в разных кластерах
  • Добавлена возможность offline-инсталляции
  • Добавлены операции Restart и Check – проверка работоспособности сервиса Nifi
  • Добавлена интеграция сервисов Nifi и Nifi-Registry
  • Реализован сбор и визуализация автоматическая отправка метрик Nifi в Monitoring-кластер