Документация Arenadata
Наша цель — создание эффективных и гибких решений, масштабируемых до десятков петабайт
Продукты
Ознакомьтесь с нашими современными решениями в области Big Data
Обзор
Arenadata Streaming (ADS) – это платформа потоковой передачи данных в реальном времени, разработанная компанией Arenadata. ADS предназначена для того, чтобы предприятия могли обрабатывать, анализировать и реагировать на большие объемы потоков данных в режиме реального времени.
Платформа использует Apache Kafka в качестве основной системы обмена сообщениями, известной своей высокой пропускной способностью и низкой задержкой. Arenadata Streaming обеспечивает распределенную и отказоустойчивую архитектуру, которая может обрабатывать большие объемы данных из различных источников, включая базы данных, устройства IoT, датчики и другие источники потоковой передачи.
Сценарии использования
Прием данных в режиме реального времени

Arenadata Streaming может принимать данные в режиме реального времени из различных источников, включая базы данных, датчики и устройства IoT.

Обработка данных

Платформа может обрабатывать и преобразовывать потоки данных в режиме реального времени, используя возможности обработки потоков Apache Kafka.

Аналитика

Arenadata Streaming предоставляет инструменты для анализа данных в реальном времени, включая машинное обучение, прогнозную аналитику и обнаружение аномалий.

Интеграция

Платформа предлагает интеграцию с другими системами данных, такими как базы данных Hadoop, Spark и NoSQL.

IoT

MiNiFi может быть интегрирован с протоколом MQTT (Message Queuing Telemetry Transport), который представляет собой облегченный протокол обмена сообщениями, разработанный для устройств IoT. Эта интеграция позволяет MiNiFi получать и публиковать данные для брокеров MQTT, которые можно использовать для потоковой передачи и обработки данных в реальном времени на периферии.

Enterprise
Community
Управление кластером и мониторинг
Автоматизация развертывания и обновления
Offline-установка
Высокая доступность
Расширенные функции безопасности (шифрование, управление доступом на основе ролей)
Техническая поддержка 24/7
Корпоративные обучающие курсы
Индивидуальные решения
Доступные интеграции
ADB
ADB
Для чтения данных существует расширение для Arenadata Database (ADB), реализующее транзакционую загрузку данных из ADS.
Запись данных в ADS от ADB обеспечивается плагином PXF.
Существующие инструменты для взаимодействия с ADB:
  • Kafka Connect. Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и базами данных в обоих направлениях в режиме реального времени для обработки и анализа.
  • Kafka JDBC Connector. Коннектор Kafka с открытым исходным кодом, который обеспечивает простой способ подключения Kafka к базе данных с помощью JDBC. Kafka JDBC Connector можно использовать для потоковой передачи данных из топиков Kafka в базу данных в режиме реального времени или для потоковой передачи данных из базы данных в топики Kafka.
  • NiFi Database Connection Pooling Service. Встроенный сервис NiFi, который позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
ADH
Arenadata QuickMarts
Kafka Connect – инструмент для масштабируемой и надежной потоковой передачи данных, используемый для передачи данных между Kafka и Arenadata Hadoop (ADH) в обоих направлениях и обеспечивающий потоковую передачу данных в ADH в режиме реального времени для обработки и анализа.
Существует большой набор коннекторов NiFi для взаимодействия с сервисами ADH.
ADQM
ADQM
Существующие коннекторы для взаимодействия с Arenadata QuickMarts (ADQM):
  • Kafka Connect ClickHouse Sink. Подключаемый модуль Kafka Connect, который позволяет передавать данные из Kafka в ADQM в режиме, близком к реальному времени. ClickHouse Sink Connector можно использовать для потоковой передачи данных из топиков Kafka в таблицы ADQM в виде отдельных строк либо пакетов строк.
  • Kafka JDBC Connector. Подключаемый модуль Kafka Connect, который предоставляет способ подключения к JDBC-совместимой базе данных, такой как ClickHouse. Коннектор JDBC можно использовать для потоковой передачи данных из топиков Kafka в таблицы ADQM, что позволяет анализировать и обрабатывать данные в режиме реального времени.
  • NiFi Database Connection Pooling Service. Встроенный сервис NiFi, которая позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
Oracle
Oracle
Существующие инструменты для взаимодействия с Oracle:
  • Kafka Connect. Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и базой данных в обоих направлениях. Обеспечивает потоковую передачу данных в базу данных в режиме реального времени для обработки и анализа.
  • Kafka JDBC Connector. Коннектор Kafka с открытым исходным кодом, который обеспечивает простой способ подключения Kafka к базе данных с помощью JDBC. Kafka JDBC Connector можно использовать для потоковой передачи данных из топиков Kafka в базу данных в режиме реального времени или для потоковой передачи данных из базы данных в топики Kafka.
  • NiFi Database Connection Pooling Service. Встроенный сервис NiFi, который позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
MS SQL
MS SQL
Существующие инструменты для взаимодействия с MS SQL:
  • Kafka Connect. Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и базой данных в обоих направлениях. Обеспечивает потоковую передачу данных в базу данных в режиме реального времени для обработки и анализа.
  • Kafka JDBC Connector. Коннектор Kafka с открытым исходным кодом, который обеспечивает простой способ подключения Kafka к базе данных с помощью JDBC. Kafka JDBC Connector можно использовать для потоковой передачи данных из топиков Kafka в базу данных в режиме реального времени или для потоковой передачи данных из базы данных в топики Kafka.
  • NiFi Database Connection Pooling Service. Встроенная служба NiFi, которая позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
S3
S3
Существующие инструменты для взаимодействия с S3:
  • Kafka Connect S3 Sink. Подключаемый модуль Kafka Connect, который позволяет передавать данные из Kafka в S3 в режиме, близком к реальному времени. S3 Sink Connector можно использовать для потоковой передачи данных из топиков Kafka в бакеты S3 в виде отдельных объектов либо в виде пакетов объектов. Эта интеграция может быть особенно полезна для долгосрочного хранения и архивирования данных из Kafka.
  • Kafka Connect S3 Source. Подключаемый модуль Kafka Connect, который обеспечивает способ передачи данных из S3 в Kafka. S3 Source Connector можно использовать для потоковой передачи данных из объектов S3 в топики Kafka, что позволяет анализировать и обрабатывать данные в режиме реального времени.
  • S3 Object Processor. Процессор NiFi, который можно использовать для выполнения операций CRUD (создание, чтение, обновление, удаление) над объектами S3. Процессор объектов S3 можно настроить для взаимодействия с S3 с помощью ключей доступа или ролей и использовать для передачи данных между NiFi и S3 в режиме реального времени.
  • Amazon S3 Put/Get Object processors. Процессор PutS3Object можно использовать для записи данных из NiFi в S3, а процессор GetS3Object – для чтения данных из S3 в NiFi.
MongoDB
MongoDB
Существующие инструменты для взаимодействия с MongoDB:
  • Kafka Connect MongoDB Sink. Подключаемый модуль Kafka Connect, который позволяет передавать данные из Kafka в MongoDB в режиме, близком к реальному времени. Kafka Connect MongoDB Sink можно использовать для потоковой передачи данных из топиков Kafka в коллекции MongoDB в виде отдельных документов либо пакетов документов.
  • Kafka MongoDB Source Connector. Подключаемый модуль Kafka Connect, который предоставляет способ получения данных из набора реплик MongoDB в топики Kafka практически в режиме реального времени.
  • PutMongoRecord Processor. Встроенный процессор NiFi, который можно использовать для записи данных из NiFi в MongoDB в режиме, близком к реальному времени. PutMongoRecord Processor можно настроить для подключения к MongoDB с использованием клиента MongoDB и учетных данных, а также использовать для вставки данных в коллекции MongoDB из NiFi.
  • GetMongo Processor. Встроенный процессор NiFi, который можно использовать для чтения данных из MongoDB и передачи их в NiFi для дальнейшей обработки. Процессор GetMongo можно настроить для подключения к MongoDB с использованием клиента MongoDB и учетных данных, а также использовать для извлечения данных из коллекций MongoDB для дальнейшей обработки в NiFi.
AVRO
AVRO
AVRO – двоичный формат данных, разработанный для того, чтобы быть компактным и быстрым. Он поддерживает эволюцию схемы, которая позволяет изменять схемы данных с течением времени, не требуя перезаписи или перезагрузки данных.
JSON
JSON
JSON (JavaScript Object Notation) – упрощенный формат данных, который обычно используется для обмена данными между приложениями.
Операционные системы
AltLinux 8.4 SP
Поддерживается
CentOS 7
Поддерживается
RedHat 7
Поддерживается
AstraLinux
В разработке
Управление кластером и мониторинг
Автоматизация развертывания и обновления
Offline-установка
Высокая доступность
Расширенные функции безопасности (шифрование, управление доступом на основе ролей)
Техническая поддержка 24/7
Корпоративные обучающие курсы
Индивидуальные решения
Доступные интеграции
ADB
ADB
Доступно только для Enterprise
ADH
Arenadata QuickMarts
Kafka Connect – инструмент для масштабируемой и надежной потоковой передачи данных, используемый для передачи данных между Kafka и Arenadata Hadoop (ADH) в обоих направлениях и обеспечивающий потоковую передачу данных в ADH в режиме реального времени для обработки и анализа.
Существует большой набор коннекторов NiFi для взаимодействия с сервисами ADH.
ADQM
ADQM
Существующие коннекторы для взаимодействия с Arenadata QuickMarts (ADQM):
  • Kafka Connect ClickHouse Sink. Подключаемый модуль Kafka Connect, который позволяет передавать данные из Kafka в ADQM в режиме, близком к реальному времени. ClickHouse Sink Connector можно использовать для потоковой передачи данных из топиков Kafka в таблицы ADQM в виде отдельных строк либо пакетов строк.
  • Kafka JDBC Connector. Подключаемый модуль Kafka Connect, который предоставляет способ подключения к JDBC-совместимой базе данных, такой как ClickHouse. Коннектор JDBC можно использовать для потоковой передачи данных из топиков Kafka в таблицы ADQM, что позволяет анализировать и обрабатывать данные в режиме реального времени.
  • NiFi Database Connection Pooling Service. Встроенный сервис NiFi, которая позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
Oracle
Oracle
Существующие инструменты для взаимодействия с Oracle:
  • Kafka Connect. Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и базой данных в обоих направлениях. Обеспечивает потоковую передачу данных в базу данных в режиме реального времени для обработки и анализа.
  • Kafka JDBC Connector. Коннектор Kafka с открытым исходным кодом, который обеспечивает простой способ подключения Kafka к базе данных с помощью JDBC. Kafka JDBC Connector можно использовать для потоковой передачи данных из топиков Kafka в базу данных в режиме реального времени или для потоковой передачи данных из базы данных в топики Kafka.
  • NiFi Database Connection Pooling Service. Встроенный сервис NiFi, который позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
MS SQL
MS SQL
Существующие инструменты для взаимодействия с MS SQL:
  • Kafka Connect. Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и базой данных в обоих направлениях. Обеспечивает потоковую передачу данных в базу данных в режиме реального времени для обработки и анализа.
  • Kafka JDBC Connector. Коннектор Kafka с открытым исходным кодом, который обеспечивает простой способ подключения Kafka к базе данных с помощью JDBC. Kafka JDBC Connector можно использовать для потоковой передачи данных из топиков Kafka в базу данных в режиме реального времени или для потоковой передачи данных из базы данных в топики Kafka.
  • NiFi Database Connection Pooling Service. Встроенная служба NiFi, которая позволяет NiFi подключаться к базе данных с помощью JDBC.
  • ExecuteSQL Processor. Процессор NiFi, который можно использовать для выполнения операторов SQL и запросов к базе данных с использованием JDBC.
S3
S3
Существующие инструменты для взаимодействия с S3:
  • Kafka Connect S3 Sink. Подключаемый модуль Kafka Connect, который позволяет передавать данные из Kafka в S3 в режиме, близком к реальному времени. S3 Sink Connector можно использовать для потоковой передачи данных из топиков Kafka в бакеты S3 в виде отдельных объектов либо в виде пакетов объектов. Эта интеграция может быть особенно полезна для долгосрочного хранения и архивирования данных из Kafka.
  • Kafka Connect S3 Source. Подключаемый модуль Kafka Connect, который обеспечивает способ передачи данных из S3 в Kafka. S3 Source Connector можно использовать для потоковой передачи данных из объектов S3 в топики Kafka, что позволяет анализировать и обрабатывать данные в режиме реального времени.
  • S3 Object Processor. Процессор NiFi, который можно использовать для выполнения операций CRUD (создание, чтение, обновление, удаление) над объектами S3. Процессор объектов S3 можно настроить для взаимодействия с S3 с помощью ключей доступа или ролей и использовать для передачи данных между NiFi и S3 в режиме реального времени.
  • Amazon S3 Put/Get Object processors. Процессор PutS3Object можно использовать для записи данных из NiFi в S3, а процессор GetS3Object – для чтения данных из S3 в NiFi.
MongoDB
MongoDB
Существующие инструменты для взаимодействия с MongoDB:
  • Kafka Connect MongoDB Sink. Подключаемый модуль Kafka Connect, который позволяет передавать данные из Kafka в MongoDB в режиме, близком к реальному времени. Kafka Connect MongoDB Sink можно использовать для потоковой передачи данных из топиков Kafka в коллекции MongoDB в виде отдельных документов либо пакетов документов.
  • Kafka MongoDB Source Connector. Подключаемый модуль Kafka Connect, который предоставляет способ получения данных из набора реплик MongoDB в топики Kafka практически в режиме реального времени.
  • PutMongoRecord Processor. Встроенный процессор NiFi, который можно использовать для записи данных из NiFi в MongoDB в режиме, близком к реальному времени. PutMongoRecord Processor можно настроить для подключения к MongoDB с использованием клиента MongoDB и учетных данных, а также использовать для вставки данных в коллекции MongoDB из NiFi.
  • GetMongo Processor. Встроенный процессор NiFi, который можно использовать для чтения данных из MongoDB и передачи их в NiFi для дальнейшей обработки. Процессор GetMongo можно настроить для подключения к MongoDB с использованием клиента MongoDB и учетных данных, а также использовать для извлечения данных из коллекций MongoDB для дальнейшей обработки в NiFi.
AVRO
AVRO
AVRO – двоичный формат данных, разработанный для того, чтобы быть компактным и быстрым. Он поддерживает эволюцию схемы, которая позволяет изменять схемы данных с течением времени, не требуя перезаписи или перезагрузки данных.
JSON
JSON
JSON (JavaScript Object Notation) – упрощенный формат данных, который обычно используется для обмена данными между приложениями.
Операционные системы
AltLinux 8.4 SP
Доступно только для Enterprise
CentOS 7
Поддерживается
RedHat 7
Поддерживается
AstraLinux
В разработке
Компоненты
Apache ZooKeeper

Apache ZooKeeper – это служба распределенной координации, используемая Arenadata Streaming для управления конфигурацией и координацией своих кластеров. Это важнейший компонент системы, поскольку он помогает обеспечить высокую доступность и отказоустойчивость в кластерах потоковой передачи Arenadata.

ZooKeeper предоставляет иерархическое пространство имен, которое позволяет Arenadata Streaming хранить данные конфигурации, управлять распределенными блокировками и координировать распределенные процессы. Он обеспечивает единообразное представление состояния системы на всех узлах кластера, что помогает предотвратить несогласованность данных и обеспечить их целостность.

Например, Arenadata Streaming использует ZooKeeper для управления брокерами Kafka, топиками и партициями. Когда в кластер добавляется новый брокер, ZooKeeper используется для присвоения ему уникального идентификатора и координации распределения данных по кластеру.

Apache Kafka

Apache Kafka – это распределенная платформа потоковой передачи, используемая Arenadata Streaming для управления приемом, обработкой и анализом потоков данных в реальном времени. Он предоставляет масштабируемую, отказоустойчивую и высокодоступную инфраструктуру для обработки и хранения данных в реальном времени.

Arenadata Streaming использует возможности Kafka для обработки больших объемов данных и поддержки нескольких источников данных. Он предоставляет платформу обработки данных в режиме реального времени, которая позволяет предприятиям анализировать данные по мере их прохождения через систему, обеспечивая почти мгновенное понимание бизнес-операций.

Schema Registry

Schema Registry – это централизованный репозиторий, используемый Arenadata Streaming для хранения и управления схемами данных, создаваемых и потребляемых Apache Kafka. Он позволяет пользователям определять, развивать и совместно использовать схемы в различных приложениях и системах, использующих Kafka.

В Arenadata Streaming сервис Schema Registry позволяет пользователям обеспечивать совместимость данных в различных версиях их приложений и систем. Он обеспечивает способ принудительной проверки данных и гарантирует, что все данные, создаваемые и потребляемые Kafka, соответствуют предопределенной схеме.

KSQL

KSQL – это потоковый механизм SQL, используемый Arenadata Streaming для обработки потоков данных в реальном времени. Он позволяет пользователям писать SQL-запросы для преобразования, агрегирования и анализа данных в режиме реального времени, что упрощает создание конвейеров обработки данных в реальном времени без необходимости сложного программирования.

В Arenadata Streaming сервис KSQL предоставляет простой, но мощный способ взаимодействия с потоками данных, позволяя пользователям запрашивать, объединять и фильтровать данные по мере их прохождения через систему. Он поддерживает широкий спектр операций SQL, включая работу с окнами, агрегирование и объединение, что позволяет пользователям создавать сложную логику обработки без необходимости в специальном коде.

Kafka Connect

Kafka Connect – это платформа интеграции данных, используемая Arenadata Streaming для перемещения данных между Apache Kafka и другими системами. Она предоставляет масштабируемую и отказоустойчивую инфраструктуру для приема и экспорта данных в Kafka и из нее, что упрощает интеграцию различных систем и технологий с Kafka.

В Arenadata Streaming сервис Kafka Connect позволяет пользователям интегрировать с Kafka данные из различных источников, таких как базы данных, файловые системы и системы обмена сообщениями. Kafka Connect предоставляет коннекторы, которые можно настроить для извлечения данных из разных систем и записи их в топики Kafka или для чтения данных из топиков Kafka и записи их во внешние системы.

Kafka Connect также используется для MirrorMaker 2. MirrorMaker 2 – это инструмент, используемый Arenadata Streaming для репликации данных между кластерами Apache Kafka. Он заменяет оригинальный инструмент MirrorMaker и предоставляет несколько новых функций и улучшений по сравнению с его предшественником.

Kafka REST Proxy

Kafka REST Proxy – это инструмент, используемый Arenadata Streaming для предоставления функциональности Apache Kafka в виде RESTful API. Он предоставляет простой и масштабируемый способ интеграции Kafka с другими системами и технологиями, поддерживающими RESTful API.

Apache NiFi

Apache NiFi – это инструмент интеграции данных с открытым исходным кодом, используемый Arenadata Streaming для автоматизации потока данных между различными системами и технологиями. Он предоставляет визуальный интерфейс drag-and-drop для проектирования и настройки потоков данных, что позволяет пользователям легко создавать сложные конвейеры данных без написания кода.

В Arenadata Streaming сервис Apache NiFi позволяет пользователям создавать и управлять потоками данных в различных системах и технологиях. Он предоставляет широкий спектр процессоров и коннекторов, которые можно использовать для интеграции с различными источниками данных и местами назначения, включая базы данных, очереди сообщений и облачные платформы.

Apache MiNiFi

Apache MiNiFi – это облегченный инструмент сбора данных, используемый Arenadata Streaming для сбора и предварительной обработки данных на сетевой периферии. Он предназначен для работы на устройствах с ограниченными ресурсами, таких как датчики и устройства IoT, и позволяет пользователям собирать и обрабатывать данные в режиме реального времени, не полагаясь на центральный сервер.

В Arenadata Streaming сервис Apache MiNiFi позволяет пользователям собирать и предварительно обрабатывать данные на границе сети перед их отправкой на центральный сервер для дальнейшей обработки и анализа. Он предоставляет широкий спектр процессоров и разъемов, которые можно использовать для сбора данных из различных источников, включая датчики, камеры и другие устройства IoT.

Apache NiFi Registry

Apache NiFi Registry – это система контроля версий и управления, используемая Arenadata Streaming для управления потоками данных и другими активами, созданными с помощью Apache NiFi, и управления ими. Он предоставляет центральный репозиторий для хранения и управления потоками, шаблонами и другими артефактами NiFi, позволяя пользователям легко создавать версии, развертывать и повторно использовать их в разных средах.

Kafka Manager

Kafka Manager (также известный как CMAK) – это веб-инструмент управления, используемый для управления кластерами Apache Kafka. Он предназначен для упрощения администрирования кластеров Kafka, предоставляя удобный интерфейс для управления и мониторинга топиков, партиций и брокеров Kafka.

В Arenadata Streaming сервис Kafka Manager позволяет пользователям легко управлять своими кластерами Kafka и отслеживать их. Он предоставляет веб-интерфейс для выполнения административных задач, таких как создание и удаление топиков, переназначение партиций и управление конфигурациями брокера. Он также предоставляет метрики в реальном времени и мониторинг кластеров Kafka, позволяя пользователям легко выявлять и устранять проблемы.

Ключевые особенности
Быстрое развертывание
Arenadata Streaming упрощает процесс установки и настройки, сокращая время, необходимое для настройки по сравнению с ручными методами
Удобство для пользователя
Благодаря Arenadata Streaming пользователи могут легко развертывать и настраивать свою инфраструктуру потоковой передачи данных, даже не обладая обширными техническими знаниями
Согласованная установка
Arenadata Streaming обеспечивает стандартизированное развертывание в нескольких системах, сводя к минимуму ошибки и несоответствия
Улучшенная производительность
Оптимизируя процесс настройки потоковой передачи данных, Arenadata Streaming повышает производительность системы, сводя к минимуму время простоя и повышая эффективность
Экспертиза сообщества
Команда Arenadata оценивает исправленные баги и улучшения, полученные от сообщества Data Streaming, гарантируя их включение в продукт для бесперебойной работы
Arenadata Platform Security
версия Enterprise
Arenadata Platform Security (ADPS) представляет собой комбинацию двух компонентов безопасности:
Apache Ranger
Apache Ranger – это платформа безопасности с открытым исходным кодом, которая обеспечивает централизованное управление политиками для Hadoop и других экосистем больших данных. Платформа Arenadata интегрируется с Apache Ranger для обеспечения контроля доступа на основе политик и тонкой авторизации для приложений данных и аналитики.
Apache Knox
Apache Knox – это шлюз с открытым исходным кодом, обеспечивающий безопасный доступ к кластерам Hadoop и другим системам больших данных. Платформа Arenadata интегрируется с Apache Knox для обеспечения безопасного доступа к платформе и ее услугам.
ADPS обеспечивает всеобъемлющую структуру безопасности, которая включает управление доступом на основе политик, детальную авторизацию и безопасный доступ к платформе и ее службам. Это помогает организациям защищать конфиденциальные данные и обеспечивать соблюдение нормативных требований.
ADS Control
Arenadata Streaming Control – это графический пользовательский веб-интерфейс (GUI) для управления и мониторинга кластеров потоковой передачи Arenadata. Он предоставляет удобный способ управления экземплярами Kafka Connect.
ADS Control позволяет администраторам управлять всеми аспектами своих кластеров ADS Connect, включая потоковую обработку и настройку кластера. Он также предоставляет возможности мониторинга, которые позволяют администраторам просматривать состояние своих кластеров.
Roadmap
2023
ADS 1.8.1
  • Обновление версий пакетов:
    • ZooKeeper 3.5.10
    • Kafka Connect 2.8.1
  • Для сервиса Schema Registry добавлены действия expand и shrink
  • Добавлена установка набора инструментов MiNiFi Toolkit
  • Добавлена возможность использовать конфигурационные группы для сервиса MiNiFi
  • Переработаны шаблоны логирования для log4j сервиса ksqlDB
ADS 1.8.0
  • Обновление версий пакетов:
    • Nifi 1.18.0
    • Nifi-Registry 1.18.0
    • MiNiFi 1.18.0
  • Добавлена возможность удаления сервиса из кластера в интерфейсе ADCM
  • Реализована поддержка Alt 8 SP в minifi.sh для сервиса NiFi версии 1.18
ADS 1.7.2
  • Для NiFi Registry (компонент сервиса NiFi) реализована возможность авторизации с помощью Ranger
  • Добавлена возможность управлять всеми параметрами при помощи пользовательского интерфейса ADCM во всех конфигурационных файлах
  • Добавлена возможность базовой аутентификации для сервисов:
    • Schema Registry
    • Kafka REST Proxy
    • KSQL
ADS 1.7.1
  • Поддержка операционной системы AltLinux 8.4
  • Для сервиса NiFi добавлен плагин авторизации Ranger, реализована возможность добавления или удаления разрешений на обработку сообщений в NiFi
  • Добавлена поддержка сервиса Kafka Connect и механизма Mirror Maker 2
ADS 1.7.0
  • Обновление версий пакетов:
    • Kafka 2.8.1
    • Nifi 1.15.0
    • Nifi-Registry 1.15.0
    • Schema-Registry 6.2.1
    • Kafka REST Proxy 6.2.1
    • KSQL 6.2.1
    • MiNiFi 1.15.0
  • Для сервиса NiFi добавлена аутентификация LDAP/AD
  • Добавлена возможность работы с опцией "_routing" при помощи процессора NiFi Elasticsearch
  • Добавлена возможность изменения уровня логирования (log level) для сервисов
  • Реализована возможность настройки взаимодействия по протоколу SSL
ADS 1.6.2
  • Реализована аутентификация по протоколу Kerberos
  • Добавлена поддержка Active Directory в качестве хранилища Kerberos
ADS 1.6.0
  • Реализована сборка компонентов с зависимостью от ZooKeeper 3.5.8:
    • MiNiFi 0.7.0
    • NiFi-Registry 0.7.0
    • NiFi 1.12.0
  • Обновление версий пакетов
    • Kafka 2.6.0
    • Zookeeper 3.5.8
    • Nifi 1.12.0
    • Nifi-Registry 0.7.0
    • Schema-Registry 6.0.0
    • Kafka REST Proxy 6.0.0
    • KSQL 6.0.0
    • Kafka Manager 3.0.0.5
  • Реализована поддержка SASL/PLAIN для сервисов Kafka, KSQL, Schema-Registry, Kafka-Rest, Kafka-Manager
  • Реализована возможность добавления/обновления пользователей для SASL/PLAIN
  • Реализована интеграция ADS с ADPS (Arenadata Platform Security)
  • Реализована поддержка Ranger Kafka Plugin
  • Выпущена Enterprise-версия
ADS 1.5.0
  • Обновление версий пакетов
    • Kafka 2.4.0
    • Zookeeper 3.5.6
    • Nifi 1.10.0
    • Nifi-Registry 0.5.0
    • Schema-Registry 5.4.0
    • Kafka REST Proxy 5.4.0
    • KSQL 5.4.0
    • Kafka Manager 1.3.3.23
  • Внедрение сервиса MiNiFi 0.5.0
  • Для сервиса MiNiFi реализованы действия:
    • Install
    • Start/Stop/Restart
    • Check
    • Expand
    • Shrink
  • Реализован сбор, автоматическая отправка и визуализация метрик MiNifi
  • Поддержка операционной системы ALT Linux
  • Добавлена ​​поддержка версии Kafka 2.4.0 в Kafka-Manager
  • Добавлена поддержка Analytics Framework для сервиса NiFi
ADS 1.4.11
  • Добавлена операция обновления кластера
  • Добавлены oперации добавления/вывода хоста из работающего кластера Kafka, Nifi, Zookeeper
  • Добавлена возможность экспорта/импорта строки подключения к сервису Zookeeper для совместного использования одного экземпляра сервиса в разных кластерах
  • Добавлена возможность offline-инсталляции
  • Добавлены операции Restart и Check – проверка работоспособности сервиса Nifi
  • Добавлена интеграция сервисов Nifi и Nifi-Registry
  • Реализован сбор и визуализация автоматическая отправка метрик Nifi в Monitoring-кластер