Обзор ADS Control
Функции
Arenadata Streaming Control (ADS Control) — это решение для управления кластерами Arenadata Streaming (ADS). ADS Control поддерживает управление несколькими кластерами ADS.
Для каждого интегрированного кластера ADS в пользовательском интерфейсе ADS Control могут быть выполнены:
-
оценка состояния кластера и сервисов;
-
управление функциями сервисов кластера.
Архитектура
Архитектура ADS Control представлена на схеме ниже.
ADS Control — основной и единственный сервис кластера, обеспечивающий полную функциональность ADS Control. Включает следующие встроенные модули:
-
adscc-core — основной модуль сервиса, созданный на основе асинхронного фреймворка Eclipse Vert.x.
Приложение модуля состоит из нескольких реактивных вертиклей (verticle), работающих в одном экземпляре Vert.x. Вертикль — фрагмент кода, являющийся циклом обработки событий (event loop). Вертикли взаимодействуют друг с другом с помощью событий через шину событий (event bus) после получения сообщения или команды. Шина событий используется также для взаимодействия с различными частями приложения и передает события асинхронно на доступные вертикли.
adscc-core обменивается сигналами с пользовательским интерфейсом при помощи собственного REST API и обеспечивает взаимодействие с API сервисов ADS и другими внешними приложениями:
-
Kafka — получение информации о топиках, брокерах, подключенных группах потребителей Kafka; управление топиками Kafka (создание, удаление и настройка топиков, запись и просмотр сообщений).
-
Schema Registry — отображение информации о доступных схемах Avro для топиков; управление схемами (создание, регистрация, чтение и удаление схем, проверка сообщения на соответствие схеме при записи, настройка совместимости схем).
-
Kafka Connect — отображение информации о доступных экземплярах Kafka Connect, существующих коннекторах и готовых плагинах; управление коннекторами (создание, запуск, остановка, а также миграция коннекторов).
-
Prometheus — может быть подключен для сбора метрик через встроенную конечную точку REST API ADS Control.
-
Active Directory — аутентификация и поиск пользователя через привязку LDAP/Active Directory.
-
-
adscc-cruise-control — модуль HTTP-клиента для подключения к Cruise Control. Модуль выполняет запросы для настройки параметров (цели, самовоостановление), получения информации о текущей загрузке брокеров, генерации и принятия предложений.
Для использования модуля в кластере ADS должен быть установлен компонент Kafka Cruise Control сервиса Kafka.
-
adscc-ranger-plugin — модуль, представляющий собой плагин Apache Ranger, после активации которого появляется возможность управления доступом и ролями пользователей при помощи политик и проведение аудита.
Для использования модуля кластер ADPS должен быть установлен и интегрирован с кластером ADS Control.