Добавление сервисов
В ADCM сервис означает программное обеспечение, выполняющее некоторую функцию. Примеры сервисов в кластерах ADS: NiFi, Kafka, ZooKeeper и другие. Для добавления сервисов в кластер:
-
Выберите кластер на странице Clusters. Для этого нажмите на имя кластера в столбце Name.
Выбор кластера -
Откройте вкладку Services на странице кластера и нажмите Add service.
Переход к добавлению сервисов -
В открывшемся окне выберите сервисы для добавления в кластер и нажмите Add.
Выбор сервисовПри добавлении сервисов ksqlDB, Schema-Registry, Kafka REST Proxy требуется подписать лицензионное соглашение Confluent. Для этого перейдите к соглашению, нажав Next.
Переход к соглашению ConfluentДалее ознакомьтесь с текстом соглашения и подпишите его, нажав Accept.
Cоглашение ConfluentНажмите Add для добавления сервиса.
Краткое описание доступных сервисов приведено ниже.
Сервисы, которые могут быть добавлены в кластер ADS Сервис Назначение Сервис централизованной координации распределенных приложений, используется для хранения метаданных о разделах (partitions) топиков (topics) и брокерах Apache Kafka, а также для выбора брокера в качестве контроллера Kafka. Сообщает брокерам Kafka о текущем состоянии кластера
Распределенная платформа потоковой передачи событий с открытым исходным кодом, используемая для высокопроизводительных конвейеров данных, потоковой аналитики, интеграции данных и критически важных приложений
Kafka REST Proxy
Сервис предоставляет RESTful-интерфейс для кластера Kafka, что упрощает создание и прием сообщений, просмотр состояния кластера и выполнение административных действий без использования собственного протокола Kafka или клиентов
Schema-registry
Сервис выполняет функции:
-
Хранение версионной истории всех схем Avro на основе указанной стратегии имен субъектов с поддержкой нескольких параметров совместимости.
-
Возможность изменения схем Avro в соответствии с настроенными параметрами совместимости и расширенной поддержкой этих типов схем.
-
Обеспечение интерфейса RESTful для хранения и извлечения схем Avro.
-
Предоставление сериализаторов, которые подключаются к клиентам Apache Kafka, обрабатывающим хранение и извлечение схемы сообщений.
ksqlDB
Сервис представляет собой потоковый SQL-движок с открытым исходным кодом, который обеспечивает обработку данных в реальном времени с использованием Apache Kafka
Распределенная платформа обработки событий (сообщений), обеспечивающая управление потоками данных из различных источников в режиме реального времени с помощью графического интерфейса
NiFi2
Сервис NiFi c версией 2.x. Сервис добавлен в режиме технологического превью и не предназначен для использования в производственных средах. Существующие ограничения для использования NiFi2:
-
NiFi2 может быть установлен только в составе отдельного кластера (NiFi2 + Zookeeper).
-
Перед установкой сервиса необходимо включить установку Java из репозиториев arenadata, используя параметр arenadata_java репозитория используемой ОС для установки Java 21 при настройке кластера.
MiNiFi
Подпроект Apache NiFi, представляющий собой дополнительный подход к сбору данных, который дополняет основные принципы NiFi в управлении потоками данных, фокусируясь на сборе данных в источнике их создания
Monitoring
Сервис разворачивает в ADS свой сервер Prometheus, который реализует сбор и хранение метрик мониторинга кластера ADS, а также поддерживает возможность использования веб-приложения Grafana для визуализации и анализа информации
Monitoring Clients
Агенты, отправляющие информацию о хосте и сервисах в мониторинг. Сервис необходимо добавить после установки и настройки кластера мониторинга, если планируется мониторинг текущего кластера
Kafka Connect
Инструмент для масштабируемой и надежной потоковой передачи данных между Kafka и другими системами данных
Минимальный набор сервисов, рекомендуемый для кластеров ADS, приведен ниже:
-
NiFi
-
Kafka
-
ZooKeeper
Эти сервисы составляют основу Streaming, и их достаточно для быстрой и простой установки и управления потоковой передачей с помощью Arenadata Cluster Manager. Полный перечень сервисов зависит от требований конкретного проекта. Могут быть установлены не все сервисы. Например, если вы не планируете использовать NiFi, то добавлять сервис не требуется. Если используется сервис мониторинга (не на основе Graphite), нет необходимости устанавливать агенты из клиентов мониторинга. Если вы планируете использовать Kafka, вам потребуются службы Kafka и ZooKeeper. Сервис может состоять из обязательных и необязательных компонентов. Например, сервис ksqlDB состоит из обязательного серверного компонента и необязательного клиентского компонента.
-
-
В результате успешно добавленные сервисы отображаются на вкладке Services.
Результат успешного добавления сервисов в кластер
|
ПРИМЕЧАНИЕ
Опциональные сервисы могут быть добавлены в кластер позднее. Процесс добавления сервисов в уже развернутый кластер не отличается от описанного выше.
|