Добавление сервисов

Ольга Семме, Дарья Барышева

В ADCM сервис означает программное обеспечение, выполняющее некоторую функцию. Примеры сервисов в кластерах ADS: NiFi, Kafka, ZooKeeper и другие. Для добавления сервисов в кластер:

Выберите кластер на странице Clusters. Для этого нажмите на имя кластера в столбце Name.

Выбор кластера
Откройте вкладку Services на странице кластера и нажмите Add service.

Переход к добавлению сервисов

В открывшемся окне выберите сервисы для добавления в кластер и нажмите Add.

Выбор сервисов

При добавлении сервисов ksqlDB, Schema-Registry, Kafka REST Proxy требуется подписать лицензионное соглашение Confluent. Для этого перейдите к соглашению, нажав Next.

Переход к соглашению Confluent

Далее ознакомьтесь с текстом соглашения и подпишите его, нажав Accept.

Cоглашение Confluent

Нажмите Add для добавления сервиса.

Краткое описание доступных сервисов приведено ниже.

Сервисы, которые могут быть добавлены в кластер ADS
Сервис	Назначение
ZooKeeper	Сервис централизованной координации распределенных приложений, используется для хранения метаданных о разделах (partitions) топиков (topics) и брокерах Apache Kafka, а также для выбора брокера в качестве контроллера Kafka. Сообщает брокерам Kafka о текущем состоянии кластера
Kafka	Распределенная платформа потоковой передачи событий с открытым исходным кодом, используемая для высокопроизводительных конвейеров данных, потоковой аналитики, интеграции данных и критически важных приложений
Kafka-Manager	Инструмент для управления Apache Kafka
Kafka REST Proxy	Сервис предоставляет RESTful-интерфейс для кластера Kafka, что упрощает создание и приём сообщений, просмотр состояния кластера и выполнение административных действий без использования собственного протокола Kafka или клиентов
Schema-registry	Сервис выполняет функции: Хранение версионной истории всех схем Avro на основе указанной стратегии имен субъектов с поддержкой нескольких параметров совместимости. Возможность изменения схем Avro в соответствии с настроенными параметрами совместимости и расширенной поддержкой этих типов схем. Обеспечение интерфейса RESTful для хранения и извлечения схем Avro. Предоставление сериализаторов, которые подключаются к клиентам Apache Kafka, обрабатывающим хранение и извлечение схемы сообщений.
ksqlDB	Сервис представляет собой потоковый SQL-движок с открытым исходным кодом, который обеспечивает обработку данных в реальном времени с использованием Apache Kafka
NiFi	Распределенная платформа обработки событий (сообщений), обеспечивающая управление потоками данных из различных источников в режиме реального времени с помощью графического интерфейса
MiNiFi	Подпроект Apache NiFi, представляющий собой дополнительный подход к сбору данных, который дополняет основные принципы NiFi в управлении потоками данных, фокусируясь на сборе данных в источнике их создания
Monitoring Clients	Агенты, отправляющие информацию о хосте и сервисах в мониторинг. Сервис необходимо добавить после установки и настройки кластера мониторинга, если планируется мониторинг текущего кластера
Kafka Connect	Иннструмент для масштабируемой и надежной потоковой передачи данных между Kafka и другими системами данных

Минимальный набор сервисов, рекомендуемый для кластеров ADS, приведен ниже:

NiFi;
Kafka;
Kafka-manager;
ZooKeeper.

Эти сервисы составляют основу Streaming, и их достаточно для быстрой и простой установки и управления потоковой передачей с помощью Arenadata Cluster Manager. Полный перечень сервисов зависит от требований конкретного проекта. Могут быть установлены не все сервисы. Например, если вы не планируете использовать NiFi, то добавлять сервис не требуется. Если используется сервис мониторинга (не на основе Graphite), нет необходимости устанавливать агенты из клиентов мониторинга. Если вы планируете использовать Kafka, вам потребуются службы Kafka и ZooKeeper. Сервис может состоять из обязательных и необязательных компонентов. Например, сервис ksqlDB состоит из обязательного серверного компонента и необязательного клиентского компонента.

В результате успешно добавленные сервисы отображаются на вкладке Services.

Результат успешного добавления сервисов в кластер

ПРИМЕЧАНИЕ

Опциональные сервисы могут быть добавлены в кластер позднее. Процесс добавления сервисов в уже развернутый кластер не отличается от описанного выше.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней