Создание кластера ADS¶

После выполнения предварительных действий и загрузки бандла в кластер-менеджере ADCM содержится следующий список объектов (Рис.15.):

Прототип кластера мониторинга и созданный на его основе экземпляр (программа мониторинга развернута на хосте, ADCM содержит записи о его результатах и настройках);
Прототип кластера ADS для создания экземпляров;
Предварительно подготовленные хосты, в базе данных ADCM хранятся записи о них и их учетных данных – ssh-ключах или паролях.

Рис. 15. Список объектов в ADCM

Объектам доступен следующий функционал:

Создание экземпляра кластера;
Конфигурация кластера;
Добавление хостов;
Добавление сервисов;
Размещение компонентов сервисов на хостах;
Установка кластера.

Создание экземпляра кластера¶

При создании кластера в веб-интерфейсе ADCM генерируется новый экземпляр кластера ADS, что означает только добавление данных о нем в базу данных ADCM – на этом этапе не производится установка ADS на хосты.

Открыть в ADCM вкладку “CLUSTERS” (Рис.16.).

Рис. 16. Вкладка “CLUSTERS”

Нажать “Add cluster” и в открывшейся форме создать экземпляр кластера из прототипа ADS, полученного из бандла (Рис.17.).

Рис. 17. Создание экземпляра кластера

В результате выполненных действий факт создания экземпляра кластера отображается в базе данных ADCM на вкладке “CLUSTERS” (Рис.18.).

Рис. 18. Результат успешного создания экземпляра кластера

Конфигурация кластера¶

Для перехода к настройкам экземпляра кластера ADS необходимо нажать кнопку с пиктограммой шестеренки в соответствующей строке вкладки “CLUSTERS” (Рис.18.) и перейти в раздел меню “Configuration”. При этом открывается окно конфигурации выбранного экземпляра (Рис.19.).

Рис. 19. Окно конфигурации кластера

В блоке настроек “Repositories” указываются требуемые для установки ADS пакеты из различных yum-репозиториев, при этом в каждом из параметров можно изменить заданный по умолчанию url:

ADS;
monitoring;
epel.

Если нет необходимости в добавлении того или иного yum-репозитория, то соответствующие галочки следует снять.

Добавление хостов¶

Для добавления хостов в кластер ADS необходимо:

В меню кластера ADS открыть вкладку “Hosts” (Рис.20.).

Рис. 20. Вкладка “Hosts” кластера ADS

Нажать “Add hosts” и в открывшейся форме выбрать необходимые хосты (Рис.21.).

Рис. 21. Выбор хостов

В результате выполненных действий факт добавления хостов отображается в кластере ADS в списке вкладки “Hosts” (Рис.22.).

Рис. 22. Результат успешного добавления хостов

Добавление сервисов¶

Кластер ADS содержит следующие сервисы:

Табл. 2. Сервисы ADS¶
Сервис	Компоненты	Описание
Zookeeper	Zookeeper Server	Сервис, предназначенный для хранения конфигураций, выполнения распределенной синхронизации процессов
Kafka	Kafka Broker	Распределенная платформа для потоковых операций и данных
Nifi	Nifi Server, Nifi Registry	Распрделенная платформа, предназначенная для построения и автоматизации потоков данных между различными системами
Schema-registry	Schema-registry	Сервис предоставляет обслуживающий слой для метаданных. Предоставляет интерфейс RESTful для хранения и извлечения схем Avro. Хранит версионную историю всех схем, предоставляет несколько параметров совместимости и позволяет изменять схемы в соответствии с настроенными параметрами совместимости и расширенной поддержкой Avro. Предоставляет сериализаторы, подключаемые к клиентам Kafka, которые обрабатывают хранение и извлечение схемы для сообщений Kafka, отправляемых в формате Avro
Kafka REST Proxy	Kafka REST Proxy	Предоставляет RESTful-интерфейс для кластера Kafka, что упрощает создание и потребление сообщений, просмотр состояния кластера и выполнение административных действий без использования собственного протокола Kafka или клиентов
KSQL	KSQL Server, KSQL Client	Сервис представляет собой потоковый SQL-движок с открытым исходным кодом, который обеспечивает обработку данных в реальном времени с использованием Apache Kafka. Состоит из компонентов: Server; Client
Kafka-Manager	Kafka-Manager	Инструмент для управления Apache Kafka
Monitoring Clients	System metrics Agent, JMX metrics Collector	Агенты, отсылающие информацию о хосте и сервисах в мониторинг

Не все сервисы являются обязательными для установки. Например, если не планируется использование Nifi, то нет необходимости добавлять сервис. Или в случае, когда применяется сервис мониторинга (не на базе Graphite), незачем ставить агенты из Monitoring Clients. Однако, если планируется использование Kafka, одноименный сервис и Zookeeper обязательны, то же самое можно сказать и про сервис Nifi. При этом сервис может состоять из обязательных и необязательных компонентов. Например, сервис KSQL состоит из обязательного компонента Server и необязательного – Client.

Для добавления сервисов в кластер ADS необходимо:

В меню кластера ADS открыть вкладку “Services”.
Нажать “Add service” и в открывшейся форме выбрать необходимые сервисы (Рис.23.).

Рис. 23. Выбор сервисов

Important

На текущий момент невозможно удалить из кластера уже добавленный сервис

В настоящем примере в кластер добавлены все сервисы, подробное описание конфигурации которых приведено по следующим ссылкам:

Особенности сервиса Monitoring Clients¶

Сервис Monitoring Clients требует импорта конфигурационных параметров кластера мониторинга (адреса, логин/пароль) при добавлении в кластер ADS.

Для импорта конфигурации мониторинга необходимо открыть в ADCM вкладку “CLUSTERS”, выбрать опцию Import и отметить импортируемые настройки сервисов с помощью простановки флажков в открывшейся форме (Рис.24.).

Рис. 24. Импорт конфигурации мониторинга

Размещение компонентов сервисов на хостах¶

Каждый сервис состоит из обязательных компонентов, которые должны быть размещены на хостах кластера, и необязательных, которые могут быть не размещены. Для размещения компонентов необходимо на вкладке “Hosts - Components” выбрать компонент в колонке “Components” и определить для него необходимый хост в колонке “Hosts” (Рис.25.).

Рис. 25. Размещение компонентов сервисов на хостах

Поскольку все сервисы добавлены в кластер ADS, но еще не размещены на хостах, то изначально ни на одном из хостов нет компонентов.

В качестве примера на Рис.26. показаны компоненты cервиса Nifi, размещенные на хосте nifi:

Nifi Server – необходимо добавить на один или более хостов (возможна кластерная конфигурация);
Nifi Registry – необходимо добавить ровно на один хост.

Рис. 26. Компоненты сервиса Nifi

Установка кластера¶

Important

В случае если добавлен сервис Monitoring Clients, необходимо импортировать настройки из кластера Monitoring (см. Особенности сервиса Monitoring Clients)

Прежде чем приступить к установке кластера, необходимо в ADS запустить действие Preinstall в правом верхнем углу экрана формы (Рис.27.).

Рис. 27. Preinstall

В результате чего во всплывающем меню следует выбрать необходимые действия из открывшегося списка и нажать Run (Рис.28.).

Рис. 28. Action parameters

На данном этапе все хосты подготовлены и можно приступать непосредственно к установке сервисов кластера:

Установка всех сервисов кластера;
Установка сервиса в проинсталлированный кластер.

Установка всех сервисов кластера¶

Для установки всех добавленных сервисов в кластере ADS необходимо выбрать соответствующий кластер в ADCM и выполнить действие Install (Рис.29.).

Рис. 29. Установка всех сервисов кластера

По результатам установки все добавленные сервисы меняют состояние с preinstalled, на installed – установлен (Рис.30.).

Рис. 30. Состояние сервисов кластера

Для запуска кластера необходимо нажать на кнопку Start.

Установка сервиса в проинсталлированный кластер¶

В ADCM предусмотрена возможность добавления нового сервиса в уже работающий кластер. Для этого сервис необходимо добавить и произвести его установку. Например, для установки сервиса Kafka в проинсталлиованный кластер необходимо:

В меню кластера ADS открыть вкладку “Services”, нажать “Add service” и в открывшейся форме выбрать сервис Kafka.
В строке сервиса Kafka в поле “Actions” нажать на пиктограмму и выбрать действие Install.
По результатам инсталляции сервис Kafka меняет состояние с created – создан, на installed – установлен.