Создание кластера ADS

После выполнения предварительных действий и загрузки бандла в кластер-менеджере ADCM содержится следующий список объектов (Рис.15.):

  • Прототип кластера мониторинга и созданный на его основе экземпляр (программа мониторинга развернута на хосте, ADCM содержит записи о его результатах и настройках);
  • Прототип кластера ADS для создания экземпляров;
  • Предварительно подготовленные хосты, в базе данных ADCM хранятся записи о них и их учетных данных – ssh-ключах или паролях.
../../_images/hosts.png

Рис. 15. Список объектов в ADCM

Объектам доступен следующий функционал:

Создание экземпляра кластера

При создании кластера в веб-интерфейсе ADCM генерируется новый экземпляр кластера ADS, что означает только добавление данных о нем в базу данных ADCM – на этом этапе не производится установка ADS на хосты.

  1. Открыть в ADCM вкладку “CLUSTERS” (Рис.16.).
../../_images/cluster_mon.png

Рис. 16. Вкладка “CLUSTERS”

  1. Нажать “Add cluster” и в открывшейся форме создать экземпляр кластера из прототипа ADS, полученного из бандла (Рис.17.).
../../_images/add_cluster.png

Рис. 17. Создание экземпляра кластера

  1. В результате выполненных действий факт создания экземпляра кластера отображается в базе данных ADCM на вкладке “CLUSTERS” (Рис.18.).
../../_images/clusters_list.png

Рис. 18. Результат успешного создания экземпляра кластера

Конфигурация кластера

Для перехода к настройкам экземпляра кластера ADS необходимо нажать кнопку с пиктограммой шестеренки в соответствующей строке вкладки “CLUSTERS” (Рис.18.) и перейти в раздел меню “Configuration”. При этом открывается окно конфигурации выбранного экземпляра (Рис.19.).

../../_images/cluster_config.png

Рис. 19. Окно конфигурации кластера

В блоке настроек “Repositories” указываются требуемые для установки ADS пакеты из различных yum-репозиториев, при этом в каждом из параметров можно изменить заданный по умолчанию url:

  • ADS;
  • monitoring;
  • epel.

Если нет необходимости в добавлении того или иного yum-репозитория, то соответствующие галочки следует снять.

Добавление хостов

Для добавления хостов в кластер ADS необходимо:

  1. В меню кластера ADS открыть вкладку “Hosts” (Рис.20.).
../../_images/hosts_list.png

Рис. 20. Вкладка “Hosts” кластера ADS

  1. Нажать “Add hosts” и в открывшейся форме выбрать необходимые хосты (Рис.21.).
../../_images/add_hosts.png

Рис. 21. Выбор хостов

  1. В результате выполненных действий факт добавления хостов отображается в кластере ADS в списке вкладки “Hosts” (Рис.22.).
../../_images/hosts_list2.png

Рис. 22. Результат успешного добавления хостов

Добавление сервисов

Кластер ADS содержит следующие сервисы:

Табл. 2. Сервисы ADS
Сервис Компоненты Описание
Zookeeper Zookeeper Server Сервис, предназначенный для хранения конфигураций, выполнения распределенной синхронизации процессов
Kafka Kafka Broker Распределенная платформа для потоковых операций и данных
Nifi Nifi Server, Nifi Registry Распрделенная платформа, предназначенная для построения и автоматизации потоков данных между различными системами
Schema-registry Schema-registry Сервис предоставляет обслуживающий слой для метаданных. Предоставляет интерфейс RESTful для хранения и извлечения схем Avro. Хранит версионную историю всех схем, предоставляет несколько параметров совместимости и позволяет изменять схемы в соответствии с настроенными параметрами совместимости и расширенной поддержкой Avro. Предоставляет сериализаторы, подключаемые к клиентам Kafka, которые обрабатывают хранение и извлечение схемы для сообщений Kafka, отправляемых в формате Avro
Kafka REST Proxy Kafka REST Proxy Предоставляет RESTful-интерфейс для кластера Kafka, что упрощает создание и потребление сообщений, просмотр состояния кластера и выполнение административных действий без использования собственного протокола Kafka или клиентов
KSQL KSQL Server, KSQL Client Сервис представляет собой потоковый SQL-движок с открытым исходным кодом, который обеспечивает обработку данных в реальном времени с использованием Apache Kafka. Состоит из компонентов: Server; Client
Kafka-Manager Kafka-Manager Инструмент для управления Apache Kafka
Monitoring Clients System metrics Agent, JMX metrics Collector Агенты, отсылающие информацию о хосте и сервисах в мониторинг

Не все сервисы являются обязательными для установки. Например, если не планируется использование Nifi, то нет необходимости добавлять сервис. Или в случае, когда применяется сервис мониторинга (не на базе Graphite), незачем ставить агенты из Monitoring Clients. Однако, если планируется использование Kafka, одноименный сервис и Zookeeper обязательны, то же самое можно сказать и про сервис Nifi. При этом сервис может состоять из обязательных и необязательных компонентов. Например, сервис KSQL состоит из обязательного компонента Server и необязательного – Client.

Для добавления сервисов в кластер ADS необходимо:

  1. В меню кластера ADS открыть вкладку “Services”.
  2. Нажать “Add service” и в открывшейся форме выбрать необходимые сервисы (Рис.23.).
../../_images/add_services.png

Рис. 23. Выбор сервисов

Important

На текущий момент невозможно удалить из кластера уже добавленный сервис

В настоящем примере в кластер добавлены все сервисы, подробное описание конфигурации которых приведено по следующим ссылкам:

Особенности сервиса Monitoring Clients

Сервис Monitoring Clients требует импорта конфигурационных параметров кластера мониторинга (адреса, логин/пароль) при добавлении в кластер ADS.

Для импорта конфигурации мониторинга необходимо открыть в ADCM вкладку “CLUSTERS”, выбрать опцию Import и отметить импортируемые настройки сервисов с помощью простановки флажков в открывшейся форме (Рис.24.).

../../_images/import_configs.png

Рис. 24. Импорт конфигурации мониторинга

Размещение компонентов сервисов на хостах

Каждый сервис состоит из обязательных компонентов, которые должны быть размещены на хостах кластера, и необязательных, которые могут быть не размещены. Для размещения компонентов необходимо на вкладке “Hosts - Components” выбрать компонент в колонке “Components” и определить для него необходимый хост в колонке “Hosts” (Рис.25.).

../../_images/components.png

Рис. 25. Размещение компонентов сервисов на хостах

Поскольку все сервисы добавлены в кластер ADS, но еще не размещены на хостах, то изначально ни на одном из хостов нет компонентов.

В качестве примера на Рис.26. показаны компоненты cервиса Nifi, размещенные на хосте nifi:

  • Nifi Server – необходимо добавить на один или более хостов (возможна кластерная конфигурация);
  • Nifi Registry – необходимо добавить ровно на один хост.
../../_images/nifi_components.png

Рис. 26. Компоненты сервиса Nifi

Установка кластера

Important

В случае если добавлен сервис Monitoring Clients, необходимо импортировать настройки из кластера Monitoring (см. Особенности сервиса Monitoring Clients)

Прежде чем приступить к установке кластера, необходимо в ADS запустить действие Preinstall в правом верхнем углу экрана формы (Рис.27.).

../../_images/cluster_install.png

Рис. 27. Preinstall

В результате чего во всплывающем меню следует выбрать необходимые действия из открывшегося списка и нажать Run (Рис.28.).

../../_images/preinstall_action.png

Рис. 28. Action parameters

На данном этапе все хосты подготовлены и можно приступать непосредственно к установке сервисов кластера:

Установка всех сервисов кластера

Для установки всех добавленных сервисов в кластере ADS необходимо выбрать соответствующий кластер в ADCM и выполнить действие Install (Рис.29.).

../../_images/cluster_preinstall.png

Рис. 29. Установка всех сервисов кластера

По результатам установки все добавленные сервисы меняют состояние с preinstalled, на installed – установлен (Рис.30.).

../../_images/cluster_actions.png

Рис. 30. Состояние сервисов кластера

Для запуска кластера необходимо нажать на кнопку Start.

Установка сервиса в проинсталлированный кластер

В ADCM предусмотрена возможность добавления нового сервиса в уже работающий кластер. Для этого сервис необходимо добавить и произвести его установку. Например, для установки сервиса Kafka в проинсталлиованный кластер необходимо:

  • В меню кластера ADS открыть вкладку “Services”, нажать “Add service” и в открывшейся форме выбрать сервис Kafka.
  • В строке сервиса Kafka в поле “Actions” нажать на пиктограмму и выбрать действие Install.
  • По результатам инсталляции сервис Kafka меняет состояние с created – создан, на installed – установлен.