Создание кластера ADQM

После выполнения предварительных действий и загрузки бандла в кластер-менеджере ADCM содержится следующий список объектов (Рис.9):

  • Прототип кластера мониторинга и созданный на его основе экземпляр (программа мониторинга развернута на хосте, ADCM содержит записи о его результатах и настройках);

  • Прототип кластера adqm для создания экземпляров;

  • Предварительно сгенерированные хосты на основе бандла ssh:

    dev-click-{1..4} – хосты, на которые будет произведена установка ADQMDB;

    dev-click-mon – хост для установки сервисов мониторинга (опционально);

    dev-click-et – хост для установки ArenaData EnterpriseTools (опционально).

../../../../_images/img_4.png

Рис. 9. Список объектов в ADCM

Данным объектам доступен следующий функционал:

Создание экземпляра кластера

При создании кластера в веб-интерфейсе ADCM генерируется новый экземпляр кластера adqm, что означает только добавление данных о нем в базу данных ADCM – на этом этапе не производится установка adqm на хосты.

Для создания экземпляра кластера необходимо:

  1. Открыть в ADCM вкладку “CLUSTERS” (Рис.10).
../../../../_images/img_5.png

Рис. 10. Вкладка “CLUSTERS”

  1. Нажать “Add cluster” и в открывшейся форме создать экземпляр кластера из прототипа adqm, полученного из бандла (Рис.11).
../../../../_images/img_6.png

Рис. 11. Создание экземпляра кластера

  1. В результате выполненных действий факт создания экземпляра кластера отображается в базе данных ADCM на вкладке “CLUSTERS” (Рис.12).
../../../../_images/img_7.png

Рис. 12. Результат успешного создания экземпляра кластера

Конфигурация кластера

Для перехода к настройкам экземпляра кластера adqm необходимо нажать кнопку с пиктограммой шестеренки в соответствующей строке вкладки “CLUSTERS” (Рис.12) и перейти в раздел меню “Configuration”. При этом открывается окно конфигурации выбранного экземпляра (Рис.13).

../../../../_images/img_8.png

Рис. 13. Окно конфигурации кластера

В блоке настроек “repos” указываются требуемые для установки adqm yum-репозитории, при этом в каждом из параметров можно изменить заданный по умолчанию url на необходимый:

  • ADQM;
  • Monitoring.

Конфигурация кластера Arenadata Enterprise Tools может быть импортирована и применена автоматически. Для этого необходимо на странице со списком кластеров для созданного кластера ADQM нажать на пиктограмму в столбце Import и установить флажок в раскрывшемся списке для сервиса http кластера Enterprise Tools.

../../../../_images/img_67.png

Рис. 14. Импорт конфигурации локального репозитория из кластера Enterprise Tools

Important

Arenadata Enterprise Tools предоставляет локальную копию только репозиториев Arenadata Database и Arenadata Monitoring. Доступ к репозиториям CentOS должен быть организован отдельно

Добавление сервисов

Кластер ADQM содержит следующие сервисы:

  • ADQM DB – база данных ClickHouse;
  • Zookeeper – распределенное древовидное хранилище. Используется для хранения мета-информации о таблицах;
  • Monitoring Clients – агенты, отсылающие информацию о хосте и ADQM в мониторинг;

Наличие сервисов ADQM DB и Zookeeper является обязательным. Monitoring Clients – опционально.

Important

На текущий момент невозможно удалить из кластера уже добавленный сервис

В настоящем примере в кластер добавляются все сервисы:

  1. Открыть вкладку “SERVICES” кластера adqm (Рис.15).
../../../../_images/img_10.png

Рис. 15. Вкладка “SERVICES”

  1. Нажать “Add services” и в открывшейся форме добавить необходимые сервисы (Рис.16).
../../../../_images/img_11.png

Рис. 16. Добавление сервисов

  1. В результате выполненных действий факт добавления сервисов отображается в базе данных ADCM на вкладке “SERVICES” (Рис.17).
../../../../_images/img_12.png

Рис. 17. Результат успешного добавления сервисов

Настройка добавленных сервисов

Настройка сервиса ADQM DB

Для перехода к настройкам сервиса ADQM DB необходимо нажать кнопку с пиктограммой шестеренки в соответствующей строке вкладки “SERVICES” и перейти в раздел меню “Configuration”. При этом открывается окно конфигурации сервиса ADQM DB (Рис.18).

../../../../_images/img_13.png

Рис. 18. Окно конфигурации сервиса ADQM

  • Max connections – максимальное количество входящих соединений;

  • Max concurrent queries – максимальное количество одновременно обрабатываемых запросов;

  • ClickHouse http port – порт для обращений к серверу по протоколу HTTP;

  • Listen host – ограничение по хостам, с которых может прийти запрос. Если необходимо, чтобы сервер отвечал всем, то надо указать ::;

  • Data path – путь к каталогу с данными;

    Important

    Завершающий слеш обязателен

  • Temp path – путь ко временным данным для обработки больших запросов;

    Important

    Завершающий слеш обязателен

  • User files path – каталог с пользовательскими файлами. Используется в табличной функции file().

  • Distributed DDL zookeeper path – путь в ZooKeeper к очереди с запросами DDL.

В блоке настроек Cluster_configuration задаются параметры для создания кластеров. На данном этапе создается только один кластер – default_cluster:

  • Replication factor – настройка коэффициента репликации, используется для автосоздания default_cluster. Используется для заполнения Default cluster topology, когда он пустой;
  • Default cluster topology – схема (JSON), на основе которой заполняется конфигурация default_cluster. Созданный автоматически пример c Replication factor = 1: {1: {1: 'dev-click-1'}, 2: {1: 'dev-click-2'}, 3: {1: 'dev-click-3'}, 4: {1: 'dev-click-4'}}.

Добавление хостов

По результатам предварительных действий в ADCM создано четыре хоста для установки ADQM DB (их логины и пароли сохранены в их конфигурациях). На данном этапе их следует добавить в кластер adqm:

  1. В меню кластера adqm открыть вкладку “Hosts” (Рис.19).
../../../../_images/img_15.png

Рис. 19. Вкладка “Hosts” кластера adqm

  1. Нажать “Add hosts” и в открывшейся форме выбрать необходимые хосты (Рис.20).
../../../../_images/img_16.png

Рис. 20. Выбор хостов

  1. В результате выполненных действий факт добавления хостов отображается в кластере adqm в списке вкладки “Hosts” (Рис.21).
../../../../_images/img_17.png

Рис. 21. Результат успешного добавления хостов

Размещение компонентов сервисов на хостах

Каждый сервис состоит из компонентов, которые должны быть размещены на хостах в кластере. Для этого необходимо на вкладке кластера “Hosts - Components” выбрать компонент посредством нажатия на него мышкой в колонке “Components” и определить для него необходимый хост в колонке “Hosts” (Рис.22).

../../../../_images/img_18.png

Рис. 22. Размещение компонентов сервисов на хостах

Поскольку сервисы ADQM DB, Zookeeper и Monitoring Clients добавлены в кластер ADQM, но еще не размещены на хостах, то изначально ни на одном из хостов нет компонентов.

Компоненты сервиса ADQM :

  • ADQM DB – добавляется на те хосты, на которых должна быть база данных. Не менее одного;
  • Zookeeper – так как для Zookeeper необходим кворум, то необходимо нечетное количество хостов. Рекомендуется три;
  • Monitoring Clients – опционально может быть добавлен на все хосты. Рекомендуется покрывать мониторингом все хосты в кластере.

Установка сервисов

После выполнения предварительной настройки кнопка Install в правом верхнем углу становится активной – окрашена в рыжий цвет (Рис.23).

../../../../_images/img_19.png

Рис. 23. Готовый к установке кластер

Для начала установки необходимо подтвердить действие, нажав кнопку Run (Рис.24).

../../../../_images/img_20.png

Рис. 24. Запрос на подтверждение действия

После окончания процесса установки статусы сервисов становятся зелеными, что говорит о удачной инсталляции и работающих процессах (Рис.25).

../../../../_images/img_21.png

Рис. 25. “Здоровый” кластер