Установка ADQM

Important

Полная документация по продукту Arenadata QuickMarts (ADQM) приведена по ссылке.

Предварительные шаги

Для установки кластера ADQM посредством ADCM необходимо выполнить следующие предварительные шаги:

1. Установить ADCM.
2. Создать хосты для кластера ADQM:
   • Загрузить выбранный бандл хоста. В текущем примере используется бандл ssh;
   • Для установки понадобится один или более хост. В текущем примере используется четыре хоста (dev-click-{1..4}).
3. (Опционально) Создать кластер мониторинга:
   • Загрузить бандл мониторинга;
   • Создать экземпляр кластера мониторинга и установить его.
4. (Опционально) Для установки без доступа к сети Интернет (с ограниченным доступом):
   • Запросить дистрибутив Arenadata Enterprise Tools;
   • Развернуть Arenadata Enterprise Tools на выделенном хосте.

Загрузка бандла ADQM

Загрузка бандла ADQM необходима для создания в ADCM прототипа кластера, из которого в дальнейшем возможна генерация его экземпляров.

Для загрузки бандла следует выполнить следующие действия:

1. Открыть в ADCM вкладку “BUNDLES” (Рис.4).

Рис. 4. Вкладка “BUNDLES”

2. Нажать “Upload bundle” и в открывшейся форме выбрать файл бандла ADQM (Рис.5).

Рис. 5. Выбор бандла

3. В результате выполненных действий факт успешной загрузки отображается в общем списке бандлов на вкладке “BUNDLES” (Рис.6).

Рис. 6. Результат успешной загрузки бандла

Создание кластера ADQM

После выполнения пунктов Предварительные шаги и Загрузка бандла ADQM в кластер-менеджере ADCM содержится следующий список объектов (Рис.7):

• Прототип кластера мониторинга и созданный на его основе экземпляр (программа мониторинга развернута на хосте, ADCM содержит записи о его результатах и настройках);

• Прототип кластера adqm для создания экземпляров;

• Предварительно сгенерированные хосты на основе бандла ssh:

  dev-click-{1..4} – хосты, на которые будет произведена установка ADQMDB;

  dev-click-mon – хост для установки сервисов мониторинга (опционально);

  dev-click-et – хост для установки ArenaData EnterpriseTools (опционально).

Рис. 7. Список объектов в ADCM

Данным объектам доступен следующий функционал:

• Создание экземпляра кластера;
• Конфигурация кластера;
• Добавление сервисов;
• Добавление хостов;
• Размещение компонентов сервисов на хостах;
• Установка сервисов.

Создание экземпляра кластера

При создании кластера в веб-интерфейсе ADCM генерируется новый экземпляр кластера adqm, что означает только добавление данных о нем в базу данных ADCM – на этом этапе не производится установка adqm на хосты.

Для создания экземпляра кластера необходимо:

1. Открыть в ADCM вкладку “CLUSTERS” (Рис.8).

Рис. 8. Вкладка “CLUSTERS”

2. Нажать “Add cluster” и в открывшейся форме создать экземпляр кластера из прототипа adqm, полученного из бандла (Рис.9).

Рис. 9. Создание экземпляра кластера

3. В результате выполненных действий факт создания экземпляра кластера отображается в базе данных ADCM на вкладке “CLUSTERS” (Рис.10).

Рис. 10. Результат успешного создания экземпляра кластера

Конфигурация кластера

Для перехода к настройкам экземпляра кластера adqm необходимо нажать кнопку с пиктограммой шестеренки в соответствующей строке вкладки “CLUSTERS” (Рис.10) и перейти в раздел меню “Configuration”. При этом открывается окно конфигурации выбранного экземпляра (Рис.11).

Рис. 11. Окно конфигурации кластера

В блоке настроек “repos” указываются требуемые для установки adqm yum-репозитории, при этом в каждом из параметров можно изменить заданный по умолчанию url на необходимый:

• ADQM;
• Monitoring.

Конфигурация кластера Arenadata Enterprise Tools может быть импортирована и применена автоматически. Для этого необходимо на странице со списком кластеров для созданного кластера ADQM нажать на пиктограмму в столбце Import и установить флажок в раскрывшемся списке для сервиса http кластера Enterprise Tools.

Рис. 12. Импорт конфигурации локального репозитория из кластера Enterprise Tools

Important

Arenadata Enterprise Tools предоставляет локальную копию только репозиториев Arenadata Database и Arenadata Monitoring. Доступ к репозиториям CentOS должен быть организован отдельно

Добавление сервисов

Кластер ADQM содержит следующие сервисы:

• ADQM DB – база данных ClickHouse;
• Zookeeper – распределенное древовидное хранилище. Используется для хранения мета-информации о таблицах;
• Monitoring Clients – агенты, отсылающие информацию о хосте и ADQM в мониторинг;

Наличие сервисов ADQM DB и Zookeeper является обязательным. Monitoring Clients – опционально.

Important

На текущий момент невозможно удалить из кластера уже добавленный сервис

В настоящем примере в кластер добавляются все сервисы:

1. Открыть вкладку “SERVICES” кластера adqm (Рис.13).

Рис. 13. Вкладка “SERVICES”

2. Нажать “Add services” и в открывшейся форме добавить необходимые сервисы (Рис.14).

Рис. 14. Добавление сервисов

3. В результате выполненных действий факт добавления сервисов отображается в базе данных ADCM на вкладке “SERVICES” (Рис.15).

Рис. 15. Результат успешного добавления сервисов

Настройка добавленных сервисов

Настройка сервиса ADQM DB

Для перехода к настройкам сервиса ADQM DB необходимо нажать кнопку с пиктограммой шестеренки в соответствующей строке вкладки “SERVICES” и перейти в раздел меню “Configuration”. При этом открывается окно конфигурации сервиса ADQM DB (Рис.16).

Рис. 16. Окно конфигурации сервиса ADQM

• Max connections – максимальное количество входящих соединений;

• Max concurrent queries – максимальное количество одновременно обрабатываемых запросов;

• ClickHouse http port – порт для обращений к серверу по протоколу HTTP;

• Listen host – ограничение по хостам, с которых может прийти запрос. Если необходимо, чтобы сервер отвечал всем, то надо указать ::;

• Data path – путь к каталогу с данными;

  Important

  Завершающий слеш обязателен

• Temp path – путь ко временным данным для обработки больших запросов;

  Important

  Завершающий слеш обязателен

• User files path – каталог с пользовательскими файлами. Используется в табличной функции file().

• Distributed DDL zookeeper path – путь в ZooKeeper к очереди с запросами DDL.

В блоке настроек Cluster_configuration задаются параметры для создания кластеров. На данном этапе создается только один кластер – default_cluster:

• Replication factor – настройка коэффициента репликации, используется для автосоздания default_cluster. Используется для заполнения Default cluster topology, когда он пустой;
• Default cluster topology – схема (JSON), на основе которой заполняется конфигурация default_cluster. Созданный автоматически пример c Replication factor = 1: {1: {1: 'dev-click-1'}, 2: {1: 'dev-click-2'}, 3: {1: 'dev-click-3'}, 4: {1: 'dev-click-4'}}.

Добавление хостов

По результатам пункта Предварительные шаги в ADCM создано четыре хоста для установки ADQM DB (их логины и пароли сохранены в их конфигурациях). На данном этапе их следует добавить в кластер adqm:

1. В меню кластера adqm открыть вкладку “Hosts” (Рис.17).

Рис. 17. Вкладка “Hosts” кластера adqm

2. Нажать “Add hosts” и в открывшейся форме выбрать необходимые хосты (Рис.18).

Рис. 18. Выбор хостов

3. В результате выполненных действий факт добавления хостов отображается в кластере adqm в списке вкладки “Hosts” (Рис.19).

Рис. 19. Результат успешного добавления хостов

Размещение компонентов сервисов на хостах

Каждый сервис состоит из компонентов, которые должны быть размещены на хостах в кластере. Для этого необходимо на вкладке кластера “Hosts - Components” выбрать компонент посредством нажатия на него мышкой в колонке “Components” и определить для него необходимый хост в колонке “Hosts” (Рис.20).

Рис. 20. Размещение компонентов сервисов на хостах

Поскольку сервисы ADQM DB, Zookeeper и Monitoring Clients добавлены в кластер ADQM, но еще не размещены на хостах, то изначально ни на одном из хостов нет компонентов.

Компоненты сервиса ADQM:

• ADQM DB – добавляется на те хосты, на которых должна быть база данных. Не менее одного;
• Zookeeper – так как для Zookeeper необходим кворум, то необходимо нечетное количество хостов. Рекомендуется три;
• Monitoring Clients – опционально может быть добавлен на все хосты. Рекомендуется покрывать мониторингом все хосты в кластере.

Установка сервисов

После выполнения предварительной настройки кнопка Install в правом верхнем углу становится активной – окрашена в рыжий цвет (Рис.21).

Рис. 21. Готовый к установке кластер

Для начала установки необходимо подтвердить действие, нажав кнопку Run (Рис.22).

Рис. 22. Запрос на подтверждение действия

После окончания процесса установки статусы сервисов становятся зелеными, что говорит о удачной инсталляции и работающих процессах (Рис.23).

Рис. 23. “Здоровый” кластер

Особенности при оффлайн-установке

Для оффлайн инсталляции кластера ADQM перед его установкой необходимо создать и настроить кластер Arenadata Enterprise Tools, описание которого приведено по ссылке.

После этого в выпадающем меню imports для кластера ADQM становится доступна опция http – это подключаемые оффлайн-репозитории необходимых для установки кластера пакетов (Рис.24).

Рис. 24. Результат успешного импорта http-репозиториев

Important

Pack для оффлайн-установки поставляется исключительно вместе с поддержкой сервиса ADQM