Установка ADH в ADCM

Выгрузка бандла ADH в ADCM

Выгрузка бандла ADH необходима для создания в ADCM прототипа кластера, из которого в дальнейшем становится возможным создание его экземпляров.

Для выгрузки бандла следует выполнить действия аналогичные выгрузке бандла хостпровайдера.

Создание экземпляра кластера

При создании кластера в веб-интерфейсе ADCM генерируется новый экземпляр кластера ADH, что означает только добавление данных о нем в базу данных ADCM – на этом этапе не производится установка ADH на хосты.

  1. Открыть в ADCM вкладку “CLUSTERS” (Рис.11.).
../_images/cluster_mon.png

Рис. 11. Вкладка “CLUSTERS”

  1. Нажать “Add cluster” и в открывшейся форме создать экземпляр кластера из прототипа ADH (Рис.12.).
../_images/add_cluster.png

Рис. 12. Создание экземпляра кластера

  1. В результате экземпляр кластера отражается в списке на вкладке “CLUSTERS” (Рис.13.).
../_images/clusters_list.png

Рис. 13. Результат успешного создания экземпляра кластера

Добавление сервисов кластера

Important

На текущий момент невозможно удалить из кластера уже добавленный сервис

Для добавления сервисов в кластер ADH необходимо (Рис.14.):

  1. В меню кластера ADH открыть вкладку “Services”;
  2. Нажать “Add service”;
  3. В открывшейся форме выбрать необходимые сервисы;
  4. Нажать “Save”.
../_images/add_services.png

Рис. 14. Выбор сервисов

Возможность добавления нового сервиса в уже работающий кластер не отличается от установки сервиса с нуля.

Конфигурирование сервиса

Для перехода к настройкам сервиса кластера необходимо нажать кнопку с пиктограммой шестеренки в соответствующей строке вкладки пункта меню “Services” (Рис.15.).

../_images/service_configure.png

Рис. 15. Настройка сервиса

По завершении конфигурирования сервиса необходимо нажать “Save”.

В случае, если сервису требуется изначальная настройка, то в поле “Actions” соответствующего сервиса вместо иконки отражается оранжевый восклицательный знак (Рис.16.).

../_images/service_configure_warning.png

Рис. 16. Сервисы, требующие настройки

Это означает, что необходимо открыть страницу конфигурирования сервиса и заполнить поля, выделенные оранжевым (Рис.17.).

../_images/service_configure_warning_in.png

Рис. 17. Конфигурация сервиса, требующего настройки

Добавление хостов

Для добавления хостов в кластер ADH необходимо:

  1. В меню кластера ADH открыть вкладку “Hosts” (Рис.18.).
../_images/hosts_list.png

Рис. 18. Вкладка “Hosts” кластера ADH

  1. Нажать “Add hosts” и в открывшейся форме выбрать необходимые хосты (Рис.19.).
../_images/add_hosts.png

Рис. 19. Выбор хостов

  1. В результате добавленные хосты отображаются в списке вкладки “Hosts” (Рис.20.).
../_images/hosts_list2.png

Рис. 20. Результат успешного добавления хостов

Размещение компонентов сервисов на хостах

Изначально ни на одном из хостов нет компонентов – распределение компонентов осуществляется вручную.

Для размещения компонентов необходимо перейти на вкладку “Hosts - Components” (Рис.21.).

../_images/components.png

Рис. 21. Размещение компонентов сервисов на хостах

И распределить компоненты одним из двух способов:

  1. Выбрать компонент в колонке “Components” и определить для него хост в колонке “Hosts”;
  2. Выбрать хост в колонке “Hosts” и определить для него компонент в колонке “Components”.

Important

В сервисе могут быть обязательные и необязательные компоненты. Если компонент обязательный, то в его количественном счетчике справа от названия присутствует символ ‘/’. Без назначения хоста обязательному компоненту карту размещения сервисов нельзя сохранить

По завершении распределения хостов необходимо нажать “Save”.

Конфигурирование кластера

Для перехода к настройкам экземпляра кластера ADH необходимо нажать кнопку с пиктограммой шестеренки в соответствующей строке вкладки “CLUSTERS” и перейти в раздел меню “Configuration”. При этом открывается окно конфигурации выбранного экземпляра (Рис.22.).

../_images/cluster_config.png

Рис. 22. Окно конфигурирования кластера

По завершении конфигурирования кластера необходимо нажать “Save”.

Установка сервисов кластера

Important

Порядок установки сервисов и зависимости между ними на данный момент не ограничивается со стороны ADCM

Устанавливать сервисы необходимо в следующем порядке:

  1. Zookeeper
  2. HDFS
  3. YARN
  4. HBase
  5. Hive
  6. Spark
  7. Monitoring

Для установки добавленного сервиса необходимо в строке нужного сервиса нажать на пиктограмму в поле “Actions” и выбрать действие Install. После этого ADCM запускает задачу установки. Более конкретно о статусе и информации о задачах можно узнать на вкладке “JOBS” (Рис.23.).

../_images/jobs.png

Рис. 23. Вкладка “JOBS”

Important

Статус задач ADCM отражается в правом верхнем углу web-интерфейса. Желтый круг отражает количество запущенных задач, а зеленый и красный – количество успешно и неуспешно завершенных задач соответственно

Успешное завершение установки сервиса определяется переходом задачи из статуса running в статус success на вкладке “JOBS”. При неудачном завершении задача переходит в статус failed. При таком исходе возможно нажать на строку задачи на странице вкладки “JOBS” для получения более подробной информации о возникших ошибках (Рис.24.).

../_images/job.png

Рис. 24. Страница конкретной задачи

На странице задачи в левой части экрана обязательно содержится 2 раздела: “№-ansible-out.txt” и “№-ansible-out.txt”, где № является номером задачи. Это технические логи задачи, которые могут помочь в определении причины проблем.

Также может существовать опциональный третий раздел “№-check-out.json” – это логи проверок частых ошибок, описание этих ошибок более простое и конкретное, чем в случае первых двух технических логов.

Содержимое всех трех разделов подлежит изучению при возникновении ошибок.

После установки сервис запускается автоматически, кроме сервиса Zookeeper – его требуется запустить вручную нажатием кнопки “Start”.

Important

Сервис Zookeeper требует ручного запуска

По результатам инсталляции сервис меняет состояние (поле “State”) с created на installed (Рис.25.).

../_images/cluster_actions.png

Рис. 25. Состояние сервисов кластера

Особенности установки сервисов

Hive

Компонент Metastore сервиса Hive требует наличия БД MySQL/MariaDB и доступов к ней.

Сервис MySQL/MariaDB в бандл ADH не входит, его необходимо устанавливать и настраивать другими средствами.

Important

Помимо настройки самого сервиса MySQL/MariaDB для использования его сервисом Hive необходимо также настроить соответствующие доступы (GRANT)

Так, самый простой случай выдачи доступов выглядит следующим образом:

MariaDB [(none)]> GRANT ALL ON *.* TO 'root'@'<metastore_fqdn>' identified by '<password>' WITH GRANT OPTION;

Где <metastore_fqdn> и <password> необходимо заменить реальными данными конкретного сервера MySQL/MariaDB.

Указать сервису Hive адрес и учетные данные для подключения к БД можно в настройках сервиса.

Monitoring

Сервис Monitoring кластера ADH требует установки отдельного кластера Monitoring для целей интеграции в него кластера ADH.

После установки кластера Monitoring его необходимо интегрировать в кластер ADH. Для этого необходимо перейти в раздел меню “Import” кластера ADH (Рис.26.).

../_images/import.png

Рис. 26. Раздел меню “Import”

Далее необходимо отметить флагами оба импортируемых сервиса кластера Monitoring: Graphite и Grafana, и нажать “Save” в верхней правой части страницы.

После интеграции сервису Monitoring кластера ADH становятся доступными средства для мониторинга некоторых сервисов кластера:

  • HDFS;
  • YARN;
  • HBase;
  • Spark.

Для использования этих средств необходимо установить сервис, предназначенный для мониторинга, и сервис Monitoring кластера ADH.

Important

В случае, если сервис Monitring установлен после сервиса, предназначенного для мониторинга, необходим рестарт этого сервиса