Интеграция с кластером ADH

Евгения Кузина, Дарья Барышева

Для настройки мониторинга нового кластера необходимо интегрировать его с предварительно созданным кластером мониторинга и добавить отдельный сервис Monitoring .

Шаги для интеграции кластера мониторинга и кластера ADH описаны ниже. Все действия выполняются на базе кластера ADH.

Шаг 1. Импорт настроек мониторинга

  1. Выберите кластер на странице Clusters. Для этого нажмите на имя кластера в столбце Name.

    Выбор кластера
    Выбор кластера

  2. Откройте вкладку Import на странице кластера.

  3. Выберите сервисы Graphite и Grafana ранее добавленного кластера мониторинга.

  4. Нажмите Import.

    Интеграция с кластером мониторинга
    Интеграция с кластером мониторинга

Шаг 2. Добавление сервиса мониторинга

Для добавления сервисов в кластер:

  1. Выберите кластер на странице Clusters. Для этого нажмите на имя кластера в столбце Name.

    Выбор кластера
    Выбор кластера

  2. Откройте вкладку Services на странице кластера и нажмите Add service.

    Переход к добавлению сервисов
    Переход к добавлению сервисов

  3. Выберите сервис Monitoring в открывшемся окне и нажмите Add.

    Выбор сервисов
    Выбор сервисов

  4. В результате успешно добавленные сервисы отображаются на вкладке Services.

    Результат успешного добавления сервисов в кластер
    Результат успешного добавления сервисов в кластер

Шаг 3. Распределение компонентов мониторинга

Для добавления компонентов на хосты кластера:

  1. Выберите кластер на странице Clusters. Для этого нажмите на имя кластера в столбце Name.

    Выбор кластера
    Выбор кластера

  2. Откройте вкладку Mapping на странице кластера, добавьте компоненты мониторинга на все хосты кластера и нажмите Save.

    Распределение компонентов между хостами
    Распределение компонентов между хостами

Шаг 4. Установка сервиса мониторинга

  1. Откройте вкладку Services на странице кластера. Нажмите на иконку actions default dark actions default light в столбце Actions и выберите действие Install в строке, содержащей сервис Monitoring ; подтвердите действие в открывшемся окне.

    Переход к установке сервиса мониторинга
    Переход к установке сервиса мониторинга

  2. Дождитесь завершения процесса установки. В результате статус сервиса мониторинга изменяет свое значение с created на installed .

    ПРИМЕЧАНИЕ
    В случае ошибок логи можно найти на странице Jobs.
    Процесс установки завершен
    Процесс установки завершен
ВНИМАНИЕ
После установки кластера мониторинга необходимо перезапустить кластер ADH, чтобы просматривать метрики.

Шаг 5. Проверка результатов

По завершении установки необходимо убедиться в следующем:

  • Системные метрики собираются с хостов вашего кластера, а не только с хоста, на котором ранее был развернут кластер мониторинга.

  • Наряду с системными метриками, с хостов кластера поступают сервисные метрики. Например, в кластерах ADH поддерживаются метрики для таких сервисов, как HDFS, YARN, HBase, Spark.

Оба пункта можно проверить в web-интерфейсе Graphite и Grafana.

Graphite

  1. В адресной строке браузера введите адрес хоста, на котором развернут кластер мониторинга. В качестве номера порта укажите значение параметра Web-interface TCP port из раздела ip_and_ports, определенное на этапе конфигурирования сервиса Graphite при установке кластера мониторинга. Значение 80 (используемое по умолчанию) можно не указывать.

  2. Разверните дерево в левой части открывшейся формы. Здесь отображаются метрики System и сервисные метрики с группировкой по хостам. Можно выбрать любую из метрик для просмотра динамики ее изменения в виде графика в правой части экрана.

    Новые хосты и сервисные метрики доступны в Graphite
    Новые хосты и сервисные метрики доступны в Graphite
    Новые хосты и сервисные метрики доступны в Graphite
    Новые хосты и сервисные метрики доступны в Graphite

Grafana

  1. В адресной строке браузера введите адрес хоста, на котором развернут кластер мониторинга. В качестве номера порта укажите значение параметра Port из раздела ip_and_ports, определенное на этапе конфигурирования сервиса Grafana при установке кластера мониторинга (по умолчанию 3000).

  2. Выберите пункт меню Home в открывшемся окне.

  3. Обратите внимание, что новые дашборды доступны. Можно выбрать один из них для просмотра сервисных метрик, поступающих из вашего кластера.

    Переход к сервисным метрикам
    Переход к сервисным метрикам

  4. Проанализируйте доступные графики.

    Просмотр сервисных метрик
    Просмотр сервисных метрик
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней