Установка мониторинга

Елена Костюченко, Елена Дворядкина

Сервис Monitoring разворачивает в ADO свой сервер Prometheus, который реализует сбор и хранение метрик мониторинга кластера ADO, а также поддерживает возможность использования веб-приложения Grafana для визуализации и анализа информации. В данной статье описываются шаги, необходимые для подключения этого сервиса.

Обзор

При добавлении сервиса Monitoring в кластер ADO на все хосты устанавливается Node Exporter — агент мониторинга, считывающий с хостов системные метрики, которые будет собирать Prometheus. Prometheus также будет собирать метрики сервисов ADO. Эти метрики будут доступны в формате Prometheus на портах и эндпойнтах, указанных в конфигурационных параметрах сервиса. Просматривать и анализировать данные, которые собирает сервис мониторинга, можно также в веб-интерфейсе Prometheus или Grafana.

ПРИМЕЧАНИЕ

  • Если у вас уже настроена совместимая с Prometheus система мониторинга (например, свой сервер Prometheus или VictoriaMetrics), можно использовать ее, чтобы собирать метрики ADO. Для этого в своей системе мониторинга укажите настройки доступа к метрикам ADO, используя параметры установленного в ADO Prometheus, которые конфигурируются на странице сервиса Monitoring в интерфейсе ADСM.

  • Вы также можете использовать механизм Federation, чтобы перенести все метрики из сервера Prometheus, развернутого в ADO, в свой Prometheus.

Шаг 1. Добавление сервиса

  1. В интерфейсе ADCM откройте страницу Clusters и кликните по имени кластера ADO. Затем на открывшейся странице кластера перейдите на вкладку Services и нажмите Add services.

    Переход к добавлению сервисов
    Переход к добавлению сервисов

  2. В открывшемся окне выберите сервис Monitoring и нажмите Add.

    Выбор сервиса
    Выбор сервиса

    В результате добавленный сервис отобразится на вкладке Services.

    Результат успешного добавления сервиса в кластер
    Результат успешного добавления сервиса в кластер

Шаг 2. Добавление компонентов

  1. На странице кластера откройте вкладку Mapping, чтобы перейти к распределению сервисных компонентов между хостами кластера.

    Переход к распределению сервисных компонентов
    Переход к распределению сервисных компонентов

    Каждый компонент необходимо установить на один любой хост кластера.

    Компоненты сервиса Monitoring
    Компонент Описание

    Prometheus Server

    Разворачивает в ADO сервер Prometheus, который выполняет следующие функции:

    • прокси-канал для всех сервисов, собирающих метрики на хосте;

    • хранилище всех метрик кластера;

    • генератор оповещений на основе собранных метрик.

    Grafana

    Позволяет визуализировать метрики ADO в виде графиков и диаграмм, организованных в дашборды

    Node Exporter

    Считывает с хостов системные метрики, которые будет собирать Prometheus

    Statsd-exporter

    Переводит метрики из формата StatsD в метрики формата Prometheus с помощью настроенных правил

  2. Назначьте хост каждому компоненту сервиса Monitoring — нажмите Add hosts и выберите нужный хост в открывшемся окне.

    Выбор хоста для компонента
    Выбор хоста для компонента
    ВНИМАНИЕ
    Компонент Prometheus Server не рекомендуется устанавливать на хосты с ADO — используйте для него отдельный хост. Иначе при выходе из строя хоста ADO и/или критически большой нагрузке на него информация о соответствующих проблемах не будет сохранена.

  3. После завершения распределения компонентов нажмите Save, чтобы сохранить изменения.

    Сохранение распределения компонентов
    Сохранение распределения компонентов
NOTE

When changing the topology of services/configurations related to monitoring, it is necessary to restart the Prometheus component in the Monitoring service.

Шаг 3. Настройка сервиса

  1. Откройте вкладку Services на странице кластера и кликните по имени сервиса Monitoring в столбце Name.

    Переход к настройке сервиса
    Переход к настройке сервиса

  2. В открывшемся окне заполните конфигурационные параметры сервиса — описания параметров приведены в разделе Monitoring статьи Конфигурационные параметры. Поля, подсвеченные красным, обязательны для заполнения.

    Настройка сервиса Monitoring
    Настройка сервиса Monitoring

    После указания всех необходимых параметров нажмите Save.

Шаг 4. Установка сервиса

  1. На вкладке Services в строке сервиса Monitoring кликните по иконке actions default dark actions default light в столбце Actions и запустите действие Install.

    Переход к установке сервиса
    Переход к установке сервиса

  2. Подтвердите действие в открывшемся окне.

    Подтверждение действия
    Подтверждение действия

  3. Дождитесь завершения установки и убедитесь, что статус сервиса изменился с created на installed.

    Процесс установки завершен
    Процесс установки завершен

    Чтобы увидеть процесс выполнения установки сервиса и проанализировать ошибки в случае их возникновения, выберите пункт Jobs в левом навигационном меню и кликните по имени задачи Install в списке задач Jobs.

    Страница задачи Install
    Страница задачи Install

Шаг 5. Проверка результатов

Сервис Monitoring запускается автоматически после установки. По завершении установки необходимо убедиться в следующем:

  • Метрики собираются со всех хостов кластера, а не только с хостов, на которых развернуты компоненты сервиса мониторинга.

  • C хостов кластера поступают системные метрики, а также метрики сервисов ADO.

Чтобы проверить оба пункта, можно в браузере посмотреть метрики в формате Prometheus, а также использовать веб-интерфейсы Prometheus и Grafana.

Данные в формате Prometheus

  1. В адресную строку браузера введите адрес хоста кластера ADO, а также укажите порт и эндпойнт к сервисным или системным метрикам, которые определены на странице сервиса Monitoring в соответствующей секции конфигурационных параметров:

    • ADO’s services metric settings — настройки доступа к метрикам мониторинга сервисов ADO;

    • Node Exporter settings — настройки доступа к системным метрикам хоста кластера ADO.

    Пример адреса для просмотра метрик сервера Airflow на хосте c IP 10.92.40.107: http://10.92.40.107:11203/metrics.

  2. На открывшейся странице будут показаны метрики мониторинга с указанного хоста кластера в формате Prometheus.

Метрики сервера Airflow в формате Prometheus
Метрики сервера Airflow в формате Prometheus
Метрики сервера Airflow в формате Prometheus
Метрики сервера Airflow в формате Prometheus

Веб-интерфейс Prometheus

  1. В адресной строке браузера введите IP-адрес хоста, где установлен компонент Prometheus Server сервиса Monitoring. Укажите номер порта, который определяется параметром listen_address в секции Prometheus settings конфигурации сервиса Monitoring (по умолчанию, 9092). Пример адреса: http://10.92.40.107:9092. Для входа в интерфейс Prometheus используйте имя пользователя и пароль, которые также указываются в секции Prometheus settings — настройка Prometheus users to login/logout to Prometheus.

  2. В поле Expression можно ввести название метрики и нажать Execute — в интерфейсе будут показаны значения этой метрики на всех хостах кластера ADO.

Веб-интерфейс Prometheus
Веб-интерфейс Prometheus
Веб-интерфейс Prometheus
Веб-интерфейс Prometheus

Веб-интерфейс Grafana

  1. В адресной строке браузера введите адрес хоста, на котором развернут компонент Grafana сервиса Monitoring. В качестве номера порта укажите значение параметра Grafana listen port из раздела Grafana settings в настройках конфигурации сервиса мониторинга (по умолчанию 3000). Например, http://10.92.40.107:3000. Для входа используйте admin в качестве имени пользователя и значение параметра Grafana administrator’s password (находится также в разделе настроек Grafana settings) в качестве пароля.

  2. В открывшемся окне выберите пункт меню Home → Dashboards и разверните секцию ADO Dashboard <ADO_cluster_name>. В этой секции можно выбрать один из доступных дашбордов для просмотра сервисных или системных метрик, поступающих из вашего кластера ADO.

Переход к метрикам кластера ADO в Grafana
Переход к метрикам кластера ADO в Grafana
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней