Сервис мониторинга

Елена Дворядкина

Сервис Monitoring разворачивает в ADQM свой сервер Prometheus, который реализует сбор и хранение метрик мониторинга кластера ADQM, а также поддерживает возможность использования веб-приложения Grafana для визуализации и анализа информации. В данной статье описываются шаги, необходимые для подключения этого сервиса.

Обзор

При добавлении сервиса Monitoring в кластер ADQM на все хосты устанавливается node exporter — агент мониторинга, считывающий с хостов системные метрики, которые будет собирать Prometheus. Prometheus также будет собирать метрики сервисов ADQM (ClickHouse, ZooKeeper, ClickHouse Keeper, Chproxy). Эти метрики будут доступны в формате Prometheus на портах и конечных точках (endpoints), указанных в конфигурационных параметрах сервиса. Просматривать и анализировать данные, которые собирает сервис мониторинга, можно также в веб-интерфейсе Prometheus или Grafana.

ПРИМЕЧАНИЕ

  • Если у вас уже настроена совместимая с Prometheus система мониторинга (например, свой сервер Prometheus или VictoriaMetrics), можно использовать ее, чтобы собирать метрики ADQM. Для этого в своей системе мониторинга укажите настройки доступа к метрикам ADQM, используя параметры установленного в ADQM Prometheus, которые конфигурируются на странице сервиса Monitoring в интерфейсе ADСM.

  • Вы также можете использовать механизм Federation, чтобы перенести все метрики из сервера Prometheus, развернутого в ADQM, в свой Prometheus.

Шаг 1. Добавление сервиса

  1. В интерфейсе ADCM откройте страницу Clusters и кликните по имени кластера ADQM. Затем на открывшейся странице кластера перейдите на вкладку Services и нажмите Add services.

    Переход к добавлению сервисов
    Переход к добавлению сервисов

  2. В открывшемся окне выберите сервис Monitoring и нажмите Add.

    Выбор сервиса
    Выбор сервиса

    В результате добавленный сервис отобразится на вкладке Services.

    Результат успешного добавления сервиса в кластер
    Результат успешного добавления сервиса в кластер

Шаг 2. Добавление компонентов

  1. На странице кластера откройте вкладку Mapping, чтобы перейти к распределению сервисных компонентов между хостами кластера.

    Переход к распределению сервисных компонентов
    Переход к распределению сервисных компонентов

    Все компоненты сервиса Monitoring являются обязательными (подсвечиваются красным цветом). Каждый компонент необходимо установить на один любой хост кластера.

    Компоненты сервиса Monitoring
    Компонент Описание

    Prometheus Server

    Разворачивает в ADQM сервер Prometheus, который выполняет следующие функции:

    • прокси-канал для всех сервисов, собирающих метрики на хосте;

    • хранилище всех метрик кластера;

    • генератор оповещений на основе собранных метрик.

    Grafana

    Позволяет визуализировать метрики ADQM в виде графиков и диаграмм, организованных в дашборды

    Pushgateway

    Принимает и отдает в Prometheus статические метрики. Используется, чтобы передать в Prometheus структуру кластера ADQM

  2. Назначьте хост каждому компоненту сервиса Monitoring — нажмите Add hosts и выберите нужный хост в открывшемся окне.

    Выбор хоста для компонента
    Выбор хоста для компонента

  3. После завершения распределения компонентов нажмите Save, чтобы сохранить изменения.

    Сохранение распределения компонентов
    Сохранение распределения компонентов

Шаг 3. Настройка сервиса

  1. Откройте вкладку Services на странице кластера и кликните по имени сервиса Monitoring в столбце Name.

    Переход к настройке сервиса
    Переход к настройке сервиса

  2. В открывшемся окне заполните конфигурационные параметры сервиса — описания параметров приведены в разделе Monitoring статьи Конфигурационные параметры. Поля, подсвеченные красным, обязательны для заполнения.

    Настройка сервиса Monitoring
    Настройка сервиса Monitoring

    После указания всех необходимых параметров нажмите Save.

Шаг 4. Установка сервиса

  1. На вкладке Services в строке сервиса Monitoring кликните по иконке actions default dark actions default light в столбце Actions и запустите действие Install.

    Переход к установке сервиса
    Переход к установке сервиса

  2. Подтвердите действие в открывшемся окне.

    Подтверждение действия
    Подтверждение действия

  3. Дождитесь завершения установки и убедитесь, что статус сервиса изменился с created на installed.

    Процесс установки завершен
    Процесс установки завершен

    Чтобы посмотреть процесс выполнения установки сервиса и проанализировать ошибки в случае их возникновения, выберите пункт Jobs в левом навигационном меню и кликните по имени задачи Install в списке задач Jobs.

    Страница задачи Install
    Страница задачи Install

Шаг 5. Проверка результатов

Сервис Monitoring запускается автоматически после установки. По завершении установки необходимо убедиться в следующем:

  • Метрики собираются со всех хостов кластера, а не только с хостов, на которых развернуты компоненты сервиса мониторинга.

  • C хостов кластера поступают системные метрики, а также метрики сервисов ADQM — см. Метрики мониторинга кластера ADQM.

Чтобы проверить оба пункта, можно в браузере посмотреть метрики в формате Prometheus, а также использовать веб-интерфейсы Prometheus и Grafana.

Данные в формате Prometheus

  1. В адресную строку браузера введите адрес хоста кластера ADQM, а также укажите порт и конечную точку доступа (endpoint) к сервисным или системным метрикам, которые определены на странице сервиса Monitoring в соответствующей секции конфигурационных параметров:

    • ADQM’s services metric settings — настройки доступа к метрикам мониторинга сервисов ADQM;

    • Node exporter settings — настройки доступа к системным метрикам хоста кластера ADQM.

    Пример адреса для просмотра метрик сервера ClickHouse на хосте c IP 10.92.40.107: http://10.92.40.107:9363/metrics.

  2. На открывшейся странице будут показаны метрики мониторинга с указанного хоста кластера в формате Prometheus.

Метрики сервера ClickHouse в формате Prometheus
Метрики сервера ClickHouse в формате Prometheus
Метрики сервера ClickHouse в формате Prometheus
Метрики сервера ClickHouse в формате Prometheus

Веб-интерфейс Prometheus

  1. В адресной строке браузера введите IP-адрес хоста, где установлен компонент Prometheus Server сервиса Monitoring. Укажите номер порта, который определяется параметром listen_address в секции Prometheus settings конфигурации сервиса Monitoring (по умолчанию, 9092). Пример адреса: http://10.92.40.107:9092. Для входа в интерфейс Prometheus используйте имя пользователя и пароль, которые также указываются в секции Prometheus settings — настройка Prometheus users to login/logout to Prometheus.

  2. В поле Expression можно ввести название метрики и нажать Execute — в интерфейсе будут показаны значения этой метрики на всех хостах кластера ADQM.

Веб-интерфейс Prometheus
Веб-интерфейс Prometheus
Веб-интерфейс Prometheus
Веб-интерфейс Prometheus

Веб-интерфейс Grafana

  1. В адресной строке браузера введите адрес хоста, на котором развернут компонент Grafana сервиса Monitoring. В качестве номера порта укажите значение параметра Grafana listen port из раздела Grafana settings в настройках конфигурации сервиса мониторинга (по умолчанию 3000). Например, http://10.92.40.107:3000. Для входа используйте admin в качестве имени пользователя и значение параметра Grafana administrator’s password (находится также в разделе настроек Grafana settings) в качестве пароля.

  2. В открывшемся окне выберите пункт меню Home → Dashboards и разверните секцию ADQM Dashboard <ADQM_cluster_name>. В этой секции можно выбрать один из доступных дашбордов для просмотра сервисных или системных метрик, поступающих из вашего кластера ADQM.

Переход к метрикам кластера ADQM в Grafana
Переход к метрикам кластера ADQM в Grafana
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней