Сервис мониторинга

Елена Дворядкина

Сервис Monitoring разворачивает в ADQM свой сервер Prometheus, который реализует сбор и хранение метрик мониторинга кластера ADQM, а также поддерживает возможность использования веб-приложения Grafana для визуализации и анализа информации. В данной статье описываются шаги, необходимые для подключения этого сервиса.

Обзор

При добавлении сервиса Monitoring в ADQM на все или выборочные хосты кластера можно установить node-exporter — агент мониторинга, считывающий с хоста системные метрики, которые будет собирать Prometheus. Prometheus также может собирать метрики сервисов ADQM (ClickHouse, ZooKeeper, ClickHouse Keeper, Chproxy). Эти метрики будут доступны в формате Prometheus на портах и конечных точках (endpoints), указанных в параметрах секции Metrics сервисных конфигураций. Просматривать и анализировать данные, которые собирает сервис мониторинга, можно также в веб-интерфейсе Prometheus или Grafana.

ПРИМЕЧАНИЕ

  • Если у вас уже настроена совместимая с Prometheus система мониторинга (например, свой сервер Prometheus или VictoriaMetrics), можно использовать ее, чтобы собирать метрики ADQM. Для этого в своей системе мониторинга укажите настройки доступа к метрикам ADQM, используя параметры установленного в ADQM Prometheus, которые конфигурируются на странице сервиса Monitoring в интерфейсе ADСM.

  • Вы также можете использовать механизм Federation, чтобы перенести все метрики из сервера Prometheus, развернутого в ADQM, в свой Prometheus.

Шаг 1. Добавление сервиса

  1. В интерфейсе ADCM откройте страницу Clusters и кликните по имени кластера ADQM. Затем на открывшейся странице кластера перейдите на вкладку Services и нажмите Add services.

    Переход к добавлению сервисов
    Переход к добавлению сервисов

  2. В открывшемся окне выберите сервис Monitoring и нажмите Add.

    Выбор сервиса
    Выбор сервиса

    В результате добавленный сервис отобразится на вкладке Services.

    Результат успешного добавления сервиса в кластер
    Результат успешного добавления сервиса в кластер

Шаг 2. Добавление компонентов

  1. На странице кластера откройте вкладку Mapping, чтобы перейти к распределению сервисных компонентов между хостами кластера.

    Переход к распределению сервисных компонентов
    Переход к распределению сервисных компонентов
    Компоненты сервиса Monitoring
    Компонент Описание

    Prometheus Server

    Хранит и позволяет запрашивать все метрики кластера ADQM

    Grafana

    Позволяет визуализировать метрики ADQM в виде графиков и диаграмм, организованных в дашборды

    Pushgateway

    Принимает и отдает в Prometheus статические метрики. Используется, чтобы передать в Prometheus структуру кластера ADQM

    Node-exporter

    Собирает системные метрики и отдает их в Prometheus

  2. Назначьте хосты компонентам сервиса Monitoring — нажмите Add hosts и выберите нужные хосты в открывшемся окне.

    Выбор хоста для компонента
    Выбор хоста для компонента
    ВНИМАНИЕ
    Компоненты Prometheus Server и Pushgateway не рекомендуется устанавливать на хосты с ADQM — используйте для них отдельные хосты. Иначе при выходе из строя хоста ADQM и/или критически большой нагрузке на него информация о соответствующих проблемах не будет сохранена.

  3. После завершения распределения компонентов нажмите Save, чтобы сохранить изменения.

    Сохранение распределения компонентов
    Сохранение распределения компонентов

Шаг 3. Настройка сервиса

  1. Откройте вкладку Services на странице кластера и кликните по имени сервиса Monitoring в столбце Name.

    Переход к настройке сервиса
    Переход к настройке сервиса

  2. В открывшемся окне заполните конфигурационные параметры сервиса — описания параметров приведены в разделе Monitoring статьи Конфигурационные параметры. Поля, подсвеченные красным, обязательны для заполнения.

    Настройка сервиса Monitoring
    Настройка сервиса Monitoring

    После указания всех необходимых параметров нажмите Save.

ПРИМЕЧАНИЕ

Параметры доступа к метрикам сервисов ADQMDB, Zookeeper, Clickhousekeeper настраиваются в активируемой секции Metrics конфигурации каждого сервиса. Если не указать эти параметры вручную, сервис Monitoring при установке автоматически включит секцию Metrics для сервисов ADQM и будет использовать значения параметров по умолчанию.

Шаг 4. Установка сервиса

  1. На вкладке Services в строке сервиса Monitoring кликните по иконке actions default dark actions default light в столбце Actions и запустите действие Install.

    Переход к установке сервиса
    Переход к установке сервиса

  2. Подтвердите действие в открывшемся окне.

    Подтверждение действия
    Подтверждение действия

  3. Дождитесь завершения установки и убедитесь, что статус сервиса изменился с created на installed.

    Процесс установки завершен
    Процесс установки завершен

    Чтобы посмотреть процесс выполнения установки сервиса и проанализировать ошибки в случае их возникновения, выберите пункт Jobs в левом навигационном меню и кликните по имени задачи Install в списке задач Jobs.

    Страница задачи Install
    Страница задачи Install

Шаг 5. Проверка результатов

Сервис Monitoring запускается автоматически после установки. По завершении установки необходимо убедиться, что с хостов кластера поступают системные метрики и метрики сервисов ADQM — см. Метрики мониторинга кластера ADQM. Чтобы это проверить, можно в браузере посмотреть метрики в формате Prometheus, а также использовать веб-интерфейсы Prometheus и Grafana.

Данные в формате Prometheus

  1. В адресную строку браузера введите адрес хоста кластера ADQM, а также укажите порт и конечную точку доступа (endpoint) к сервисным или системным метрикам, которые определяются параметрами:

    • в секции Metrics конфигурации сервисов ADQMDB, Zookeeper, Clickhousekeeper — настройки доступа к метрикам мониторинга этих сервисов;

    • в секции Node Exporter settings на странице сервиса Monitoring — настройки доступа к системным метрикам хоста кластера ADQM.

    Пример адреса для просмотра метрик сервера ClickHouse на хосте c IP 10.92.40.25: http://10.92.40.25:9363/metrics.

  2. На открывшейся странице будут показаны метрики мониторинга с указанного хоста кластера в формате Prometheus.

Метрики сервера ClickHouse в формате Prometheus
Метрики сервера ClickHouse в формате Prometheus
Метрики сервера ClickHouse в формате Prometheus
Метрики сервера ClickHouse в формате Prometheus

Веб-интерфейс Prometheus

  1. В адресной строке браузера введите IP-адрес хоста, где установлен компонент Prometheus Server сервиса Monitoring. Укажите номер порта, который определяется параметром web.listen-address в секции Prometheus settings в группе Service parameters конфигурации сервиса Monitoring (по умолчанию, 11200). Пример адреса: http://10.92.40.107:11200. Для входа в интерфейс Prometheus используйте имя пользователя и пароль, которые также указываются в секции Prometheus settings — настройка Prometheus users to login/logout to Prometheus.

  2. В поле Expression можно ввести название метрики и нажать Execute — в интерфейсе будут показаны значения этой метрики на всех хостах кластера ADQM.

Веб-интерфейс Prometheus
Веб-интерфейс Prometheus
Веб-интерфейс Prometheus
Веб-интерфейс Prometheus

Веб-интерфейс Grafana

  1. В адресной строке браузера введите адрес хоста, на котором развернут компонент Grafana сервиса Monitoring. В качестве номера порта укажите значение параметра Grafana listen port из раздела Grafana settings в настройках конфигурации сервиса мониторинга (по умолчанию 11210). Например, http://10.92.40.107:11210. Для входа используйте admin в качестве имени пользователя и значение параметра Grafana administrator’s password (находится также в разделе настроек Grafana settings) в качестве пароля.

  2. В открывшемся окне выберите пункт меню Home → Dashboards и разверните секцию ADQM Dashboard <ADQM_cluster_name>. В этой секции можно выбрать один из доступных дашбордов для просмотра сервисных или системных метрик, поступающих из вашего кластера ADQM.

Переход к метрикам кластера ADQM в Grafana
Переход к метрикам кластера ADQM в Grafana
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней