Метрики мониторинга кластера ADB ES

Антон Васильев

В статье описываются метрики мониторинга кластера ADB ES. Для получения информации об установке мониторинга обратитесь к разделу Установка мониторинга.

Обзор

Сервис мониторинга состоит из следующих компонентов:

  • Node Exporter — предоставляет метрики, связанные с аппаратным обеспечением и операционной системой хостов: использование памяти, CPU и дискового пространства. Метрики доступны на порте и эндпойнте, заданных в секции Node Exporter settings конфигурации сервиса мониторинга (по умолчанию — 11203/metrics).

  • Process Exporter — собирает метрики для заданных процессов. В ADB ES это процессы, связанные с ADBM и ADB Control. При этом метрики процессов агентов ADBM и ADB Control собираются сервисом Monitoring, установленным в ADB. Метрики Process Exporter доступны на порте, заданном в секции Process exporter settings конфигурации сервиса мониторинга (по умолчанию — 9256).

  • Prometheus — собирает и хранит метрики из настроенных источников данных: Node Exporter и Process Exporter. Метрики доступны в веб-интерфейсе Prometheus на порте, заданном в секции Prometheus settings конфигурации сервиса мониторинга (по умолчанию — 11200).

  • Grafana — использует Prometheus в качестве источника данных и отображает метрики в виде графиков и диаграмм, организованных в дашборды. Дашборды доступны в веб-интерфейсе Grafana на порте, заданном в секции Grafana settings конфигурации сервиса мониторинга (по умолчанию — 11210).

Просмотр метрик в Prometheus

Prometheus — это система для мониторинга и оповещений. Prometheus собирает метрики от экспортеров, а затем Grafana собирает данные для графиков, отправляя запросы в Prometheus. Если панели в дашбордах Grafana пустые или показывают некорректные значения, можно проверить данные в Prometheus, чтобы определить, связана ли проблема со сбором метрик или с конфигурацией дашборда:

  1. В браузере введите <IP-адрес сервера мониторинга>:<порт>. Порт по умолчанию — 11200, его можно изменить в секции Prometheus settings в конфигурации сервиса Monitoring.

    IP-адрес, порт и имя хоста Prometheus также доступны на вкладке Info сервиса Monitoring.

  2. В открывшемся окне введите имя пользователя и пароль, указанные в поле Prometheus users to login/logout to Prometheus конфигурации сервиса мониторинга.

В веб-интерфейсе Prometheus можно проверить его конфигурацию и состояние экспортеров (на странице Targets). Также можно использовать Prometheus Query Language (PromQL) для проверки конкретных метрик.

Использование Prometheus Query Language
Использование Prometheus Query Language
Использование Prometheus Query Language
Использование Prometheus Query Language

Дашборды Grafana

Grafana позволяет визуализировать метрики, хранящиеся в Prometheus, создавать собственные дашборды или изменять существующие.

Доступ к Grafana

  1. В браузере введите <IP-адрес сервера мониторинга>:<порт>. Порт по умолчанию — 11210, его можно изменить в секции Grafana settings в конфигурации сервиса Monitoring.

    IP-адрес, порт и имя хоста Grafana также доступны на вкладке Info сервиса Monitoring.

  2. В открывшемся окне в поле Email or username введите admin, а в поле Password — пароль, указанный в поле Grafana administrator’s password конфигурации сервиса мониторинга.

По умолчанию в Grafana доступны следующие дашборды:

Process exporter metrics

На дашборде приводится мониторинг ключевых компонентов ADBM и ADB Control и процессов баз данных с помощью метрик, предоставляемых Process Exporter. Отслеживаемые процессы:

  • adbm-server — ADBM Backend Server;

  • adcc-server — ADB Control Backend Server;

  • adcc-scheduler — ADB Control Scheduler;

  • adcc-ui — ADB Control UI Server;

  • clickhouse — СУБД ClickHouse, используемая в ADB Control (отслеживается только при использовании внутреннего Arenadata QuickMarts (ADQM), поставляемого в бандле ADB ES);

  • postgres — PostgreSQL, используемый в ADB Control и ADBM (отслеживается только при использовании внутреннего Arenadata Postgres (ADPG), поставляемого в бандле ADB ES);

  • ad-eureka — Arenadata Service Registry.

Дашборд Process exporter metrics в Grafana
Дашборд Process exporter metrics в Grafana
Метрики Process Exporter
Название панели Описание

Components uptime

Время непрерывной работы каждого отслеживаемого процесса с момента запуска

Components memory usage

График использования памяти каждым процессом

Components CPU usage

График использования CPU каждым процессом

System metrics

На дашборде приводится мониторинг системных метрик на уровне хоста, предоставляемых Node Exporter.

Дашборд System metrics в Grafana
Дашборд System metrics в Grafana
Системные метрики
Название панели Описание

Disk space usage

Использованное дисковое пространство в каждой смонтированной файловой системе

Disk I/O

Количество операций ввода-вывода на диске

Disk read

Скорость чтения данных с диска

Disk write

Скорость записи данных на диск

Host CPU usage

Процент загрузки CPU по всем ядрам

Host memory usage

Память, используемая процессами на хостах

Network receive bytes

Скорость входящего сетевого трафика с разбивкой по сетевым интерфейсам и хостам

Network transmit bytes

Скорость исходящего сетевого трафика с разбивкой по сетевым интерфейсам и хостам
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней