Просмотр дашборда

Heat map — это графическое представление данных о состоянии всех хостов кластера ADQM, где каждый хост изображается в виде квадрата, цвет которого обозначает состояние системы в выбранный интервал времени.

Состояние хоста и соответствующий ему цвет в матрице heat map определяется по наличию оповещений о проблемах на хосте:

 — в ADQM Control нет оповещений о каких-либо проблемах на хосте (healthy host).

 — на хосте обнаружены только потенциальные проблемы (например, связанные с увеличением значений каких-либо системных метрик), которые пока не являются критическими. В ADQM Control сгенерированы соответствующие сообщения об этих проблемах — оповещения среднего уровня важности (warning alerts).

 — на хосте обнаружена как минимум одна критическая проблема, оповещение о которой есть в ADQM Control (critical alert).

На странице Dashboard также выводится список последних оповещений (максимальное количество — 5) о проблемах на хостах кластера ADQM, отсортированных в порядке убывания по времени, когда оповещения были сгенерированы, а не по важности.

В Heat map можно выбрать один или несколько хостов (по клику) — тогда в списке Recent alerts будут показаны последние оповещения только для выбранных хостов.

При клике по View full history открывается вкладка Alerts history на странице Cluster metrics, где выводится полный список (история) оповещений за указанный период времени по всем хостам кластера, независимо от выбора хостов в Heat map на странице Dashboard.

С помощью опции Acknowledged alerts можно указать, какие оповещения о проблемах на хостах кластера должны учитываться при формировании heat map и списка recent alerts в ADQM Control:

Acknowledged alerts — все оповещения, сгенерированные за выбранный период времени;

Acknowledged alerts — только актуальные оповещения, т.е. не отмеченные как "известные/решенные" (acknowledged). Актуальные, требующие внимания оповещения в ADQM Control отмечаются значком "колокольчик": или .

Например, на втором хосте кластера (выбран на рисунке ниже) не обнаружено каких-либо проблем за указанный промежуток времени или все оповещения о проблемах добавлены в acknowledged alerts — в этом случае при выключенной опции Acknowledged alerts этот хост в Heat map отмечается зеленым цветом, а список Recent alerts пустой.

Затем на этом хосте возникла проблема Disk usage is high, о которой ADQM Control сгенерировал соответствующее оповещение-предупреждение. Это оповещение отображается в списке Recent alerts, а цвет хоста в Heat map меняется на желтый как показано на следующем рисунке.

Если проблема с использованием диска проанализирована и найдены способы ее решения, оповещение можно добавить в список acknowledged alerts (на странице с деталями оповещения — см. следующий раздел), так как эта проблема больше не требует внимания. После этого данное оповещение перестанет учитываться при мониторинге состояния кластера — в Heat map хост снова будет отображен зеленым цветом, а оповещение исчезнет из списка Recent alerts для этого хоста.

Если опция Acknowledged alerts включена, в списке Recent alerts будут показаны последние оповещения, выбранные из всех сгенерированных за указанный период времени (активных и "закрытых"), и все оповещения будут учитываться при формировании матрицы состояния хостов. Например, на рисунке ниже все хосты кластера в Heat map обозначены красным цветом — это значит, что в течение выбранного периода времени (в данном примере — за последний месяц) на каждом из этих хостов была обнаружена хотя бы она критическая проблема. В списке Recent alerts видно, что среди последних по времени оповещений на выбранном хосте нет актуальных проблем (иконки оповещений без значка "колокольчик").

Со страницы Dashboard можно перейти к просмотру детальной информации о конкретной проблеме на хосте одним из следующих способов:

Каждое из этих действий открывает отдельную страницу с детальным описанием соответствующей проблемы. Например, в деталях оповещения Disk usage is high указывается, на каком диске превышен допустимый уровень заполнения. В поле threshold показывается пороговое значение метрики, установленное в Settings → Alerts, на основе которого было сгенерировано оповещение.

На этой странице с помощью опции Acknowledged alerts можно изменить статус оповещения — добавить соответствующую проблему в список известных/решенных (acknowledged).

Из Heat map на странице Dashboard можно перейти на вкладку Heat map на странице Cluster metrics, где также показывается матрица heat map, а для выбранных хостов справа выводятся общая информация о серверах ClickHouse и таблица со списком всех оповещений (не только последних). Получить больше информации о конкретном оповещении можно кликнув по соответствующей строке в таблице — под строкой появятся детали оповещения.

Чтобы перейти на страницу Cluster metrics → Heat map, выполните одно из действий в Heat map на странице Dashboard:

Набор выбранных хостов и настройка Acknowledged alerts синхронизируются между страницами Dashboard и Cluster metrics — при изменении настроек на одной странице соответствующие настройки автоматически изменятся на другой странице.