Работа с таблицами в ADQM Control

Страница Tables web-интерфейса ADQM Control предназначена для вывода информации о таблицах данных кластера ADQM, подключенного для мониторинга. Здесь можно посмотреть список всех таблиц кластера с общей информацией о них, перейти к более детальной информации по столбцам отдельной таблицы, а также визуально оценить изменение объемов данных в таблицах с помощью графиков.

Страница Tables
Страница Tables

В верхней части экрана можно настроить следующие фильтры для отбора данных, которые требуется вывести на странице Tables:

  • Cluster — кластер ADQM, в котором находятся таблицы.

  • Time — интервал времени, за который нужно вывести информацию о таблицах. При нажатии на поле открывается окно, в котором можно выбрать период из предложенных вариантов на вкладке Range либо самостоятельно установить границы временного диапазона (не менее 1 часа) на вкладке Calendar.

  • Refresh — частота обновления данных.

ADQM Control поддерживает следующие движки таблиц ADQM/ClickHouse (таблицы на базе этих движков показываются на странице Tables):

Для интеграционных движков таблиц (обеспечивающих доступ к внешним системам хранения данных — например, MySQL, MongoDB, HDFS, Hive, S3, Kafka, EmbeddedRocksDB, RabbitMQ, PostgreSQL) корректность и полнота информации, отображаемая в ADQM Control, в настоящее время не гарантируется.

Список таблиц

Список таблиц кластера ADQM на странице Tables выводится в виде таблицы со следующими полями.

Поле Описание

Table name

Имя таблицы ADQM

Size

Размер сжатых данных в таблице в конце выбранного интервала времени

Database

База данных, в которой находится таблица

Возможно добавление полей с дополнительной информацией по таблицам ADQM — для этого нажмите Customize table и отметьте нужные поля в выпадающем списке.

Добавление дополнительных полей в таблицу Tables
Добавление дополнительных полей в таблицу Tables
Дополнительные поля с информацией о таблицах ADQM
Поле Описание

Row count

Количество строк данных в таблице в конце выбранного интервала времени

Request count

Количество запросов к таблице за выбранный интервал времени

Last request

Время запуска последнего запроса к таблице в рамках выбранного интервала времени

Increase

Изменение размера таблицы за выбранный интервал времени (отрицательное значение означает уменьшение объема данных в таблице)

Host

Хост кластера ADQM, на котором расположена таблица. Клик по иконке link to page half dark link to page half light открывает web-интерфейс ClickHouse по адресу http://<adqm_host_name>:8123/play, где <adqm_host_name> — FQDN хоста ADQM (предполагается, что в системе настроено соответствие между FQDN и IP-адресом хоста)

Engine

Движок таблицы

Графики

На странице Tables можно вывести графики для отслеживания динамики изменения метрик Size и Row count таблиц ADQM (размер сжатых данных на диске и количество строк соответственно) за выбранный период времени. Кликните по иконке graph half default dark graph half default light в столбце соответствующей метрики — над списком таблиц появится секция, где будет построен график по данному показателю таблицы ADQM. Одновременно можно построить до 8 графиков (включительно).

При наведении курсора мыши на область графиков можно получить конкретные значения отслеживаемых метрик в определенный момент времени.

Пример графиков по размеру данных в таблицах
Пример графиков по размеру данных в таблицах

Чтобы удалить график, нажмите соответствующую ему по цвету иконку в таблице (например, graph on turq dark graph on turq light и graph on yellow dark graph on yellow light на рисунке выше) или иконку delete dark delete light в легенде справа от графиков.

Фильтрация и сортировка данных

В заголовках столбцов Table name, Database, Host и Engine доступны фильтры, которые можно использовать для отбора необходимых данных на странице Tables. Чтобы установить фильтр, нажмите на иконку open filter default dark open filter default light и введите искомое значение (имя или фрагмент имени таблицы/базы данных/движка; названия хостов полностью). Иконка filter dark focus filter light focus означает, что для столбца определен фильтр. Для сброса всех фильтров по столбцам нажмите reset btn dark reset btn light.

При нажатии на System filters показывается список предопределенных фильтров, которые можно активировать с помощью переключателя toggle on dark toggle on light:

  • Show system.tables — отображать системные таблицы ADQM из базы данных system;

  • Only existing tables — отображать только таблицы, которые существуют в кластере на последний момент времени указанного интервала (то есть таблицы, метрики по которым поступали в ADQM Control в конце этого временного интервала);

  • Only tables with graph — отображать только таблицы, по которым построены графики.

Данные на странице Tables также возможно отсортировать по значениям любого столбца таблицы со списком таблиц ADQM. Для применения сортировки по столбцу нажмите на иконку asc dark active default asc light active default или desc dark active default desc light active default в его заголовке.

Над списком таблиц расположена панель с индикаторами применяемых в настоящий момент условий сортировки (Sorted by) и фильтрации (System filters, Filtered by) данных.

Текущие условия сортировки и фильтрации данных на странице Tables
Текущие условия сортировки и фильтрации данных на странице Tables

Список самых больших по объему данных таблиц и список наиболее часто запрашиваемых таблиц в кластере ADQM можно также посмотреть на странице Dashboard в секции Top 10 tables.

Детали таблицы

Чтобы перейти на отдельную страницу с детальной информацией о таблице ADQM, нажмите на имя таблицы в столбце Table name.

Выбор таблицы
Выбор таблицы

В верхней части открывшейся страницы выводится информация о таблице ADQM: название, размер сжатых данных, хост, количество строк, количество направленных в таблицу запросов, время последнего запроса, изменение размера данных в таблице и движок.

Также здесь приводится таблица с подробной информацией по каждому столбцу выбранной таблицы ADQM, которая содержит следующие поля (видимость некоторых полей настраивается опцией Customize table).

Поле Описание

Column name

Имя столбца (актуальное на последний момент времени из указанного интервала)

Size

Размер данных столбца в сжатом виде

Uncompressed Size

Размер данных столбца в несжатом виде

Compression

Процент сэкономленного дискового пространства за счет сжатия данных

Type

Тип данных столбца

Codec

Кодеки сжатия данных, применяемые к столбцу

Comment

Комментарий к столбцу

Increase

Изменение размера данных столбца за выбранный интервал времени

Информация о столбцах таблицы
Информация о столбцах таблицы

Данные в этой таблице можно отфильтровать по полю Column name (чтобы установить фильтр, нажмите open filter default dark open filter default light в заголовке столбца) и отсортировать по любому столбцу кроме Comment (используйте иконку asc dark active default asc light active default или desc dark active default desc light active default в заголовке столбца).

На этой странице также можно построить графики, чтобы посмотреть изменение размера сжатых или несжатых данных в отдельных столбцах таблицы ADQM в течение выбранного временного интервала или проанализировать влияние применяемого кодека сжатия данных на объем освобождаемого дискового пространства. Используйте для этого иконку graph half default dark graph half default light в столбцах Size, Uncompressed Size или Compression соответственно. Одновременно можно построить до 7 графиков по отдельным столбцам таблицы, а также вывести один график по размеру всей таблицы.

Пример графиков по размеру сжатых данных в отдельных столбцах таблицы ADQM
Пример графиков по размеру сжатых данных в отдельных столбцах таблицы ADQM
Пример графика по объему дискового пространства, сохраняемого сжатием данных
Пример графика по объему дискового пространства, сохраняемого сжатием данных
ВНИМАНИЕ

В следующих случаях линии графиков могут прерываться, не отражая тем самым реальное состояние столбцов, что может вводить пользователей в заблуждение:

  • столбец был переименован, затем ему было возвращено первоначальное имя — все это время столбец (с любым именем) продолжал существовать, данные в нем сохранялись, и его метрики собирались;

  • столбец был удален, затем снова создан с тем же именем — по сути, это два разных столбца, существующих в разные интервалы времени.

Отрисовка графиков для подобных случаев будет исправлена в будущих релизах ADQM Control.

Запросы к таблице

Со страницы Tables (а также со страницы с деталями таблицы ADQM) можно перейти к списку запросов, направленных в конкретную таблицу ADQM за выбранный интервал времени. Для этого кликните по иконке query btn default dark query btn default light в ячейке Table name, соответствующей нужной таблице с данными — откроется страница Queries с автоматически настроенными фильтрами по названию таблицы, базе данных и хосту.

Переход к списку запросов, направленных в таблицу ADQM
Переход к списку запросов, направленных в таблицу ADQM
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней