Работа с таблицами в ADQM Control

Страница Tables web-интерфейса ADQM Control предназначена для вывода информации о таблицах данных кластера ADQM, подключенного для мониторинга. Здесь можно посмотреть список всех таблиц кластера с общей информацией о них, перейти к более детальной информации по столбцам отдельной таблицы, а также визуально оценить изменение объемов данных в таблицах с помощью графиков.

Страница Tables
Страница Tables

В верхней части экрана можно настроить следующие фильтры для отбора данных, которые требуется вывести на странице Tables:

  • Cluster — кластер ADQM, в котором находятся таблицы.

  • Time — интервал времени, за который нужно вывести информацию о таблицах. При нажатии на поле открывается окно, в котором можно выбрать период из предложенных вариантов на вкладке Range либо самостоятельно установить границы временного диапазона (не менее 1 часа) на вкладке Calendar.

  • Refresh — частота обновления данных.

ADQM Control поддерживает следующие движки таблиц ADQM/ClickHouse (таблицы на базе этих движков показываются на странице Tables):

Для интеграционных движков таблиц (обеспечивающих доступ к внешним системам хранения данных — например, MySQL, MongoDB, HDFS, Hive, S3, Kafka, EmbeddedRocksDB, RabbitMQ, PostgreSQL) корректность и полнота информации, отображаемая в ADQM Control, в настоящее время не гарантируется.

Список таблиц

Страница Tables содержит две вкладки, каждая из которых формирует список таблиц кластера ADQM определенным образом:

  • Separated — таблицы, расположенные на разных хостах кластера, показываются отдельно.

  • Aggregated — таблицы группируются по имени таблицы, имени базы данных и движку (то есть каждая таблица, расположенная на нескольких хостах кластера, показывается как одна запись в списке).

Список таблиц ADQM выводится в виде таблицы со следующими полями.

Поле Описание

Table name

Имя таблицы ADQM

Size

  • На вкладке Separated: размер сжатых данных в таблице на хосте в конце выбранного интервала времени.

  • На вкладке Aggregated: общий размер сжатых данных таблицы на всех хостах в конце выбранного интервала времени.

Database

База данных, в которой находится таблица

Возможно добавление полей с дополнительной информацией по таблицам ADQM — для этого нажмите Customize table и отметьте нужные поля в выпадающем списке.

Добавление дополнительных полей в таблицу Tables
Добавление дополнительных полей в таблицу Tables

На вкладках Separated и Aggregated доступны разные наборы полей для вывода метрик таблиц ADQM, расположенных на конкретных хостах, и агрегированных таблиц соответственно.

  • Separated

  • Aggregated

Поле Описание

Exist

Время существования таблицы (в рамках мониторинга кластера ADQM в ADQM Control)

Row count

Количество строк данных в таблице на хосте в конце выбранного интервала времени

Request count

Количество запросов к таблице на хосте за выбранный интервал времени

Last request

Время запуска последнего запроса к таблице на хосте в рамках выбранного интервала времени

Increase

Изменение размера таблицы на хосте за выбранный интервал времени (отрицательное значение означает уменьшение объема данных в таблице)

Host

Хост кластера ADQM, на котором расположена таблица. Клик по иконке link to page half dark link to page half light открывает web-интерфейс ADQM Notebook по адресу http://<adqm_host_name>:8123/notebook для ADQM начиная с версии 25.8.16.34 или встроенный web-интерфейс ClickHouse по адресу http://<adqm_host_name>:8123/play для более ранних версий ADQM, где <adqm_host_name> — FQDN хоста ADQM (предполагается, что в системе настроено соответствие между FQDN и IP-адресом хоста)

Engine

Движок таблицы

Поле Описание

Exist

Время существования таблицы (в рамках мониторинга кластера ADQM в ADQM Control)

Row count

Общее количество строк данных в таблице на всех хостах в конце выбранного интервала времени

Request count

Общее количество запросов к таблице, направленных на все хосты, за выбранный интервал времени

Last request

Время запуска последнего запроса к таблице в рамках выбранного интервала времени

Increase

Изменение общего размера таблицы за выбранный интервал времени (отрицательное значение означает уменьшение объема данных в таблице)

Hosts

Число хостов, на которых расположена таблица

Engine

Движок таблицы

Size skew

Перекос в данных таблицы на разных хостах по размеру

Rows skew

Перекос в данных таблицы на разных хостах по количеству строк

Requests skew

Перекос в количестве запросов, направленных в таблицу на разные хосты

Size imbalance

Неравномерность распределения данных таблицы по размеру между хостами. Значения imbalance-метрик находятся в диапазоне [0%, 100%) — большее значение в процентах означает большую разбалансировку

Rows imbalance

Неравномерность распределения данных таблицы между хостами по количеству строк

Requests imbalance

Неравномерность распределения запросов к таблице, выполняемых на разных хостах. Например, для 4 хостов при распределении запросов [0, 100, 0, 0] значение метрики будет 75%, а при распределении [0, 10, 50, 100] — примерно 53.13%

Графики

На странице Tables можно вывести графики для отслеживания динамики изменения метрик таблиц ADQM за выбранный период времени. В столбцах метрик, для которых поддерживаются графики, расположена иконка graph half default dark graph half default light. Кликните по иконке — над списком таблиц появится панель, где будет построен график по соответствующему показателю таблицы ADQM. Одновременно можно построить до 8 графиков (включительно).

При наведении курсора мыши на область графиков можно получить конкретные значения отслеживаемых метрик в определенный момент времени. Опция Detalization позволяет выбрать уровень детализации (число точек на графике): Low или High.

Пример графиков по размеру данных в таблицах
Пример графиков по размеру данных в таблицах

Чтобы удалить график, нажмите соответствующую ему по цвету иконку в таблице (например, graph on yellow dark graph on yellow light и graph on turq dark graph on turq light на рисунке выше) или иконку delete dark delete light в легенде справа от графиков.

Фильтрация и сортировка данных

В заголовках столбцов Table name, Database, Engine и Host (на вкладке Separated) доступны фильтры, которые можно использовать для отбора необходимых данных на странице Tables. Чтобы установить фильтр, нажмите на иконку open filter default dark open filter default light и введите искомое значение (имя или фрагмент имени таблицы/базы данных/движка; названия хостов полностью). Иконка filter dark focus filter light focus означает, что для столбца определен фильтр. Для сброса всех фильтров по столбцам нажмите reset btn dark reset btn light.

При нажатии на System filters показывается список предопределенных фильтров, которые можно активировать с помощью переключателя toggle on dark toggle on light:

  • Show system.tables — отображать системные таблицы ADQM из базы данных system;

  • Only existing tables — отображать только таблицы, которые существуют в кластере на последний момент времени указанного интервала (то есть таблицы, метрики по которым поступали в ADQM Control в конце этого временного интервала);

  • Only existing subtables (на вкладке Aggregated) — для вычисления данных в строке группы таблиц учитывать только таблицы, существующие в группе на последний момент времени указанного интервала;

  • Only tables with graph — отображать только таблицы, по которым построены графики.

Данные на странице Tables также возможно отсортировать по значениям любого столбца таблицы со списком таблиц ADQM. Для применения сортировки по столбцу нажмите на иконку asc dark active default asc light active default или desc dark active default desc light active default в его заголовке.

Над списком таблиц расположена панель с индикаторами применяемых в настоящий момент условий сортировки (Sorted by) и фильтрации (System filters, Filtered by) данных.

Текущие условия сортировки и фильтрации данных на странице Tables
Текущие условия сортировки и фильтрации данных на странице Tables

Список самых больших по объему данных таблиц и список наиболее часто запрашиваемых таблиц в кластере ADQM можно также посмотреть на странице Dashboard в секции Top 10 tables.

Детали таблицы

Перейти на отдельную страницу с детальной информацией о таблице ADQM на конкретном хосте можно следующим образом в зависимости от того, с какой вкладки на странице Tables выполняется переход.

  • Separated

  • Aggregated

Нажмите на имя таблицы в столбце Table name.

Выбор таблицы в списке Separated
Выбор таблицы в списке Separated

Нажмите на имя агрегированной таблицы (группы таблиц) в столбце Table name — откроется страница со списком таблиц выбранной группы (с полным набором метрик, как на вкладке Separated).

Выбор группы таблиц в списке Aggregated
Выбор группы таблиц в списке Aggregated

В зависимости от состояния переключателя Only existing subtables на открывшейся странице в списке показываются все таблицы группы, которые существовали в кластере в указанный интервал времени, или только таблицы, существующие на последний момент времени этого интервала. В верхней части страницы показывается общая информация о группе таблиц (как в соответствующей строке на вкладке Aggregated) — набор метрик можно изменять через Customize table. На этой странице также можно построить графики по метрикам отдельных таблиц группы и метрикам агрегированной таблицы — используйте для этого иконку graph half default dark graph half default light в столбцах, соответствующих нужным метрикам. График агрегированной таблицы в легенде отмечается знаком Σ.

Для перехода к деталям таблицы, расположенной на конкретном хосте, нажмите на ее имя в соответствующей строке списка.

Выбор конкретной таблицы из группы
Выбор конкретной таблицы из группы

В верхней части страницы с деталями таблицы ADQM выводится общая информация о таблице — имя и размер таблицы, а также метрики, выбранные через Customize table на вкладке Separated.

Также здесь приводится таблица с подробной информацией по каждому столбцу выбранной таблицы ADQM, которая содержит следующие поля (видимость некоторых полей настраивается опцией Customize table).

Поле Описание

Column name

Имя столбца (актуальное на последний момент времени из указанного интервала)

Size

Размер данных столбца в сжатом виде

Uncompressed Size

Размер данных столбца в несжатом виде

Compression

Процент сэкономленного дискового пространства за счет сжатия данных

Type

Тип данных столбца

Codec

Кодеки сжатия данных, применяемые к столбцу

Comment

Комментарий к столбцу

Increase

Изменение размера данных столбца за выбранный интервал времени

Информация о столбцах таблицы
Информация о столбцах таблицы

Данные в этой таблице можно отфильтровать по полю Column name (чтобы установить фильтр, нажмите open filter default dark open filter default light в заголовке столбца) и отсортировать по любому столбцу кроме Comment (используйте иконку asc dark active default asc light active default или desc dark active default desc light active default в заголовке столбца).

На этой странице также можно построить графики, чтобы посмотреть изменение размера сжатых или несжатых данных в отдельных столбцах таблицы ADQM в течение выбранного временного интервала или проанализировать влияние применяемого кодека сжатия данных на объем освобождаемого дискового пространства. Используйте для этого иконку graph half default dark graph half default light в столбцах Size, Uncompressed Size или Compression соответственно. Одновременно можно построить до 7 графиков по отдельным столбцам таблицы, а также вывести один график по размеру всей таблицы.

Пример графиков по размеру сжатых данных в отдельных столбцах таблицы ADQM
Пример графиков по размеру сжатых данных в отдельных столбцах таблицы ADQM
Пример графика по объему дискового пространства, сохраняемого сжатием данных
Пример графика по объему дискового пространства, сохраняемого сжатием данных
ВНИМАНИЕ

В следующих случаях линии графиков могут прерываться, не отражая тем самым реальное состояние столбцов, что может вводить пользователей в заблуждение:

  • столбец был переименован, затем ему было возвращено первоначальное имя — все это время столбец (с любым именем) продолжал существовать, данные в нем сохранялись, и его метрики собирались;

  • столбец был удален, затем снова создан с тем же именем — по сути, это два разных столбца, существующих в разные интервалы времени.

Отрисовка графиков для подобных случаев будет исправлена в будущих релизах ADQM Control.

Запросы к таблице

Со страницы Tables (а также со страницы с деталями таблицы ADQM) можно перейти к списку запросов, направленных в конкретную таблицу ADQM за выбранный интервал времени. Для этого кликните по иконке query btn default dark query btn default light в ячейке Table name, соответствующей нужной таблице с данными — откроется страница Queries с автоматически настроенными фильтрами по названию таблицы, базе данных и хосту.

Переход к списку запросов, направленных в таблицу ADQM
Переход к списку запросов, направленных в таблицу ADQM
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней