Релизы ADQM Control

Реализовано два уровня вложенности группировки запросов: семейства запросов (family) и варианты запросов (variant) внутри семейства

Добавлена возможность оставлять комментарии к группам запросов

Реализована модель очереди запросов, вычисляющая время выполнения запросов и время ожидания в очереди

Реализован график User load

Реализован график Duration delta с детализацией по выбранному временному окну

Добавлены карточки со статистикой по запросам к таблице на страницу с деталями таблицы ADQM

Добавлены отметки table revision и column revision на графики

Добавлена опция Groups в секцию дашборда Top 10 queries

Реализована визуализация данных в виде treemap-диаграммы в секциях Top 10 tables (Aggregated) и Top 10 queries (Groups) на странице Dashboard

Реализована защита от перебора паролей при входе в систему

Добавлена возможность блокировать/разблокировать пользователей

Добавлена возможность удалять пользователей

Добавлен статус пользователя Online с выводом активных сессий

Добавлено оповещение о неподдерживаемой версии ADQMDB

Добавлена поддержка Ubuntu 24.04 LTS

Добавлена поддержка Astra Linux SE 1.8.6 Орел и Воронеж

Переработаны календарь и меню для выбора временного диапазона в элементе управления Time

Переработан элемент управления обновлением Refresh: период теперь соответствует выбранному временному окну

Значительно ускорено построение графиков по запросам на больших временных интервалах

Значительно ускорена работа с таблицами и группами таблиц на больших временных интервалах

Изменен интервал времени по умолчанию: с начала сегодняшнего дня по текущий момент

Переработан набор предопределенных диапазонов времени

Реализован выход из других сессий при смене пароля

Добавлена задержка (backoff) для хостов с постоянными ошибками ClickHouse

Добавлена оценка постоянных метрик для больших таблиц

Исправлена проблема, при которой списки запросов и хостов были пустыми, несмотря на наличие метрик за прошедший период

Исправлен график Requests imbalance, игнорирующий неиспользуемые таблицы

Исправлена ошибка, из-за которой при выводе общей информации о группе таблиц и построении графиков игнорировался фильтр по хосту, установленный в списке таблиц

Исправлена ошибка очистки, приводившая к сбросу границ агрегации и запуску полной перестройки сводных данных (rollup)

Исправлено вычисление времени существования таблиц

Исправлена проблема с потерей первоначального запроса на фоновой вкладке

Устранена гонка данных при сборе данных о хостах

Go обновлен до версии 1.26

TimescaleDB обновлен до версии 2.29 с TimescaleDB Toolkit 1.19

Добавлено агрегирование метрик без текста запросов

Переработана агрегация в каскадный конвейер

Добавлены задача по обеспечению целостности сводных данных (rollup) и проверка корректности границ агрегации

Добавлена задача агрегации таблиц с границами по каждому хосту

Рекомендательные блокировки (advisory lock) заменены на блокировку ресурсов (resource lock)

Добавлены пакетные удаления (очистка) с настройкой для каждой таблицы

Расписание проверок хостов теперь можно настраивать

Добавлен переключатель для отключения пересчета постоянных метрик

Добавлена ротация логов по интервалу

Добавлено окно проверки в проверки целостности и Maintenance CLI

Добавлена задача очистки кодеков столбцов с настройкой срока хранения

Реализован бэкенд для сравнения длительности выполнения запросов

Добавлено логирование panic в HTTP-серверах

Реализовано закрытие соединений с базой данных после миграции

На странице Queries реализован график Host — распределение запросов по хостам кластера ADQM с выявлением аномалий

Реализованы группы таблиц (агрегированные таблицы)

Добавлены оповещения о недоступности хоста и сервиса ADQMDB

Добавлены настройки очистки/хранения данных

Добавлена опция Aggregated в секцию дашборда Top 10 tables

Добавлено модальное окно с графиками для таблиц в списке топ-10 на странице Dashboard

Добавлена информация о времени существования таблиц

Добавлены графики по количеству запросов для таблиц

Добавлена поддержка RHEL 9

Добавлена поддержка РЕД ОС 8.0 Сертифицированная редакция

Добавлена возможность выбора уровня детализации (Low/High) для графиков по таблицам и запросам

Настройки очистки оповещений перенесены на страницу Settings → Cleanup

Добавлена поддержка идентификаторов запросов не в UUID-формате

Исправлена проверка cooldown-периода для оповещений

Длительная миграция теперь получает сигнал остановки при отмене вместо потери ресурсов

Исправлена ошибка, связанная с остановкой сбора метрик ADQMDB, когда Prometheus был недоступен, а хост все еще находился в кластере

Мониторинг запросов теперь отслеживает количество строк и байтов, обработанных для каждого запроса и каждого агрегированного бакета

Добавлена поддержка базовой аутентификации для adqmc-alert-receiver

Версия контракта бандла обновлена до 2.1

Топология кластера ADQM теперь может быть определена из ZooKeeper вместо Prometheus

Добавлена опция pull/push для команды job-log в ADQM Control Maintenance CLI

Удалены сервисы, реализованные на C++

Выполнен внутренний рефакторинг

Минимальная версия ADQMDB теперь 25.3.2.39

Изменены права в ролевой модели ADQM Control

Добавлена возможность фильтровать запросы по нескольким кодам ошибок

Добавлена возможность фильтровать запросы по предопределенным наборам кодов ошибок

Выполнено множество оптимизаций на уровне backend и frontend

Добавлен ADQM Control Maintenance CLI

Удален сервис Zookeeper

Добавлена поддержка Alt Linux 10.2

Добавлена поддержка Astra Linux 1.7.6 Воронеж

Обновлены сабмодули

Минимальная версия ADCM увеличена до 2.7.1

Реализованы графики Duration, Kind и User для анализа запросов

Реализованы инциденты (incidents)

Добавлена поддержка SSL для всех сервисов ADQM Control

Добавлено поле Comment для столбцов таблиц ADQM на странице с деталями таблицы

Добавлен новый тип оповещений об отсутствии таблицы system.query_log

Добавлено поле threshold в детали оповещения ADQM Control

Добавлена возможность подтверждения получения/обработки оповещений — acknowledged alerts

На странице Queries добавлена возможность фильтровать данные по именам пользователей, длительности выполнения, тексту и коду ошибки запросов

Добавлены фильтры поиска на странице Users

На странице Heat map теперь показывается статистическая информация по каждому хосту

Выполнен рефакторинг пагинации на странице Queries: удален счетчик страниц

Реализованы сервисы ADQM Control: Agents, Alert generator, Alert manager, Alert receiver и Backend

Реализованы базовые функции управления пользователями в ADQM Control

Добавлена страница Dashboard, где выводится общая информация о состоянии физического кластера, оповещения о проблемах на хостах, списки Top 10 tables и Top 10 queries

Добавлена страница Tables для отображения информации о таблицах за указанный период времени

Реализована функциональность для просмотра подробной информации о столбцах в таблицах за указанный период времени

Реализована возможность построения графиков для отслеживания метрик таблиц за определенный период времени

Реализована возможность построения графиков для отслеживания метрик на уровне столбцов за определенный период времени

Добавлена страница Queries для отображения запросов с поддержкой сортировки и фильтрации

Добавлена страница Alerts history для отображения списка оповещений с поддержкой сортировки и фильтрации

Реализовано представление Heat map для оповещений — визуальное представление распределения оповещений по времени

Добавлена страница Settings для конфигурирования параметров ADQM Control, таких как сложность пароля и правила генерации оповещений

Реализована возможность использовать сервис ADPG или внешний экземпляр PostgreSQL в качестве базы данных для ADQM Control

Реализована возможность использовать в качестве сервиса-координатора ZooKeeper, установленный через встроенный сервис, или указать внешний экземпляр ZooKeeper