Релизы ADB Control

Добавлена возможность подключения к внешнему инстансу Hashicorp Vault и хранения секретов в нем

Добавлено отображение заблокированных сессий и команд, ожидающих постановки в очередь на выполнение в рамках ресурсной группы

Улучшено отображение графиков на странице Dashboard

Для кластерных действий добавлены предварительные проверки того, что ADB Control имеет достаточно привилегий во внешней БД

Расширена фильтрация и сортировка системных сегментных метрик на странице с деталями команды

Удален устаревший механизм аутентификации системных пользователей

На странице Information не отображалась информация о кластере

Исправлено искажение специальных символов в значениях, вводимых в фильтрах с частичным поиском

Исправлен вывод статуса executing в узлах плана выполнения команды после отмены транзакции

Исправлено: неудачная попытка подключения к ADB под пользователем LDAP регистрировалась в ADB Control с типом авторизации ADB вместо ADB LDAP

Исправлена периодическая ошибка с применением конфигурации выгрузки метрик во внешнюю БД

Добавлена поддержка кластеризованного ClickHouse в качестве внешней базы данных при установке ADB Control

Добавлена новая роль — ADBM Administrator

Переработана вкладка Configuration → Clusters

Для сервиса planchecker добавлен конфигурационный файл

Значение метрики CPU average usage теперь усредняется по процессам вместо кластерных сегментов

URL соединения теперь изменяется в ADB Control после активации Standby в ADB

Добавлено пересоздание тома контейнера ClickHouse в случае обновления сервиса ADB Control

Улучшена безопасность контейнера за счет использования ReadonlyRootfs и опций no-new-privileges

Из ADB Control удален Nginx. UI ADB Control сделан доступным в случае SSH-туннелирования в изолированных средах

В логи сервиса миграции добавлено маскирование паролей

Вставки в audit_auth теперь разбиваются на небольшие батчи во избежание отключения Postgres в ADB Control

Метрики, связанные со spill-файлами, перемещены в отдельную таблицу во избежание блокировок (deadlocks) в Postgres-инстансе ADB Control

Добавлен вывод схемы отношения в детали узла плана запроса

Исправлено отсутствие затраченного времени на слайсах плана для выполняющихся запросов

Для метрики CPU Total использовалась неверная основа для расчетов

Значение метрики Spill Skew иногда превышало 100%

Исправлено "мигание" таблицы сессий при обновлении в UI

На вкладке Resource group → Hosts не работала пагинация

Исправлена ошибка миграции, возникавшая при настройке ADB Control с внешним Postgres

Добавлена возможность установки учетных данных БД в конфигурациях сервисов ADB Control и ADBM

Добавлена функция тегирования запросов в ADB. Теги отображаются в ADB Control

Добавлена возможность настройки GUC, влияющих на функционирование ADB Control

Отображение прогресса выполнения запросов сделано более удобным

Добавлено управление сессиями пользователей ADB Control. Для пользователей с ролями Admin и Owner доступно прерывание сессий, для Owner — настройка максимальной продолжительности сессии (см. параметр User session timeout)

Улучшена безопасность Docker-контейнеров с ограничениями для пользователей

Переработано взаимодействие ADB Control с внешней БД с точки зрения безопасности, чувствительные настройки теперь заполняются пользователем

Добавлена кнопка актуализации списка LDAP-групп

Обновлены компоненты PlanChecker: удален JQuery, Bootstrap обновлен до версии 5.3.3 в целях повышения безопасности

Добавлено поле Session на страницы Audit/Operations

Исправлено отображение метрики Total CPU usage percent на странице Dashboard: вместо процентов выводилось десятичное значение

Исправлено отсутствие подсветки для выбранных фильтров

Исключена возможность устанавливать некорректные значения в календаре

Исправлена настройка прав для keystore.jks, вызывавшая ошибку Permission denied на агентах

Метрика CPU Avg для некоторых запросов отображалась со значением Infinity или NaN

Информация по некоторым сегментам отсутствовала в деталях команды в случае большого числа сегментов в кластере

Добавлена возможность настройки SSL/TLS для взаимодействия сервисов ADB Control/ADBM

Добавлено отображение значения параметра Application name для каждой сессии на вкладке Monitoring → Sessions

Реализована динамическая загрузка списка LDAP-групп на основе данных, вводимых пользователем на вкладке Users → LDAP group mapping

Графики перемещены на отдельную страницу Dashboard

Реализованы изменения в API и механизме управления системными пользователями для повышения безопасности взаимодействия ADB Control и ADCM, а также процесса регистрации внешних кластеров ADB

Изменено значения TTL (time-to-live) для таблиц ClickHouse с целью уменьшения потребления дисковых ресурсов

Исправлено различие в значении поля Session для событий аудита Auth и Logout в рамках одной сессии на вкладке Audit → Authorizations

Исправлено отсутствие флажка Export sessions на вкладке Configuration → Job policy → Metrics offload

Исправлено сопоставление значения полю Start time на вкладке Monitoring → Sessions

Исправлена агрегация метрик для кластерных графиков с типом Summary

Добавлена вкладка Sessions на странице Monitoring с возможностью прерывания сессий

Оптимизирован процесс фильтрации на агентах для сбора системных метрик

Добавлена автоматическая архивация кластера в случае добавления нового кластера с идентичным JDBC URL

Удалена кнопка Create connection со страницы Configuration → Clusters ввиду возможности автоматического добавления внешних кластеров через ADCM

Добавлена поддержка SSL/TLS в gRPC-сервисах

IP-адрес пользователя не отображался в столбце Host на страницах Audit → Operations и Audit → Autorizations

Исправлено отсутствие записи для отклоненного действия на странице Audit → Operations

На вкладку Configuration добавлена возможность кастомной настройки timezone

Добавлены новые параметры для задачи выгрузки метрик во внешнюю БД (Export job)

Изменен порядок элементов бокового меню

Удаление последнего пользователя с ролью Owner теперь не допускается

Настройки Show и Frequency для списков задач (jobs) и действий (actions) не сохранялись при переключении на новую страницу

Исправлена ошибка фильтрации по полю Job group на странице Jobs → Audit

ADB теперь доступна для выбора в качестве внешней БД для выгрузки метрик из ADB Control

Фильтры для столбцов Object name, Username, Host на страницах аудита Audit → Operations и Audit → Authorizations теперь нечувствительны к регистру, а также поддерживают частичный ввод искомых значений

На странице Audit → Operations отображался пароль для внешней БД, используемой для выгрузки метрик

Сортировка столбцов была недоступна на странице Jobs

Роль пользователя отображалась в виде числа на странице Audit → Operations

После выбора кластера на странице Information продолжали отображаться агенты другого кластера

Было невозможно перейти на следующую страницу списка в разделе Resource groups → Overview при наличии более 5 сегментов в списке

Реализация новых таблиц и фильтров

Ошибка при изменении роли пользователя

Ошибка при запуске задачи по выгрузке метрик во внешнюю БД (metrics offload job)

Время выполнения не отображалось в узлах плана после завершения команды

На странице Audit → Relations не отображалось окно с дополнительной информацией по аудиту обращений к отношениям (relations) ADB

В событиях аудита не регистрировались изменения конфигурации ресурсных групп

Добавлен аудит неудачных попыток входа в ADB

Добавлен аудит действий по управлению пользователями ADB Control

Реализована проверка того, что новый пароль отличается от текущего

Добавлено архивирующее действие для кластера с целью остановки мониторинга и возможностью его повторной активации в дальнейшем

Добавлена фильтрация запросов короче порогового значения (threshold) на стороне adcc-agent с целью повышения стабильности работы агентов

Сигнатура SQL (sql_id) добавлена для каждой команды

Фильтры Start time/End time теперь отображаются по умолчанию на страницах Commands History, Transactions History и Backups

Формат названий статусов в фильтрах и табличных столбцах приведен к общему виду

При успешном соединении с кластером не выводилось информационное сообщение

Кнопка-переключатель была доступна для таблицы в случае отсутствия дальнейшей информации

Нажатие кнопки Reset не приводило к сбросу сортировки

На странице с информацией об агенте ADCC отображалось NaN для параметра Avg load rate / sec

Информация о кластере не обновлялась мгновенно при выборе кластера на вкладках Actions, Backups и Restores

Черный экран отображался при переключении на другой кластер из деталей восстановления данных

Строка действия Backup details не отображалась

Путь к странице не изменялся при переключении вкладок

Список метрик производительности для команд/транзакций содержал дубликаты

Система Arenadata DB Command Center (ADBCC) переименована в Arenadata DB Control (ADB Control)

Реализована возможность экспорта метрик во внешнюю базу данных для долговременного хранения

Поддержка защиты от подделки межсайтовых запросов (Cross-Site Request Forgery, CSRF)

Принудительная смена пароля при первом входе пользователя в систему

Временная блокировка пользователя после нескольких неудачных попыток аутентификации

Добавлен расчет общих метрик мониторинга. Для активных команд и транзакций метрики cpu-total, read-total и write-total рассчитываются на текущий момент с начала выполнения

Добавлена пагинация для страницы Job monitoring

Исправлена проверка имени создаваемого пользователя. В имени допускаются только символы латиницы, цифры и специальные символы

Исправлено отсутствие всплывающего (pop-up) окна при получении ошибки

Исправлено: запрос мог "зависнуть" в неизвестном статусе спустя 14-16 секунд

Уменьшили уровень логирования в gpadcc

Возможность совместного использования ADBCC и gpperfmon в одном кластере ADB

Возможность LDAP-поиска по нескольким OU в ходе аутентификации

Добавлена возможность сортировки практически по всем столбцам на страницах Command online/Command history и Transaction online/Transaction history

Добавлена возможность показывать все доступные фильтры на страницах Command online/Command history и Transaction online/Transaction history

Добавлена возможность редактирования кластерных настроек соединения JDBC URL и Username после создания кластера

Добавлено всплывающее окно с информацией о применении настроек ресурсной группы

На странице с подробной информацией о транзакции в таблице команд столбец Workload переименован в Resource group

Добавлена возможность определять направление сортировки на странице Resource groups

Исправлены "хлебные крошки" (breadcrumbs), отображаемые при просмотре ресурсных групп. Вместо кластера и идентификаторов ресурсных групп теперь выводятся имена групп

Метрика cpu skew иногда выводила отрицательные значения

Расчет статистики для интервалов более часа

Расчет для столбца Total queue duration на странице Resource groups

Исключена возможность ввода отрицательных значений для настроек Batch size и Expire duration на странице Configuration

Ошибка постраничного вывода (pagination) на странице User

Расчет количества команд в статусе running на странице Command online

Поиск для команд при наличии в тексте запроса символов перехода на новую строку

Реализован новый пользовательский интерфейс для ADBCC

Добавлен новый модуль для управления бинарными бэкапами ADB — Arenadata DB Backup Manager (ADBM)

Добавлен новый модуль, отвечающий за выполнение задач по расписанию — adcc-scheduler

Все метрики с типом дата/время теперь хранятся в формате UTC

Для кластеров, исключаемых из конфигурации ADBCC, информация по незавершенным транзакциям и командам не обновляется

Метрики status, finishAt, а также системные метрики (readTotal, writeTotal и cpuUsageTotal) текущей активной команды теперь обновляются незамедлительно после завершения транзакции. Статус команды устанавливается в CANCELLED

Расчет метрики Spill Skew на страницах Command monitoring и Command history

Расчет времени выполнения узла для команды в PLAN & PROGRESS

Расчет системных метрик с отрицательными значениями

Добавлены новые метрики производительности для команд и транзакций: Cpu usage total, Read bytes total, Write bytes total

Добавлена возможность повторно изменять ресурсную группу для транзакции

Убрана возможность остановить выполнение отдельной команды путем ее отмены или прерывания

Столбец Workload переименован в Resource Group на страницах Monitoring и History data для команд и транзакций, а также на страницах с детальной информацией

Убрана возможность изменять ресурсную группу для команды на странице Monitor Command

Для команд и транзакций сортировка строк сейчас осуществляется на основе значений столбца Status

Убран жирный шрифт для системных метрик на страницах с детальной информацией по командам и транзакциям

Откорректирована сортировка данных на странице Audit на основе чисел, символов и букв

Исправлена невозможность ввести данные с клавиатуры в фильтре Start Time на страницах Monitor/Transaction

Ошибка с появлением множественных фильтров по кластеру и БД, когда фильтр по БД добавлялся из списка фильтров

Исправлено отображение размеров памяти — с MiB на Mb

Исправлен расчет числа кортежей, затронутых запросом — без перезагрузки страницы

Объекты базы данных Planchecker включены в миграцию

Добавлен новый столбец Planner

Добавлена фильтрация команд по планировщику запроса

Добавлена возможность отменять транзакцию на странице Detailed transaction

Добавлена кнопка для сброса всех ранее настроенных фильтров на страницах Monitor и History command

Добавлена возможность переназначать запросы другой ресурсной группе

Добавлена конфигурация для адреса Planchecker

Отображение метрик Spill Files (skew), Row Skew (на панели Node), Cpu Skew, Memory Skew, Read Skew, Write Skew приведено к единому формату: <metric_name> Skew <metric_value>% (где <metric_name> — название метрики, <metric_value> — значение метрики)

Недоступность ADB в случае ошибки OutOfMemoryError в ADBCC

Расчет актуального числа кортежей для команд

Некорректное отображение статуса команд на странице Detailed transaction при отмене транзакции

Добавлен образ Planchecker в сервис ADBCC (docker-compose) в бандле ADB

Добавлена поддержка обработки сообщений NodeStatusMetric

Добавлены страницы, связанные с тразакциями: Transactions monitoring, Transactions history, страница с подробной информацией о транзакции и списком запросов, выполненных внутри транзакции

Добавлена возможность фильтровать данные по схеме и сущности на странице Query history

Добавлена ссылка на страницу Transactions history для перехода к запросам со страницы Audit

Добавлена ссылка на родительскую страницу на вкладке Command details

Группы SQL-выражений DDL, DML, DCL и TCL теперь выводятся на страницах Monitor и History

Добавлены столбцы Spill и Spill Skew в таблицы на страницах Monitor/Command и History/Command

Для коммуникации с агентом теперь используется неблокирующий сокет

Длинные значения столбца Query ID перекрывали следующий столбец с данными на странице History/Command

Некорректная сортировка на основе схемы при высокой нагрузке на странице Relation audit

Когда пользователь перемещался от статистики к списку команд на странице Relation audit, команда дублировалась

Добавлена пропущенная всплывающая подсказка для кнопки Reset

Исключение NullPointerException, возникавшее при попытках получить системные метрики

Пустые значения в конце списка при сортировке данных

Поле queuedTime показывало разные значения на страницах Monitor и Command details

Кеш работал некорректно, из-за чего данные извлекались напрямую из БД

После добавления столбца Cluster name кластер не выводился в таблицах на страницах Monitor/Command и History/Command

Ошибка Duplicate key value violates unique constraint

Ошибка с сортировкой на страницах Monitor и History, возникавшая при скрытии всех записей

Интегрированы средние по кластеру метрики запросов

Реализовано сжатие данных для объемных запросов

Добавлена конфигурация для Registry Service для настройки backend-серверов

Для завершенных запросов теперь обрабатывается актуальная статистика от EXPLAIN ANALYZE

Панели Plan&Progress и Text теперь скрываются, если их содержимое пусто

ADBCC исчерпывал лимит соединений к ADB

Отображение имени отношения для ноды Dynamic Seq Scan

Кодировка цветов для статусов нод плана была сломана

Ошибка с использованием кириллицы в паролях пользователей

Осуществлена миграция adcc-extension в репозиторий adbcc

Фильтрация некорректных метрик из gpperfmon

Поддержка аудита обращений к объектам базы данных

История Background jobs

Поддержка виртуальной памяти процесса в системных метриках команды

Сбор статистики по нагрузке на сервисы мониторинга

Изменения в порядке сортировки метрик с NULLS LAST на страницах Query Monitor/History

Переработано верхнее меню

Обновлены зависимости log4j2

Новые системные конечные точки (endpoints)

Поддержка HTTPS в ADBCC SSL

Новый параметр maxMessageKbSize в конфигурационном файле adcc-agent

Агент останавливал обработку метрик запросов из-за исключения RejectedExecutionException

Добавлена настройка maxMessageKbSize в файл agent.properties

Добавлена проверка размера сообщения

Исправлена повторная отправка некорректных сообщений

Исправлено получение системных метрик из ClickHouse

Поддержка работы с несколькими кластерами ADB

Сбор системных метрик в разрезе запроса: CPU, RAM, IO

Динамическое добавление столбцов на страницы History и Monitoring

Информация о фоновых процессах на странице с данными о статусе системы

Актуализация информации для долгое время выполняющихся ("зависших") запросов

adcc-extension: вывод базы данных и пользователя в сообщении о плане

adcc-extension: "опрос" (polling) блокировок отключен во избежание отправок больших снепшотов блокировок агентам

Использование базы данных ClickHouse для хранения черновых системных метрик

Добавлена сборка агента для платформы Power8 LE (ppc64le arch)

Основанная на времени политика Retention Policy

Детальный доступ к нескольким БД для продвинутых (advanced) пользователей

Развернутая информация по ошибкам

Сортировка и фильтры в столбцах на страницах Query Monitor и History

Информация по версиям ADBCC/ADB

Масштабирование модального окна с планом

Обновления интерфейса

Новый пользовательский интерфейс для Backend Server

Возможность отменять и прерывать запросы на страницах Query Details и Monitoring

Возможность просмотра блокировок на странице Query Details

Поддержка вывода информации об агентах

Аутентификация LDAP

Обрезка деталей планов выполнения запросов