Обзор Arenadata DB Control

Дарья Барышева

Содержание

Функции
Архитектура

Функции

Arenadata DB Control (ADB Control) — это система мониторинга запросов Arenadata DB в режиме реального времени.

Основные функциональные возможности ADB Control перечислены ниже:

Поддержка работы с несколькими кластерами ADB.
Мониторинг SQL-запросов и транзакций, включая нижнеуровневые запросы (inner queries).
Мониторинг клиентских сессий ADB (как активных, так и неактивных) с возможностью их прерывания при необходимости.
Сбор информации о потребляемых на уровне SQL-запросов и транзакций системных ресурсах.
Построение сводной статистики по использованию системных ресурсов за выбранный период времени в виде графиков.
Возможность отмены выполняющихся транзакций.
Отображение статистики по использованию ресурсных групп с возможностью конфигурирования ресурсных групп непосредственно в web-интерфейсе ADB Control.
Возможность переназначения ресурсной группы для выполняющихся транзакций.
Построение планов запросов с возможностью отслеживания прогресса их выполнения.
Возможность выгрузки собираемых с кластеров метрик во внешнюю аналитическую базу данных (PostgreSQL/TimescaleDB/ADB).
Аудит обращений к таблицам ADB (в кластерах, подключенных для мониторинга), а также авторизаций и других действий пользователей в ADB Control.

ПРИМЕЧАНИЕ

ADB Control доступен в версии ADB Enterprise.
В настоящий момент возможна только offline-установка ADB Control.
Для использования ADB Control рекомендуется установить сервис Chrony. Синхронизация времени на хостах кластера необходима для корректной работы триггеров задач планировщика (Scheduler) и точных вычислений системных метрик.

Архитектура

Верхнеуровневая архитектурная схема ADB Control приведена ниже.

Архитектура ADB Control

Архитектура ADB Control

Основные компоненты архитектуры ADB Control:

Agent. Приложение для приема и фильтрации метрик с сегментов кластера ADB. Агенты устанавливаются в единственном экземпляре на каждый хост, то есть один агент принимает метрики со всех сегментов в рамках хоста.
Service Registry. Каталог зарегистрированных в системе сервисов ADB Control. Отвечает за Service Discovery в ADB Control. Обеспечивает обнаружение доступных агентов (преднастроенной карты агентов в системе нет) и поиск необходимых сервисов ADB Control со стороны агентов (для отправки метрик). Так как ADB Control может работать с несколькими кластерами ADB одновременно, при добавлении кластера новые агенты также регистрируются в Service Registry.
Router. Обратный proxy-сервер для маршрутизации UI-запросов и метрик.
Web UI. Клиентское приложение, обеспечивающее доступ к функционалу ADB Control через web-интерфейс.
Planchecker. Сервис PlanChecker, в web-интерфейсе которого можно просмотреть план выбранного SQL-запроса и получить детальную информацию о возможных проблемах производительности при его выполнении. С ADB Control устанавливается offline-сервис PlanChecker (без редиректа на публичный).
UI Backend Server. Backend-сервер web-интерфейса ADB Control. Обрабатывает запросы со стороны Web UI и Backend Server.
Backend Server. Горизонтально масштабируемый сервис обработки и агрегации метрик, поступающих от агентов. Он же записывает информацию по запросам/метрикам в базы данных Query DB/Metrics DB и отправляет обновления на UI Backend Server.
Scheduler. Планировщик, осуществляющий запуск задач по расписанию:
- Автоматическое удаление из ADB Control метрик и иных данных, хранимых длительное время.
- Выгрузка собираемых метрик и данных аудита во внешнюю базу данных (Offload DB).
- Актуализация статусов запросов и транзакций.
- Агрегация данных о потреблении системных ресурсов.
- Снятие метрик, относящихся к ресурсным группам.
Migration. Сервис автоматической миграции схем и данных в БД, с которыми взаимодействует ADB Control (Query DB, Metrics DB, Offload DB).
Query DB. База данных PostgreSQL, выполняющая следующие функции:
- Логирование запросов.
- Логирование транзакций.
- Хранение агрегатов системных метрик по транзакциям и запросам.
- Аудит действий.
- Ведение статистики по сущностям БД.
- Хранение системных таблиц ADB Control с данными о пользователях, кластерах, настройках системы и так далее.
Metrics DB. База данных ClickHouse, в которой хранятся:
- Системные метрики, получаемые от агентов.
- История потребления ресурсов в рамках ресурсных групп (на основе gp_resgroup_*).
Offload DB. Внешняя аналитическая база данных PostgreSQL/TimescaleDB/ADB для выгрузки собираемых метрик и данных аудита.

Использование внешних хранилищ Query DB и Metrics DB

Базы данных Query DB и Metrics DB по умолчанию поднимаются в контейнерах. В обоих случаях существует возможность их подключения к ADB Control как внешних систем хранения. Для этого заполните параметры секции External database parameters (для Query DB) и/или External ADQM parameters (для Metrics DB) при конфигурировании сервиса ADB Control во время установки кластера ADB (см. Конфигурационные параметры → ADB Control).
Начиная с версии ADB Control 4.7.5 создание пользователей во внешних БД и присвоение им необходимых прав производится вручную. Порядок настройки подробно описан в статье Настройка внешних БД для ADB Control.

ПРИМЕЧАНИЕ

Дополнительную информацию о том, как изменялась архитектура ADB Control по мере развития продукта, можно найти в статье технического блога Мониторинг запросов в Greenplum.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней