Обзор Arenadata DB Control

Дарья Барышева
Содержание

Функции

Arenadata DB Control (ADB Control) — это система мониторинга запросов Arenadata DB в режиме реального времени.

Основные функциональные возможности ADB Control перечислены ниже:

  • Поддержка работы с несколькими кластерами ADB.

  • Мониторинг SQL-запросов и транзакций, включая нижнеуровневые запросы (inner query).

  • Мониторинг клиентских сессий ADB (как активных, так и неактивных) с возможностью их прерывания при необходимости.

  • Сбор информации о потребляемых на уровне SQL-запросов и транзакций системных ресурсах.

  • Построение сводной статистики по использованию системных ресурсов за выбранный период времени в виде графиков.

  • Возможность отмены выполняющихся транзакций.

  • Построение планов запросов с возможностью отслеживания прогресса их выполнения.

  • Возможность выгрузки собираемых с кластеров метрик во внешнюю аналитическую базу данных (PostgreSQL/ADB).

  • Аудит обращений к таблицам ADB (в кластерах, подключенных для мониторинга), а также авторизаций и других действий пользователей в ADB Control.

ПРИМЕЧАНИЕ

  • ADB Control доступен в версии ADB Enterprise.

  • В настоящий момент возможна только offline-установка ADB Control.

  • Для использования ADB Control рекомендуется установить сервис Chrony. Синхронизация времени на хостах кластера необходима для корректной работы триггеров задач планировщика (Scheduler) и точных вычислений системных метрик.

Архитектура

Верхнеуровневая архитектурная схема ADB Control приведена ниже.

Архитектура ADB Control
Архитектура ADB Control
Архитектура ADB Control
Архитектура ADB Control

Основные компоненты архитектуры ADB Control:

  • Agent. Приложение для приема и фильтрации метрик с координатора и сегментов кластера ADB. Агенты устанавливаются в единственном экземпляре на каждый хост, то есть один агент принимает метрики со всех сегментов в рамках хоста.

  • Service Registry. Каталог зарегистрированных в системе сервисов ADB Control. Отвечает за обнаружение сервисов (service discovery) в ADB Control. Обеспечивает обнаружение доступных агентов (преднастроенной карты агентов в системе нет) и поиск необходимых сервисов ADB Control со стороны агентов (для отправки метрик). Так как ADB Control может работать с несколькими кластерами ADB одновременно, при добавлении кластера новые агенты также регистрируются в Service Registry.

  • UI Backend Server. Backend-сервер web-интерфейса ADB Control. Обрабатывает запросы со стороны Backend Server.

  • Backend Server. Горизонтально масштабируемый сервис обработки и агрегации метрик, поступающих от агентов. Он же записывает информацию по запросам/метрикам в базы данных Query DB/Metrics DB и отправляет обновления на UI Backend Server.

  • Scheduler. Планировщик, осуществляющий запуск задач по расписанию:

    • Автоматическое удаление из ADB Control метрик и иных данных, хранимых длительное время.

    • Выгрузка собираемых метрик и данных аудита во внешнюю базу данных (Offload DB).

    • Актуализация статусов запросов и транзакций.

    • Агрегация данных о потреблении системных ресурсов.

  • Migration. Сервис автоматической миграции схем и данных в БД, с которыми взаимодействует ADB Control (Query DB, Metrics DB, Offload DB).

  • Query DB. База данных PostgreSQL, выполняющая следующие функции:

    • Логирование запросов.

    • Логирование транзакций.

    • Хранение агрегатов системных метрик по транзакциям и запросам.

    • Аудит действий.

    • Ведение статистики по сущностям БД.

    • Хранение системных таблиц ADB Control с данными о пользователях, кластерах, настройках системы и так далее.

  • Metrics DB. База данных ClickHouse, в которой хранятся:

    • Системные метрики, получаемые от агентов.

  • Offload DB. Внешняя аналитическая база данных PostgreSQL/ADB для выгрузки собираемых метрик и данных аудита.

Использование внешних хранилищ Query DB и Metrics DB

 

  • Базы данных Query DB и Metrics DB по умолчанию поднимаются в контейнерах. В обоих случаях существует возможность их подключения к ADB Control как внешних систем хранения. Для этого заполните параметры секции External database parameters (для Query DB) и/или External ADQM parameters (для Metrics DB) при конфигурировании сервиса ADB Control во время установки кластера ADB (см. Конфигурационные параметры → ADB Control).

  • Начиная с версии ADB Control 4.7.5 создание пользователей во внешних БД и присвоение им необходимых прав производится вручную. Порядок настройки подробно описан в статье Настройка внешних БД для ADB Control.

ПРИМЕЧАНИЕ

Дополнительную информацию о том, как изменялась архитектура ADB Control по мере развития продукта, можно найти в статье технического блога Мониторинг запросов в Greenplum.
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней