Обзор Arenadata DB Control

Содержание

Функции

Arenadata DB Control (ADB Control) — это система мониторинга запросов Arenadata DB в режиме реального времени.

Основные функциональные возможности ADB Control перечислены ниже:

ПРИМЕЧАНИЕ

В настоящий момент возможна только offline-установка ADB Control.

Архитектура

Верхнеуровневая архитектурная схема ADB Control приведена ниже.

Архитектура ADB Control
Архитектура ADB Control
Архитектура ADB Control
Архитектура ADB Control

Основные компоненты архитектуры ADB Control:

  • Agent. Приложение для приема и фильтрации метрик с мастера и сегментов кластера ADB. Агенты устанавливаются в единственном экземпляре на каждый хост, то есть один агент принимает метрики со всех сегментов в рамках хоста.

  • Service Registry. Каталог зарегистрированных в системе сервисов ADB Control. Отвечает за обнаружение сервисов (service discovery) в ADB Control. Обеспечивает обнаружение доступных агентов (преднастроенной карты агентов в системе нет) и поиск необходимых сервисов ADB Control со стороны агентов (для отправки метрик). Так как ADB Control может работать с несколькими кластерами ADB одновременно, при добавлении кластера новые агенты также регистрируются в Service Registry.

  • UI Backend Server. Backend-сервер web-интерфейса ADB Control. Обрабатывает запросы со стороны Backend Server.

  • Backend Server. Горизонтально масштабируемый сервис обработки и агрегации метрик, поступающих от агентов. Он же записывает информацию по запросам/метрикам в базы данных Query DB/Metrics DB и отправляет обновления на UI Backend Server.

  • Scheduler. Планировщик, осуществляющий запуск задач по расписанию:

    • Автоматическое удаление из ADB Control метрик и иных данных, хранимых длительное время.

    • Выгрузка собираемых метрик и данных аудита во внешнюю базу данных (Offload DB).

    • Актуализация статусов запросов и транзакций.

    • Агрегация данных о потреблении системных ресурсов.

    • Снятие метрик, относящихся к ресурсным группам.

  • Migration. Сервис автоматической миграции схем и данных в БД, с которыми взаимодействует ADB Control (Query DB, Metrics DB, Offload DB).

  • Query DB. База данных PostgreSQL, выполняющая следующие функции:

    • Логирование запросов.

    • Логирование транзакций.

    • Хранение агрегатов системных метрик по транзакциям и запросам.

    • Аудит действий.

    • Ведение статистики по сущностям БД.

    • Хранение системных таблиц ADB Control с данными о пользователях, кластерах, настройках системы и так далее.

  • Metrics DB. База данных ClickHouse, в которой хранятся:

    • Системные метрики, получаемые от агентов.

    • История потребления ресурсов в рамках ресурсных групп (на основе gp_resgroup_*).

  • Offload DB. Внешняя аналитическая база данных PostgreSQL/ADB для выгрузки собираемых метрик и данных аудита.

Использование внешних хранилищ Query DB и Metrics DB

 

ПРИМЕЧАНИЕ

Дополнительную информацию о том, как изменялась архитектура ADB Control по мере развития продукта, можно найти в статье технического блога Мониторинг запросов в Greenplum.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней