Конференция Arenadata
Новое время — новый Greenplum
Мы приглашаем вас принять участие в конференции, посвященной будущему Open-Source Greenplum 19 сентября в 18:00:00 UTC +3. Встреча будет проходить в гибридном формате — и офлайн, и онлайн. Онлайн-трансляция будет доступна для всех желающих.
Внезапное закрытие Greenplum его владельцем — компанией Broadcom - стало неприятным сюрпризом для всех, кто использует или планирует начать использовать решения на базе этой технологии. Многие ожидают выхода стабильной версии Greenplum 7 и надеются на её дальнейшее активное развитие.
Arenadata не могла допустить, чтобы разрабатываемый годами Open-Source проект Greenplum прекратил своё существование, поэтому 19 сентября мы представим наш ответ на данное решение Broadcom, а участники сообщества получат исчерпывающие разъяснения на все вопросы о дальнейшей судьбе этой технологии.

На конференции вас ждёт обсуждение следующих тем:

  • План возрождения Greenplum;
  • Дорожная карта;
  • Экспертное обсуждение и консультации.
Осталось до события

Обзор Arenadata DB Control

Дарья Барышева
Содержание

Функции

Arenadata DB Control (ADB Control) — это система мониторинга запросов Arenadata DB в режиме реального времени.

Основные функциональные возможности ADB Control перечислены ниже:

ПРИМЕЧАНИЕ

  • ADB Control доступен в версии ADB Enterprise.

  • В настоящий момент возможна только offline-установка ADB Control.

  • Для использования ADB Control рекомендуется установить сервис Chrony. Синхронизация времени на хостах кластера необходима для корректной работы триггеров задач планировщика (Scheduler) и точных вычислений системных метрик.

Архитектура

Верхнеуровневая архитектурная схема ADB Control приведена ниже.

Архитектура ADB Control
Архитектура ADB Control
Архитектура ADB Control
Архитектура ADB Control

Основные компоненты архитектуры ADB Control:

  • Agent. Приложение для приема и фильтрации метрик с сегментов кластера ADB. Агенты устанавливаются в единственном экземпляре на каждый хост, то есть один агент принимает метрики со всех сегментов в рамках хоста.

  • Service Registry. Каталог зарегистрированных в системе сервисов ADB Control. Отвечает за Service Discovery в ADB Control. Обеспечивает обнаружение доступных агентов (преднастроенной карты агентов в системе нет) и поиск необходимых сервисов ADB Control со стороны агентов (для отправки метрик). Так как ADB Control может работать с несколькими кластерами ADB одновременно, при добавлении кластера новые агенты также регистрируются в Service Registry.

  • Router. Обратный proxy-сервер для маршрутизации UI-запросов и метрик.

  • Web UI. Клиентское приложение, обеспечивающее доступ к функционалу ADB Control через web-интерфейс.

  • Planchecker. Сервис PlanChecker, в web-интерфейсе которого можно просмотреть план выбранного SQL-запроса и получить детальную информацию о возможных проблемах производительности при его выполнении. С ADB Control устанавливается offline-сервис PlanChecker (без редиректа на публичный).

  • UI Backend Server. Backend-сервер web-интерфейса ADB Control. Обрабатывает запросы со стороны Web UI и Backend Server.

  • Backend Server. Горизонтально масштабируемый сервис обработки и агрегации метрик, поступающих от агентов. Он же записывает информацию по запросам/метрикам в базы данных Query DB/Metrics DB и отправляет обновления на UI Backend Server.

  • Scheduler. Планировщик, осуществляющий запуск задач по расписанию:

    • Автоматическое удаление из ADB Control метрик и иных данных, хранимых длительное время.

    • Выгрузка собираемых метрик и данных аудита во внешнюю базу данных (Offload DB).

    • Актуализация статусов запросов и транзакций.

    • Агрегация данных о потреблении системных ресурсов.

    • Снятие метрик, относящихся к ресурсным группам.

  • Migration. Сервис автоматической миграции схем и данных в БД, с которыми взаимодействует ADB Control (Query DB, Metrics DB, Offload DB).

  • Query DB. База данных PostgreSQL, выполняющая следующие функции:

    • Логирование запросов.

    • Логирование транзакций.

    • Хранение агрегатов системных метрик по транзакциям и запросам.

    • Аудит действий.

    • Ведение статистики по сущностям БД.

    • Хранение системных таблиц ADB Control с данными о пользователях, кластерах, настройках системы и так далее.

  • Metrics DB. База данных ClickHouse, в которой хранятся:

    • Системные метрики, получаемые от агентов.

    • История потребления ресурсов в рамках ресурсных групп (на основе gp_resgroup_*).

  • Offload DB. Внешняя аналитическая база данных PostgreSQL/ADB для выгрузки собираемых метрик и данных аудита.

Использование внешних хранилищ Query DB и Metrics DB

 

  • Базы данных Query DB и Metrics DB по умолчанию поднимаются в контейнерах. В обоих случаях существует возможность их подключения к ADB Control как внешних систем хранения. Для этого заполните параметры секции External database parameters (для Query DB) и/или External ADQM parameters (для Metrics DB) при конфигурировании сервиса ADB Control во время установки кластера ADB (см. Конфигурационные параметры → ADB Control).

  • Начиная с версии ADB Control 4.7.5 создание пользователей во внешних БД и присвоение им необходимых прав производится вручную. Порядок настройки подробно описан в статье Настройка внешних БД для ADB Control.

ПРИМЕЧАНИЕ

Дополнительную информацию о том, как изменялась архитектура ADB Control по мере развития продукта, можно найти в статье технического блога Мониторинг запросов в Greenplum.
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней