Документация Arenadata
Наша цель — создание эффективных и гибких решений, масштабируемых до десятков петабайт
Продукты
Ознакомьтесь с нашими современными решениями в области Big Data

Arenadata DB

Arenadata DB (ADB) – это массивно-параллельная реляционная СУБД с открытым исходным кодом для хранилищ данных с гибкой горизонтальной масштабируемостью и колоночным хранением на основе PostgreSQL. Благодаря своим архитектурным особенностям и мощному оптимизатору запросов, ADB отличается особой надежностью и высокой скоростью обработки SQL-запросов над большими объемами данных – поэтому Arenadata DB широко применяется для аналитики Big Data в промышленных масштабах.
Для более удобной работы и построения практических задач любой сложности Arenadata DB поставляется вместе с рядом дополнительных инструментов, обеспечивающих интеграцию с внешними хранилищами данных, управление бинарными бэкапами и мониторинг запросов в режиме реального времени. Описанный функционал позволяет строить решения с полным покрытием всех процессов, связанных с сопровождением бизнес-систем.
Сценарии использования
Расширенный анализ данных

Расширенная аналитика данных, предоставляемая ADB, используется для решения широкого спектра задач в различных областях, включая финансы, промышленность, автомобилестроение, правительственный сектор, энергетику, образование, розничную торговлю и многое другое.

Одной из особенностей ADB является возможность анализировать множество типов данных, использовать существующие знания SQL и обучать больше моделей за меньшее время за счет архитектуры MPP.

Кроме того, ADB предоставляет аналитику вида in-database, которая позволяет выполнять анализ данных непосредственно в БД вместо экспорта и обработки данных во внешней аналитической системе.

Машинное обучение

Arenadata DB является отличным решением для машинного обучения – изучения компьютерных алгоритмов, которые автоматически совершенствуются через опыт. Apache MADlib – это основанная на SQL и предназначенная для машинного обучения библиотека с открытым исходным кодом, которая работает в режиме in-database в ADB, как и в PostgreSQL.

Сочетание ADB и Apache MADlib помогает улучшить параллелизм, масштабируемость и прогностическую точность развертывания моделей машинного обучения. Преобразование данных и возможности техники feature engineering также доступны в MADlib для машинного обучения, включая дескриптивную и индуктивную статистику, pivoting, реконструкцию сессий по времени и кодирование/преобразование категориальных переменных.

Искусственный интеллект

Благодаря способности ADB обрабатывать большие объемы данных на высоких скоростях, эта СУБД становится мощным инструментом для интеллектуальных приложений, взаимодействующих на основе неограниченного количества уникальных сценариев.

Например, телекоммуникационные компании могут использовать возможности Arenadata DB AI в интеллектуальных датчиках систем IoT (Internet of Things), предназначенных для сбора и анализа данных с целью повышения операционной эффективности, безопасности и качества обслуживания.

Enterprise
Community
Функциональность ядра Greenplum
gpbackup/gprestore
PXF
Автоматизация развертывания и обновления
Мониторинг и оповещения
Offline-установка
Управление бэкапами на основе WAL
x86
Техническая поддержка 24/7
Корпоративные обучающие курсы
Индивидуальные решения
Доступные интеграции
ADQM
Arenadata QuickMarts
Коннектор ADB ClickHouse обеспечивает возможность высокоскоростного параллельного обмена данными между Arenadata DB и Arenadata QuickMarts (ADQM).
ADS
ADS
Запись данных из Arenadata DB в Arenadata Streaming (ADS) обеспечивается плагином PXF. Для чтения данных существует специальное расширение Arenadata DB, реализующее транзакционную загрузку данных из ADS.
ADPG
ADPG
Через коннектор PXF JDBC возможен двухсторонний обмен данными с Arenadata Postgres (ADPG).
Kafka
Kafka
Запись данных из Arenadata DB в Kafka обеспечивается плагином PXF. Для чтения данных существует специальное расширение Arenadata DB, реализующее транзакционную загрузку данных из Kafka.
Oracle
Oracle
Через коннектор PXF JDBC возможен двухсторонний обмен данными с БД Oracle – с поддержкой специфических для Oracle функций (например, параллельного выполнения запросов).
S3
S3
На базе сервиса PXF реализован коннектор к объектному хранилищу S3.
HBase
HBase
Коннектор PXF HBase предназначен для чтения данных, хранимых в таблицах HBase. Плагин поддерживает функционал filter push-down.
HDFS
HDFS
PXF совместим с дистрибутивами Apache Hadoop, включая Arenadata Hadoop. PXF устанавливается с коннекторами к HDFS, Hive и HBase. Коннекторы могут быть использованы для доступа к данным различного формата из перечисленных сервисов Hadoop.
JDBC
JDBC
Коннектор PXF JDBC обеспечивает чтение и запись данных в различные базы данных SQL.
Hive
Hive
PXF совместим с дистрибутивами Apache Hadoop, включая Arenadata Hadoop. PXF устанавливается с коннекторами к HDFS, Hive и HBase. Коннекторы могут быть использованы для доступа к данным различного формата из перечисленных сервисов Hadoop.
Операционные системы
Alt Linux
Поддерживается Alt Linux 8 SP
CentOS
Поддерживается CentOS 7
RedHat
Поддерживается RedHat 7
Astra Linux
Поддерживается Astra Linux SE 1.7 Орел
Ubuntu
Поддерживается Ubuntu 22.04.2 LTS
RedOS
Поддерживается RedOS 7.3
Функциональность ядра Greenplum
gpbackup/gprestore
PXF
Автоматизация развертывания и обновления
Мониторинг и оповещения
Offline-установка
Управление бэкапами на основе WAL
x86
Техническая поддержка 24/7
Корпоративные обучающие курсы
Индивидуальные решения
Доступные интеграции
ADQM
Arenadata QuickMarts
Доступно только для Enterprise
ADS
ADS
Доступно только для Enterprise
ADPG
ADPG
Через коннектор PXF JDBC возможен двухсторонний обмен данными с Arenadata Postgres (ADPG).
Kafka
Kafka
Доступно только для Enterprise
Oracle
Oracle
Через коннектор PXF JDBC возможен двухсторонний обмен данными с БД Oracle – с поддержкой специфических для Oracle функций (например, параллельного выполнения запросов).
S3
S3
На базе сервиса PXF реализован коннектор к объектному хранилищу S3.
HBase
HBase
Коннектор PXF HBase предназначен для чтения данных, хранимых в таблицах HBase. Плагин поддерживает функционал filter push-down.
HDFS
HDFS
PXF совместим с дистрибутивами Apache Hadoop, включая Arenadata Hadoop. PXF устанавливается с коннекторами к HDFS, Hive и HBase. Коннекторы могут быть использованы для доступа к данным различного формата из перечисленных сервисов Hadoop.
JDBC
JDBC
Коннектор PXF JDBC обеспечивает чтение и запись данных в различные базы данных SQL.
Hive
Hive
PXF совместим с дистрибутивами Apache Hadoop, включая Arenadata Hadoop. PXF устанавливается с коннекторами к HDFS, Hive и HBase. Коннекторы могут быть использованы для доступа к данным различного формата из перечисленных сервисов Hadoop.
Операционные системы
Alt Linux
Доступно только для Enterprise
CentOS
Поддерживается CentOS 7
RedHat
Поддерживается RedHat 7
Astra Linux
Доступно только для Enterprise
Ubuntu
Поддерживается Ubuntu 22.04.2 LTS
RedOS
Доступно только для Enterprise
Ключевые особенности
Производительность
Возможно горизонтальное масштабирование ADB до десятков петабайт без снижения производительности запросов
Безопасность
Встроенный аудит действий пользователя в кластере: аутентификация, конфигурирование LDAP, настройка ресурсных групп
Надежность
Зеркалирование (mirroring), безопасное управление бэкапами, плагин ddboost для утилит gpbackup/gprestore
Удобство
Гибкое развертывание и конфигурирование, обновления с проверенными бинарными файлами и необходимыми миграциями для всех компонентов
Контрибуция
Наша команда – один из основных контрибьюторов Greenplum в мире. Кроме этого, мы создаем и поддерживаем в актуальном состоянии собственную документацию
ADB Control
Система мониторинга запросов Arenadata DB
Предназначена для глубокого исследования процессов выполнения команд или утилит, работающих с кластером.
Мониторинг производится в режиме реального времени со сбором информации о потребляемых на уровне запросов ресурсах и прогрессе выполнения планов запросов. Дополнительно можно производить отслеживание выполнения запросов в разрезе транзакций.
Система мониторинга имеет удобный пользовательский интерфейс с возможностью подключения к нему нескольких кластеров Arenadata DB, сбора статистики, ее графического представления и выгрузки метрик.
Arenadata DB Backup Manager
Сервис по управлению бэкапами для ADB
Основной особенностью является асинхронное снятие бинарных бэкапов с работающего кластера.
Имеется пользовательский интерфейс, встроенный в ADB Control, из которого можно работать с несколькими кластерами ADB и для каждого из них:
  • настраивать расписание бэкапирования;
  • управлять конфигурацией;
  • выполнять создание бэкапа (полного, инкрементного, дифференциального) on-demand;
  • восстанавливать кластер из имеющихся бэкапов;
  • проводить аудит действий, связанных с бэкапированием.
Коннекторы
ADB Spark Connector
Mногофункциональный коннектор с поддержкой параллельных операций чтения/записи между Apache Spark и Arenadata DB. На его основе можно легко строить ETL-решения и осуществлять анализ данных in-memory.
Обладает большой гибкостью в настройке и множеством возможностей:
  • высокая скорость передачи данных;
  • автоматическое формирование схемы данных;
  • гибкое партиционирование;
  • поддержка push-down операторов;
  • поддержка batch-операций.
ADB Kafka Connector
Cпециализированный коннектор для интеграции Apache Kafka с Arenadata DB.
Характеристики:
  • возможность чтения и записи данных в формате AVRO из топиков Kafka;
  • работа с CSV и текстовым форматом данных для операции чтения;
  • поддержка транзакций при записи данных в Arenadata DB.
ADB PXF Connector
Фреймворк для параллельного и высокопроизводительного доступа к гетерогенным источникам данных из Arenadata DB при помощи встроенных коннекторов.
Обращение к данным происходит за счет механизма внешних таблиц, что позволяет строить сложные федеративные запросы.
Для подключения внешних хранилищ предоставляются коннекторы JDBC, S3, Hive, HDFS и HBase. При этом аутентификация может включать в себя использование Kerberos и/или SSL.
ADB ClickHouse Connector
Fdw-коннектор для передачи данных в Arenadata QuickMarts или ClickHouse.
Позволяет:
  • транзакционно загружать данные за счет автоматического создания staging-таблиц;
  • использовать несколько семейств engine таблиц в ClickHouse;
  • гибко распределять и распараллеливать нагрузку записи.
ADB to ADB Connector
Реализованный на основе foreign data wrapper и параллельных курсоров (parallel retrieve cursor) коннектор, обеспечивающий двустороннюю передачу данных между двумя кластерами ADB.
Основные возможности коннектора:
  • параллельное получение данных сегментами локального кластера напрямую с сегментов удаленного кластера;
  • транзакционная вставка данных с локального на удаленный кластер в режиме "master-master";
  • возможность автоматического определения количества обработчиков (Query Executor, QE).

ADB 7 на базе Greenplum 7

Новая Community-версия

ADB 7 открывает новую эру аналитики больших данных с мощными улучшениями и передовыми возможностями. Обновление приносит еще больше надежности, безопасности и контроля над данными, предоставляя организациям инструменты для быстрого и эффективного анализа. С новыми уровнями производительности и простотой управления, ADB 7 станет ключевым инструментом для компаний, стремящихся максимизировать свои аналитические возможности и ускорить принятие решений.

Кроме того, эта версия идеальна для тех, кто ищет надежное и производительное решение с открытым исходным кодом. Присоединяйтесь к нашему сообществу, чтобы получить доступ к новым возможностям для эффективного управления и анализа данных.

Ключевые особенности ADB 7
Современное ядро на базе PostgreSQL 12
ADB 7 построен на основе PostgreSQL 12, что обеспечивает улучшенную совместимость и доступ к новым возможностям, предоставленным в этой версии PostgreSQL.
Значительный рост производительности
Внедрение JIT-компиляции, поддержка новых типов индексов, усовершенствование индексации AO/CO-таблиц, добавление хинтов оптимизатора и параметризированных запросов, а также другие улучшения в GPORCA обеспечивают ощутимое повышение производительности.
Расширенные инструменты администрирования и управления ресурсами
Обновленные возможности управления кластером делают процесс администрирования более гибким и эффективным, позволяя точнее настраивать использование ресурсов и обеспечивать бесперебойную работу даже в условиях высокой нагрузки.
Усиленные меры безопасности
В ADB 7 внедрены дополнительные средства управления доступом и защиты данных, включая улучшенную проверку доступа, контроль на уровне строк, а также встроенные механизмы аудита, что делает систему еще более безопасной.
Расширенные возможности интеграции
Поддержка дополнительных инструментов для внешних таблиц (FDW) расширяет возможности интеграции с различными системами, обеспечивая более гибкое и эффективное взаимодействие с внешними источниками данных.
Улучшенная поддержка облачных решений
ADB 7 предлагает улучшенную поддержку облачных сред, включая оптимизацию работы в облаках и гибридных инфраструктурах, что обеспечивает повышенную гибкость и масштабируемость для современных корпоративных приложений.
Сравнение продуктов

Arenadata DB

К сравнению

К сравнению

Инфраструктура
Система управления, включая простую установку, обновление и модернизацию
Есть
Нет
Есть
Есть
Есть
Расширение кластера
Есть
Есть

Только через CLI.

Есть
Есть
Есть
Система мониторинга
Есть
Есть
Есть
Есть
Есть
Система резервного копирования/восстановления с графическим интерфейсом
Есть
Нет
Нет
Нет
Есть
Поддержка IT-ландшафта
Возможность развертывания различных сочетаний bare metal, cloud
Есть
Есть
Есть
Есть
Есть
Поддержка PaaS у облачных провайдеров
VK Cloud;
Cloud.ru (в разработке).
AWS;
Azure;
Google Cloud Platform.
AWS;
Azure;
Google Cloud Platform.
AWS;
Azure;
Google Cloud Platform.
Oracle Cloud.
Поддержка отечественных операционных систем
Alt Linux
Есть
Нет
Нет
Нет
Нет
Astra Linux
Есть
Нет
Нет
Нет
Нет
RED OS
Есть
Нет
Нет
Нет
Нет
Ubuntu
Есть
Есть
Есть
Есть
Есть
Функционал
Физическое бэкапирование/восстановление
Есть
Нет
Есть
Есть
Есть
Мониторинг кластера
Есть
Есть
Есть
Есть
Есть
Мониторинг запросов
Есть
Есть
Есть
Есть

Возможно ухудшение производительности.

Есть
Интеграции
Kafka
Есть

ADB Kafka Connector.

Есть
Есть
Есть

Возможно ухудшение производительности.

Есть

За дополнительную стоимость (недоступно для РФ).

ClickHouse
Есть

ADB ClickHouse Connector.

Есть

Только через PXF, ручная интеграция

Есть

Только через JDBC.

Есть

Только через JDBC.

Есть

За дополнительную стоимость, ручная интеграция (недоступно для РФ).

Hadoop
Есть

ADB PXF Connector.

Есть
Есть
Есть
Есть

За дополнительную стоимость (недоступно для РФ).

Spark
Есть

ADB Spark Connector.

Есть
Есть

Только через JDBC.

Есть
Есть

За дополнительную стоимость (недоступно для РФ).

Cluster-to-cluster
Есть

ADB to ADB Connector.

Есть
Есть
Есть
Есть

За дополнительную стоимость (недоступно для РФ).

Настройки безопасности
SSL между клиентом и сервером
Есть
Есть
Есть
Есть
Есть
Синхронизация с LDAP
Есть
Есть
Есть
Есть
Есть
Внешнее хранение секретов
В разработке
Нет
Есть
Есть
Есть
Дополнительно
Техническая поддержка 24х7
Есть
Нет
Есть

(Недоступно для РФ).

Есть

(Недоступно для РФ).

Нет
Самые быстрые выпуски исправлений ошибок, новых функций и оптимизации
Есть
Нет
Нет
Нет
Нет
Обучение/тренинги
Есть
Нет
Есть

(Недоступно для РФ).

Есть

(Недоступно для РФ).

Нет
Версия для сообщества
Есть
Есть
Нет
Есть

С ограничениями.

Нет
Документация на русском языке
Есть
Нет
Нет
Нет
Нет
Регистрация в реестре отечественного программного обеспечения
Есть
Нет
Нет
Нет
Нет
Сертификация ФСТЭК
Есть
Нет
Нет
Нет
Нет

ADB Control & Backup Manager

К сравнению

К сравнению

Инфраструктура
Система управления
Arenadata Cluster Manager (ADCM)
Нет
Teradata Vantage
Oracle Enterprise Manager Cloud Control
Централизованный апгрейд
Есть

Через ADCM.

Нет
Нет
Есть
Поддержка IT-ландшафта
Возможность развертывания различных сочетаний bare metal, cloud
Есть
Есть
Есть
Есть
Поддержка отечественных операционных систем
Alt Linux
Есть
Нет
Нет
Нет
Astra Linux
Есть
Нет
Нет
Нет
RED OS
Есть
Нет
Нет
Нет
Функционал
Интеграция с другими продуктами
ADB
Tanzu Greenplum
Teradata
Oracle
Пользовательский UI с разграничением доступа по ролям
Есть
Есть
Есть
Есть
Подключение нескольких кластеров различных типов (с/без Standby и зеркалирования) через UI
Есть
Нет
Есть
Есть
Выгрузка метрик во внешнюю БД через UI
Есть
Нет
Нет
Нет
Мониторинг запросов и транзакций, история запросов в UI
Есть
Есть
Есть
Есть
Отслеживание выполнения и плана запроса в UI
Есть
Есть
Есть
Есть
Приоритизация ресурсов через UI
Есть
Есть
Есть
Нет
Снятие бинарных бэкапов с работающего кластера через UI
Есть
Нет
Нет
Есть
Управление бэкапами: конфигурация, запуск по расписанию и вручную, просмотр, удаление, создание restore points (UI)
Есть
Нет
Нет
Есть
Поддержка S3- и Posix-совместимых хранилищ для бэкапов
Есть
Нет
Есть
Есть
Disaster recovery
Да (асинхронный)
Нет
On-premises
Есть
Настройки безопасности
SSL-шифрование
Есть

Управляется в ADCM.

Есть
Есть
Есть
Стандартное разделение доступа на основе Role Based Access Control
Есть
Есть
Есть
Есть
Журналирование действий пользователей и системы
Есть
Есть
Есть
Есть
Дополнительно
Техническая поддержка 24/7
Есть
Нет
Недоступно для РФ
Недоступно для РФ
Обучение/тренинги
Есть

Полноценное обучение работе с продуктами Arenadata.

Нет
Недоступно для РФ
Недоступно для РФ
Community-версия
Нет
Нет
Нет
Нет
Документация
Есть
Есть
Есть
Есть
Регистрация в реестре отечественного ПО
Есть
Нет
Нет
Нет
Успешные внедрения
Есть
Есть
Есть
Есть
История релизов с описанием
Есть

В открытом доступе полная история релизов с версиями сервисов и описанием доработанного функционала.

Есть
Есть
Есть

Раздел "Сравнение продуктов" является актуальным на дату 14.11.2024.

Релизы
2023
ADB 6.27.1.58
  • Добавлена поддержка RedOS 7.3
  • Добавлена поддержка интерконнекта с типом Proxy
  • Реализована валидация конфигурационных файлов без использования лог-файлов
  • PXF теперь совместим с версией ADH 3.3.6
ADB Control 4.10.3
  • Добавлена поддержка LDAPS для пользователей ADB Control
  • Добавлена возможность настройки выделенной подсети (dedicated network) для ADB Control и ADBM
  • Изменено отображение слайсов с ошибками в секции Plan & progress на странице с деталями команды
ADBM 2.2.3
  • Добавлена возможность восстановления отдельных таблиц из бинарных бэкапов
  • Реализовано параллельное выполнение действия Cleanup на агентах во избежание прерывания действия по тайм-ауту на больших инсталляциях
  • Обновлено отображение версий конфигураций бэкапов
ADB 7.2.0.1
  • Добавлена ​​официальная поддержка Ubuntu 22.04 на платформе x86-64
  • Улучшена поддержка JIT для повышения производительности запросов в GPDB
  • Повышена стабильность работы
ADB 6.27.1.57
  • Производительность и возможности PXF pushdown были значительно улучшены и расширены
  • Процесс восстановления из резервной копии теперь проходит более гладко
ADB Control 4.9.1
  • Добавлена интеграция с Vault
  • Добавлено отображение заблокированных сессий и команд, ожидающих постановки в очередь
  • Улучшено отображение графиков на странице Dashboard
  • Расширена фильтрация и сортировка системных сегментных метрик на странице с деталями команды
ADBM 2.1.2
  • Добавлена интеграция с Vault
  • В конфигурацию бэкапа добавлена возможность ввода новых параметров для S3-репозитория
  • Добавлена история изменения статусов бэкапа
ADB 6.27.1.56
  • ADB теперь поддерживает операционную систему Ubuntu
  • В коннектор ADB to Kafka добавлена поддержка SSL
  • Хранение временных таблиц теперь отделено от хранения временных файлов
ADB Control 4.8.8
  • В службе planchecker теперь есть файл конфигурации
  • Добавлена поддержка кластерного ClickHouse в качестве внешней базы данных для установки ADB Control
  • Переработана вкладка конфигурации кластеров
ADBM 2.0.4
  • Добавлен интерфейс командной строки ADBM для упрощения процессов резервного копирования и восстановления
  • Включена функция инкрементных резервных копий на уровне блоков: соответствующий флаг добавлен на страницу конфигурации бэкапа
ADB 6.26.2.55
  • Добавлена опция перезагрузки профилей PXF
  • Добавлена возможность изменения директории PXF_BASE
  • Добавлена опция parallel_processes в кластерное действие Redistribute
  • ADB под Astra Linux переведена с дефолтной Axiom Java на openjdk
  • Произведена замена Java 8 на Java 11 во всех компонентах Arenadata DB
ADB Control 4.7.5
  • Представлена возможность добавления меток на запросы в ADB с отображением в ADB Control
  • Проведен рефакторинг детального плана запроса
  • Добавлена возможность управления сессиями пользователей ADB Control
  • Добавлен раздел управления серверными конфигурационными параметрами GUC
ADBM 1.7.3
  • Добавлена опция Copy Streaming для копирования данных на DR-кластер
  • Внесены изменения в политику Cleanup
  • Исправлено падение Copy stream после остановки сегмент-хоста в кластере
ADB 6.26.0.53
  • Добавлены новые метрики для мониторинга PXF: pxf status и uptime
  • Добавлена возможность выбора стратегии для процесса vacuuming в arenadata_toolkit
  • Добавлена поддержка plpython3u
ADB Control 4.6.4
  • Добавлена возможность настройки SSL/TLS для взаимодействия сервисов ADB Control/ADBM
  • Изменено значения TTL (time-to-live) для таблиц ClickHouse с целью уменьшения потребления дисковых ресурсов
  • Добавлено отображение значения параметра Application name для каждой сессии на вкладке Monitoring → Sessions
  • Реализована динамическая загрузка списка LDAP-групп на основе данных, вводимых пользователем на вкладке Users → LDAP group mapping
ADBM 1.6.3
  • Добавлены новые статусы для управления конфигурациями бэкапов
  • В процесс определения статуса бэкапа добавлена обработка недоступности репозитория
  • Реализованы изменения в процедуре очистки данных (Cleanup) для корректной обработки изменений типа репозитория и пути, а также для защиты бэкапов во время выполнения копирования данных между кластерами (copy stream) в рамках Disaster Recovery (DR)
ADB 6.25.2.52
  • Добавлена поддержка операционной системы Astra Linux 1.7 SE "Orel"
  • Добавлена поддержка Docker CE
  • Добавлена возможность установки кастомного пути JAVA_HOME для кластера
  • Добавлен функционал Parameter archiving
ADB Control 4.5.3
  • Добавлена вкладка Sessions на странице Monitoring с возможностью прерывания сессий
  • Оптимизирован процесс фильтрации на агентах для сбора системных метрик
  • Добавлена автоматическая архивация кластера в случае добавления нового кластера с идентичным JDBC URL
  • Удалена кнопка Create connection со страницы Configuration → Clusters
  • Добавлена поддержка SSL/TLS в gRPC-сервисах
ADBM 1.5.2
  • Добавлена возможность восстанавливать зеркала из бинарных бэкапов параллельно с первичными сегментами — с помощью поля Restore mirrors.
  • Проверка доступности репозитория добавлена в процесс копирования данных между кластерами (copy stream) в рамках Disaster Recovery (DR)
  • Добавлен статус Warning для действий ADBM
  • Значения по умолчанию для фильтров времени на страницах Backups и Restores изменены на прошедший день
  • Добавлена автоматическая установка флага Skip validation (без возможности сброса) в модальное окно Restore для восстановления в остановленных кластерах ADB
ADB 6.25.1.51
  • Реализован ADB to ADB Connector 1.0.0
  • Добавлено действие Uninstall для Madlib
  • Исправлена ошибка, возникавшая если сессия на master-ноде завершалась, а сессии на сегментах продолжали работать
ADB Control 4.4.0
  • На вкладку Configuration добавлена возможность кастомной настройки timezone
  • Добавлены новые параметры для задачи выгрузки метрик во внешнюю БД (Export job)
  • Изменен порядок элементов бокового меню
  • Удаление последнего пользователя с ролью Owner теперь не допускается
  • Исправлена ошибка фильтрации по полю Job group на странице Jobs → Audit
ADBM 1.4.0
  • Добавлена поддержка репозитория CIFS
  • Добавлена возможность автоматического копирования бэкапа на целевой кластер после формирования бэкапа в исходном кластере
  • Добавлено автоопределение активного master-хоста для поддержки процесса бэкапирования после переключения на standby
  • Восстановление с типом Self-restore (запускаемое путем вызова действия Restore) завершалось ошибкой после изменения ролей на зеркалах
ADB 6.25.1.49
  • Добавлена интеграция и синхронизация LDAP с ADB из бандла
  • Добавлен RPM pgbouncer-adb6 с нативной LDAP-аутентификацией
  • gpbackup: добавлен параметр --report-dir для gprestore
ADB Control 4.3.3
  • Можно использовать ADB в качестве базы для выгрузки метрик
  • Улучшены фильтры на вкладках аудита операций и авторизаций для колонок Object name, Username, Host
  • Исправлено: отображался пароль к базе для выгрузки метрик на вкладке аудита операций
  • Исправлено: сортировка по колонкам не была доступна на странице Jobs
  • Исправлено: отображались агенты всех кластеров после выбора кластера на вкладке Information
ADBM 1.3.3
  • Добавлена опция восстановления с зеркалами для процесса копирования Disaster Recovery
  • Добавлен шаг проверки репозитория при сохранении конфигурации бэкапа
  • Список сегментов в топологии бэкапа теперь отсорирован по id сегмента
  • Исправлено: не отображался список восстановлений для кластеров с пробелами в названии
ADB 6.24.3.48
  • Добавлено бэкапирование конфигурационных файлов Postgres для целей копирования данных между кластерами (Copy) во время Disaster Recovery (DR) в ADBM
  • Исправлено:
  • Кластер отображался со статусом Down в ADBM, если master размещался на том же хосте, что и segment
ADB Control 4.3.2
  • Реализация новых таблиц и фильтров
  • Исправлено:
  • Время выполнения не отображалось в узлах плана после завершения команды
  • Ошибка при изменении роли пользователя
  • Ошибка при запуске задачи по выгрузке метрик во внешнюю БД (metrics offload job)
ADBM 1.3.2
  • Реализована возможность восстановления для кластеров со standby
  • Добавлена автоматическая проверка совместимости версий ADB на исходном и целевом кластерах при копировании данных между ними
  • В процесс копирования данных между кластерами во время DR добавлена проверка доступности бэкапной конфигурации на целевом кластере
  • Исправлено:
  • Было невозможно восстановить данные из бэкапа в DR-кластере, если число узлов исходного кластера отлично от DR-кластера
  • Выбор конкретных баз данных из списка для восстановления приводил к ошибке при копировании данных между кластерами во время DR
ADB 6.24.3.47
  • Обновление gpbackup до версии 1.28
  • Обновление pxf до версии 6.6
  • ADB ClickHouse connector переведен из бета-режима в промышленную эксплуатацию
  • Реализована функция adb_collect_table_stats для решения проблемы с NULL-значениями в db_files_current
  • Реализовано представление adb_skew_coefficients для мониторинга "перекосов" данных (skews) в отличие от gp_toolkit.gp_skew_idle_fractions
ADB Control 4.3.1
  • Добавлен аудит действий по управлению пользователями ADB Control и аудит неудачных попыток входа в ADB
  • Добавлено архивирующее действие для кластера с целью остановки мониторинга и возможностью его повторной активации в дальнейшем
  • Добавлена фильтрация запросов короче порогового значения (threshold) на стороне adcc-agent с целью повышения стабильности работы агентов
  • Сигнатура SQL (sql_id) добавлена для каждой команды
  • Исправлено:
  • Информация о кластере не обновлялась мгновенно при выборе кластера на вкладках Actions, Backups и Restores
ADBM 1.3.1
  • Реализовано аварийное восстановление данных (Disaster Recovery, DR) с Cold Standby — возможность восстановления кластера из бэкапа на другом кластере (Бета-версия)
  • Добавлены опции pgbackrest (-delta, --force, --max-process) для операции восстановления данных
  • Добавлена опция для сохранения конфигурации для бэкапов, запускаемых по запросу (без расписания)
  • Улучшено представление дерева действий ADBM
  • Исправлено: действие Apply backup config завершалось ошибкой при выборе S3
ADB 6.23.5
  • Обновление diskquota до версии 2.2.1
  • Ограничена глубина поиска при обновлении diskquota
  • Внесены исправления в diskquota 2.x для поддержки большого числа строк в diskquota.table_size
  • Исправлена ошибка PXF curl buffer: передача данных останавливалась с оставшимися внешними данными для чтения
  • diskquota "зависал" и блокировал остановку кластера
ADB 5.29.11
  • Обновление tkh-connector и gptkh до последних версий PXF 5
  • Исправлена ошибка FATAL: could not open relation, возникавшая после переключения сегментов
  • Исправлено создание расширения gptkh в случае, когда скрипты расширения удаляли что-либо
  • Исправлена ошибка ERROR: gp_relation_node has more entries than pg_aocsseg for relations
ADB 6.23.3
  • Выпуск Tkhemali connector 2.0
  • Обработка предиката IN для целей фильтрации push-down в PXF JDBC
  • Возможность использования SSL между Client и Master
  • Добавлены дашборды PXF Monitoring Grafana Dashboards
ADB Control 4.2.1
  • Arenadata DB Command Center (ADBCC) переименован в Arenadata DB Control (ADB Control)
  • Оптимизация хранения данных с возможностью экспорта метрик во внешнюю БД для долговременного хранения
  • Улучшенная безопасность с поддержкой CSRF (Cross-Site Request Forgery)
  • Улучшенный механизм аутентификации с принудительной сменой пароля при первом входе пользователя и блокировкой после нескольких неудачных попыток входа
  • Добавлена возможность просмотра суммарных системных метрик мониторинга, а также их расчет в режиме реального времени для активных команд
ADBM 1.2.1
  • Возможность использования ADBM на PowerPC
  • Возможность восстановления данных из бэкапов без сегментов-зеркал (mirror)
  • Улучшен механизм фильтрации для действий Restore
ADB 6.22.1
  • Синхронизация с Greenplum Database 6.22.1
  • Обновление pgbouncer 1.18
  • Обновление gpbackup 1.27
  • Обновление plcontainer 2.2
  • Добавлен буферный параметр в утилиту gpcheckperf
ADBM 1.1.0
  • Восстановление из бэкапа для остановленного кластера
  • Возможность удаления последнего бэкапа из stanza
  • Восстановление определенных баз данных из бэкапа
ADB Control 4.1.0
  • Возможность совместного использования ADB Control и gpperfmon в рамках одного кластера ADB
  • Возможность LDAP-поиска по нескольким Organizational Units (OU) в ходе аутентификации
  • Гибкая сортировка на страницах мониторинга команд и транзакций
ADB 6.22.0
  • Синхронизация с Greenplum Database 6.22.0
  • Добавлена поддержка Alt Linux 8.4 SP
  • Добавлен Data Domain Boost плагин версии 1.0.0
  • PXF: разрешена установка параллельных инструкций Oracle
  • Произведен рефакторинг Planchecker для использования внешней БД ADB Control под интенсивной нагрузкой (при большом числе соединений)
  • gpbackup: сортировка метаданных исправлена таким образом, что теперь утилита gprestore может восстанавливать функции после таблиц, используемых в этих функциях в качестве выходных значений
  • gptkh: получение актуальных столбцов system.tables в ClickHouse (в соответствии с версией ClickHouse)
ADB Control 3.7.0
  • Добавлены новые метрики производительности для команд и транзакций: Cpu usage total, Read bytes total, Write bytes total
  • Добавлена возможность повторно изменять ресурсную группу для транзакции
  • Исправлен расчет числа кортежей, затронутых запросом
  • Объекты базы данных Planchecker включены в миграцию
ADB 6.21.1
  • Синхронизация с Greenplum Database 6.21.1
  • Разрешены файлы core dump для процессов ADB
  • Исправлена проблема с потерей слотов ресурсной группы при перемещении запроса
  • Добавлен образ Planchecker в сервис ADCC (docker-compose) в бандле ADB
ADB Control 3.6.0
  • Добавлена возможность отменять транзакцию
  • Добавлена возможность переназначать запросы другой ресурсной группе
  • Добавлена фильтрация команд по планировщику запроса
ADB 6.21.0
  • Синхронизация с Greenplum Database 6.21.0
  • Оптимизированы DML-запросы к партиционированным таблицам во избежание дальнейшего планирования в случае, если партиция обрезана
  • Фоновый процесс gpmon исключен из списка разделяемой памяти (shared memory) пользователя
  • Реализован запасной вариант (fallback) с PostgreSQL для пустого целевого списка в производителе CTE
  • Бандл ADB: добавлена возможность определять кластерную сеть
ADB Control 3.5.1
  • Для коммуникации с агентом теперь используется неблокирующий сокет
  • Добавлен мониторинг транзакций
  • Добавлен мониторинг следующих групп SQL-выражений: DDL, DML, DCL и TCL
  • Добавлен расчет Spill и Spill Skew
ADB 6.20.1
  • Синхронизация с Greenplum Database 6.20.1
  • PXF: PXF 6.3.0 добавлен в бандл ADB (с возможностью обновления с PXF 5.x)
  • PXF: активирована команда PXF cluster sync
  • PXF: добавлена возможность переопределять соответствие типов данных во внешних таблицах для PXF
  • Добавлен ADB ClickHouse connector 1.0.1
ADB Control 3.4.0
  • Для завершенных запросов теперь обрабатывается актуальная статистика от EXPLAIN ANALYZE
  • Интегрированы средние по кластеру метрики запросов
  • Реализовано сжатие данных для объемных запросов
ADB 6.19.3
  • Синхронизация с Greenplum Database 6.19.3
  • Добавлены инструменты ADB Loader для RHEL 8
  • Добавлена возможность развертывать скрипты обслуживания (maintenance scripts) для нескольких БД
  • Сделан доступным параметр GUC (Global User Configuration) backlog_lock_waits
ADB Control 3.3.1
  • Поддержка аудита обращения к объектам базы данных
  • Добавлена страница истории Background jobs
  • Поддержка виртуальной памяти процесса в системных метриках команды
  • Сбор статистики по нагрузке на сервисы мониторинга
ADB 6.18.2
  • Синхронизация с Greenplum Database 6.18.2
  • Реализация режима archive_mode на постоянной основе
  • Выпуск Kafka ADB connector версии 1.0.4
ADB Control 3.2.5
  • Поддержка HTTPS
  • Реализован механизм backpressure относительно занятого объема памяти в heap на агенте
ADB 6.18.0
  • Синхронизация с Greenplum Database 6.18.0
  • gpbackup: добавлено явное указание порядка таблиц с использованием pg_class.relpages
  • PXF: добавлена поддержка партиционированных запросов в Sybase
ADB Control 3.2.4
  • Поддержка работы с несколькими кластерами ADB
  • Сбор системных метрик в разрезе запроса: CPU, RAM, IO
  • Актуализация информации для долгое время выполняющихся запросов
  • Динамическое добавление столбцов на страницы History и Monitoring
ADB 6.17.5
  • Синхронизация с Greenplum Database 6.17.5
  • Бандл ADB: добавлен статус Ready to upgrade для действия обновления бандла
  • Решена проблема низкой производительности CPU на Power с новыми опциями сборки CGLAGS
  • Добавлена сборка для платформы Power8 LE (ppc64le arch)
ADB Control 3.1.3
  • Добавлена сборка агента для платформы Power8 LE (ppc64le arch)
ADB 6.17.1
  • Синхронизация с Greenplum Database 6.17.1
  • Бандл ADB: соединение с внешней БД для ADB Control
  • Исправлено: оптимизатор PostgreSQL строил некорректный план для таблиц с типом распределения replicated и индексами
  • adcc-extension: получение и отправка текста об ошибках
ADB Control 3.1.0
  • Новый пользовательский интерфейс
  • Возможность отменять и прерывать запросы
  • Основанная на времени политика Retention Policy
  • Развернутая информация по ошибкам запросов
  • Аутентификация LDAP
ADB 6.16.2
  • Синхронизация с Greenplum Database 6.16.2
  • Уменьшение сегментных файлов отношений до нуля при выполнении TRUNCATE и DELETE
  • PXF: удалена проверка количества кортежей для JDBC-запросов INSERT
  • Kafka ADB Connector: добавлена возможность установки кастомных опций librdkafka
  • Реализовано обновление расширения diskquota
  • Добавлен параметр gp_enable_gpperfmon=on на серверы Master и Segment
ADB Control 2.1.1
  • Добавлены JVM-аргументы для логирования
ADB 6.15.0
  • Синхронизация с Greenplum Database 6.15.0
  • Реализовано переключение Master на Standby в ADCM
  • Добавлены переменные окружения $PXF_CONF и $PXF_HOME для хостов PXF
  • Kafka ADB connector: реализованы обработчики сигналов для прерывания потребления сообщений (consuming)
  • Реализована поддержка Alt Linux 8.2
ADB Control 2.0.3
  • Поддержка горизонтального масштабирования бэкенда ADB Control
  • Добавлена обработка UDS unlink, обновлена сборка библиотеки под CentOS 7
  • Добавлен параметр innerQueueCapacity размера внутренней очереди сообщений для агента
ADB 6.14.1
  • Синхронизация с Greenplum Database 6.14.1
  • Удалена online-загрузка статических ресурсов из web-интерфейса ADB Control
ADB 6.14.0
  • Синхронизация с Greenplum Database 6.14.0
ADB 6.13.0
  • Синхронизация с Greenplum Database 6.13.0
  • Добавлена поддержка вспомогательных отношений для таблиц append-optimized с целью точной оценки расширением pgstattuple величины "раздувания" (bloat) этих отношений
  • ADB ClickHouse connector: исключено промежуточное преобразование в byte array
  • Удалены неактуальные опции пакетной обработки (batching) из Arenadata QuickMarts connector (т.к. теперь используется TEXT)
ADB 6.12.1
  • Синхронизация с Greenplum Database 6.12.1
  • Добавлена offset-функция в Kafka ADB connector
  • Добавлена функция rest committed в Kafka ADB connector
  • Поддержка текстового формата в Kafka ADB connector
  • Поддержка опции JVM_OPTS для PXF
  • Реализованы логические типы AVRO в Kafka ADB connector
  • Переход на использование rd_kafka_query_watermark_offsets для валидации пар partition-offset в Kafka ADB connector