Расширенная аналитика данных, предоставляемая ADB, используется для решения широкого спектра задач в различных областях, включая финансы, промышленность, автомобилестроение, правительственный сектор, энергетику, образование, розничную торговлю и многое другое.
Одной из особенностей ADB является возможность анализировать множество типов данных, использовать существующие знания SQL и обучать больше моделей за меньшее время за счет архитектуры MPP.
Кроме того, ADB предоставляет аналитику вида in-database, которая позволяет выполнять анализ данных непосредственно в БД вместо экспорта и обработки данных во внешней аналитической системе.
Arenadata DB является отличным решением для машинного обучения – изучения компьютерных алгоритмов, которые автоматически совершенствуются через опыт. Apache MADlib – это основанная на SQL и предназначенная для машинного обучения библиотека с открытым исходным кодом, которая работает в режиме in-database в ADB, как и в PostgreSQL.
Сочетание ADB и Apache MADlib помогает улучшить параллелизм, масштабируемость и прогностическую точность развертывания моделей машинного обучения. Преобразование данных и возможности техники feature engineering также доступны в MADlib для машинного обучения, включая дескриптивную и индуктивную статистику, pivoting, реконструкцию сессий по времени и кодирование/преобразование категориальных переменных.
Благодаря способности ADB обрабатывать большие объемы данных на высоких скоростях, эта СУБД становится мощным инструментом для интеллектуальных приложений, взаимодействующих на основе неограниченного количества уникальных сценариев.
Например, телекоммуникационные компании могут использовать возможности Arenadata DB AI в интеллектуальных датчиках систем IoT (Internet of Things), предназначенных для сбора и анализа данных с целью повышения операционной эффективности, безопасности и качества обслуживания.
- настраивать расписание бэкапирования;
- управлять конфигурацией;
- выполнять создание бэкапа (полного, инкрементного, дифференциального) on-demand;
- восстанавливать кластер из имеющихся бэкапов;
- проводить аудит действий, связанных с бэкапированием.
- высокая скорость передачи данных;
- автоматическое формирование схемы данных;
- гибкое партиционирование;
- поддержка push-down операторов;
- поддержка batch-операций.
- возможность чтения и записи данных в формате AVRO из топиков Kafka;
- работа с CSV и текстовым форматом данных для операции чтения;
- поддержка транзакций в Arenadata DB.
- транзакционно загружать данные за счет автоматического создания staging-таблиц;
- использовать несколько семейств engine таблиц в ClickHouse;
- гибко распределять и распараллеливать нагрузку записи.
Arenadata DB
К сравнению
К сравнению
Через ADCM.
Только CLI.
Управляется в ADCM.
ADB Control & Backup Manager
К сравнению
К сравнению
Через ADCM.
Управляется в ADCM.
Полноценное обучение работе с продуктами Arenadata.
В открытом доступе полная история релизов с версиями сервисов и описанием доработанного функционала.
Раздел "Сравнение продуктов" является актуальным на дату 31.08.2023.
- Реализован ADB to ADB Connector 1.0.0
- Добавлено действие Uninstall для Madlib
- Исправлена ошибка, возникавшая если сессия на master-ноде завершалась, а сессии на сегментах продолжали работать
- На вкладку Configuration добавлена возможность кастомной настройки timezone
- Добавлены новые параметры для задачи выгрузки метрик во внешнюю БД (Export job)
- Изменен порядок элементов бокового меню
- Удаление последнего пользователя с ролью Owner теперь не допускается
- Исправлена ошибка фильтрации по полю Job group на странице Jobs → Audit
- Добавлена поддержка репозитория CIFS
- Добавлена возможность автоматического копирования бэкапа на целевой кластер после формирования бэкапа в исходном кластере
- Добавлено автоопределение активного master-хоста для поддержки процесса бэкапирования после переключения на standby
- Восстановление с типом Self-restore (запускаемое путем вызова действия Restore) завершалось ошибкой после изменения ролей на зеркалах
- Добавлена интеграция и синхронизация LDAP с ADB из бандла
- Добавлен RPM pgbouncer-adb6 с нативной LDAP-аутентификацией
- gpbackup: добавлен параметр --report-dir для gprestore
- Можно использовать ADB в качестве базы для выгрузки метрик
- Улучшены фильтры на вкладках аудита операций и авторизаций для колонок Object name, Username, Host
- Исправлено: отображался пароль к базе для выгрузки метрик на вкладке аудита операций
- Исправлено: сортировка по колонкам не была доступна на странице Jobs
- Исправлено: отображались агенты всех кластеров после выбора кластера на вкладке Information
- Добавлена опция восстановления с зеркалами для процесса копирования Disaster Recovery
- Добавлен шаг проверки репозитория при сохранении конфигурации бэкапа
- Список сегментов в топологии бэкапа теперь отсорирован по id сегмента
- Исправлено: не отображался список восстановлений для кластеров с пробелами в названии
- Добавлено бэкапирование конфигурационных файлов Postgres для целей копирования данных между кластерами (Copy) во время Disaster Recovery (DR) в ADBM Исправлено:
- Кластер отображался со статусом Down в ADBM, если master размещался на том же хосте, что и segment
- Реализация новых таблиц и фильтров Исправлено:
- Время выполнения не отображалось в узлах плана после завершения команды
- Ошибка при изменении роли пользователя
- Ошибка при запуске задачи по выгрузке метрик во внешнюю БД (metrics offload job)
- Реализована возможность восстановления для кластеров со standby
- Добавлена автоматическая проверка совместимости версий ADB на исходном и целевом кластерах при копировании данных между ними
- В процесс копирования данных между кластерами во время DR добавлена проверка доступности бэкапной конфигурации на целевом кластере Исправлено:
- Было невозможно восстановить данные из бэкапа в DR-кластере, если число узлов исходного кластера отлично от DR-кластера
- Выбор конкретных баз данных из списка для восстановления приводил к ошибке при копировании данных между кластерами во время DR
- Обновление gpbackup до версии 1.28
- Обновление pxf до версии 6.6
- ADB ClickHouse connector переведен из бета-режима в промышленную эксплуатацию
- Реализована функция adb_collect_table_stats для решения проблемы с NULL-значениями в db_files_current
- Реализовано представление adb_skew_coefficients для мониторинга "перекосов" данных (skews) в отличие от gp_toolkit.gp_skew_idle_fractions
- Добавлен аудит действий по управлению пользователями ADB Control и аудит неудачных попыток входа в ADB
- Добавлено архивирующее действие для кластера с целью остановки мониторинга и возможностью его повторной активации в дальнейшем
- Добавлена фильтрация запросов короче порогового значения (threshold) на стороне adcc-agent с целью повышения стабильности работы агентов
- Сигнатура SQL (sql_id) добавлена для каждой команды Исправлено:
- Информация о кластере не обновлялась мгновенно при выборе кластера на вкладках Actions, Backups и Restores
- Реализовано аварийное восстановление данных (Disaster Recovery, DR) с Cold Standby — возможность восстановления кластера из бэкапа на другом кластере (Бета-версия)
- Добавлены опции pgbackrest (-delta, --force, --max-process) для операции восстановления данных
- Добавлена опция для сохранения конфигурации для бэкапов, запускаемых по запросу (без расписания)
- Улучшено представление дерева действий ADBM
- Исправлено: действие Apply backup config завершалось ошибкой при выборе S3
- Обновление diskquota до версии 2.2.1
- Ограничена глубина поиска при обновлении diskquota
- Внесены исправления в diskquota 2.x для поддержки большого числа строк в diskquota.table_size
- Исправлена ошибка PXF curl buffer: передача данных останавливалась с оставшимися внешними данными для чтения
- diskquota "зависал" и блокировал остановку кластера
- Обновление tkh-connector и gptkh до последних версий PXF 5
- Исправлена ошибка FATAL: could not open relation, возникавшая после переключения сегментов
- Исправлено создание расширения gptkh в случае, когда скрипты расширения удаляли что-либо
- Исправлена ошибка ERROR: gp_relation_node has more entries than pg_aocsseg for relations
- Выпуск Tkhemali connector 2.0
- Обработка предиката IN для целей фильтрации push-down в PXF JDBC
- Возможность использования SSL между Client и Master
- Добавлены дашборды PXF Monitoring Grafana Dashboards
- Arenadata DB Command Center (ADBCC) переименован в Arenadata DB Control (ADB Control)
- Оптимизация хранения данных с возможностью экспорта метрик во внешнюю БД для долговременного хранения
- Улучшенная безопасность с поддержкой CSRF (Cross-Site Request Forgery)
- Улучшенный механизм аутентификации с принудительной сменой пароля при первом входе пользователя и блокировкой после нескольких неудачных попыток входа
- Добавлена возможность просмотра суммарных системных метрик мониторинга, а также их расчет в режиме реального времени для активных команд
- Возможность использования ADBM на PowerPC
- Возможность восстановления данных из бэкапов без сегментов-зеркал (mirror)
- Улучшен механизм фильтрации для действий Restore
- Синхронизация с Greenplum Database 6.22.1
- Обновление pgbouncer 1.18
- Обновление gpbackup 1.27
- Обновление plcontainer 2.2
- Добавлен буферный параметр в утилиту gpcheckperf
- Восстановление из бэкапа для остановленного кластера
- Возможность удаления последнего бэкапа из stanza
- Восстановление определенных баз данных из бэкапа
- Возможность совместного использования ADB Control и gpperfmon в рамках одного кластера ADB
- Возможность LDAP-поиска по нескольким Organizational Units (OU) в ходе аутентификации
- Гибкая сортировка на страницах мониторинга команд и транзакций
- Синхронизация с Greenplum Database 6.22.0
- Добавлена поддержка AltLinux 8.4 SP
- Добавлен Data Domain Boost плагин версии 1.0.0
- PXF: разрешена установка параллельных инструкций Oracle
- Произведен рефакторинг Planchecker для использования внешней БД ADB Control под интенсивной нагрузкой (при большом числе соединений)
- gpbackup: сортировка метаданных исправлена таким образом, что теперь утилита gprestore может восстанавливать функции после таблиц, используемых в этих функциях в качестве выходных значений
- gptkh: получение актуальных столбцов system.tables в ClickHouse (в соответствии с версией ClickHouse)
- Добавлены новые метрики производительности для команд и транзакций: Cpu usage total, Read bytes total, Write bytes total
- Добавлена возможность повторно изменять ресурсную группу для транзакции
- Исправлен расчет числа кортежей, затронутых запросом
- Объекты базы данных Planchecker включены в миграцию
- Синхронизация с Greenplum Database 6.21.1
- Разрешены файлы core dump для процессов ADB
- Исправлена проблема с потерей слотов ресурсной группы при перемещении запроса
- Добавлен образ Planchecker в сервис ADCC (docker-compose) в бандле ADB
- Добавлена возможность отменять транзакцию
- Добавлена возможность переназначать запросы другой ресурсной группе
- Добавлена фильтрация команд по планировщику запроса
- Синхронизация с Greenplum Database 6.21.0
- Оптимизированы DML-запросы к партиционированным таблицам во избежание дальнейшего планирования в случае, если партиция обрезана
- Фоновый процесс gpmon исключен из списка разделяемой памяти (shared memory) пользователя
- Реализован запасной вариант (fallback) с PostgreSQL для пустого целевого списка в производителе CTE
- Бандл ADB: добавлена возможность определять кластерную сеть
- Для коммуникации с агентом теперь используется неблокирующий сокет
- Добавлен мониторинг транзакций
- Добавлен мониторинг следующих групп SQL-выражений: DDL, DML, DCL и TCL
- Добавлен расчет Spill и Spill Skew
- Синхронизация с Greenplum Database 6.20.1
- PXF: PXF 6.3.0 добавлен в бандл ADB (с возможностью обновления с PXF 5.x)
- PXF: активирована команда PXF cluster sync
- PXF: добавлена возможность переопределять соответствие типов данных во внешних таблицах для PXF
- Добавлен ADB ClickHouse connector 1.0.1
- Для завершенных запросов теперь обрабатывается актуальная статистика от EXPLAIN ANALYZE
- Интегрированы средние по кластеру метрики запросов
- Реализовано сжатие данных для объемных запросов
- Синхронизация с Greenplum Database 6.19.3
- Добавлены инструменты ADB Loader для RHEL 8
- Добавлена возможность развертывать скрипты обслуживания (maintenance scripts) для нескольких БД
- Сделан доступным параметр GUC (Global User Configuration) backlog_lock_waits
- Поддержка аудита обращения к объектам базы данных
- Добавлена страница истории Background jobs
- Поддержка виртуальной памяти процесса в системных метриках команды
- Сбор статистики по нагрузке на сервисы мониторинга
- Синхронизация с Greenplum Database 6.18.2
- Реализация режима archive_mode на постоянной основе
- Выпуск Kafka ADB connector версии 1.0.4
- Поддержка HTTPS
- Реализован механизм backpressure относительно занятого объема памяти в heap на агенте
- Синхронизация с Greenplum Database 6.18.0
- gpbackup: добавлено явное указание порядка таблиц с использованием pg_class.relpages
- PXF: добавлена поддержка партиционированных запросов в Sybase
- Поддержка работы с несколькими кластерами ADB
- Сбор системных метрик в разрезе запроса: CPU, RAM, IO
- Актуализация информации для долгое время выполняющихся запросов
- Динамическое добавление столбцов на страницы History и Monitoring
- Синхронизация с Greenplum Database 6.17.5
- Бандл ADB: добавлен статус Ready to upgrade для действия обновления бандла
- Решена проблема низкой производительности CPU на Power с новыми опциями сборки CGLAGS
- Добавлена сборка для платформы Power8 LE (ppc64le arch)
- Добавлена сборка агента для платформы Power8 LE (ppc64le arch)
- Синхронизация с Greenplum Database 6.17.1
- Бандл ADB: соединение с внешней БД для ADB Control
- Исправлено: оптимизатор PostgreSQL строил некорректный план для таблиц с типом распределения replicated и индексами
- adcc-extension: получение и отправка текста об ошибках
- Новый пользовательский интерфейс
- Возможность отменять и прерывать запросы
- Основанная на времени политика Retention Policy
- Развернутая информация по ошибкам запросов
- Аутентификация LDAP
- Синхронизация с Greenplum Database 6.16.2
- Уменьшение сегментных файлов отношений до нуля при выполнении TRUNCATE и DELETE
- PXF: удалена проверка количества кортежей для JDBC-запросов INSERT
- Kafka ADB Connector: добавлена возможность установки кастомных опций librdkafka
- Реализовано обновление расширения diskquota
- Добавлен параметр gp_enable_gpperfmon=on на серверы Master и Segment
- Добавлены JVM-аргументы для логирования
- Синхронизация с Greenplum Database 6.15.0
- Реализовано переключение Master на Standby в ADCM
- Добавлены переменные окружения $PXF_CONF и $PXF_HOME для хостов PXF
- Kafka ADB connector: реализованы обработчики сигналов для прерывания потребления сообщений (consuming)
- Реализована поддержка Alt Linux 8.2
- Поддержка горизонтального масштабирования бэкенда ADB Control
- Добавлена обработка UDS unlink, обновлена сборка библиотеки под CentOS 7
- Добавлен параметр innerQueueCapacity размера внутренней очереди сообщений для агента
- Синхронизация с Greenplum Database 6.14.1
- Удалена online-загрузка статических ресурсов из web-интерфейса ADB Control
- Синхронизация с Greenplum Database 6.14.0
- Синхронизация с Greenplum Database 6.13.0
- Добавлена поддержка вспомогательных отношений для таблиц append-optimized с целью точной оценки расширением pgstattuple величины "раздувания" (bloat) этих отношений
- ADB ClickHouse connector: исключено промежуточное преобразование в byte array
- Удалены неактуальные опции пакетной обработки (batching) из Arenadata QuickMarts connector (т.к. теперь используется TEXT)
- Синхронизация с Greenplum Database 6.12.1
- Добавлена offset-функция в Kafka ADB connector
- Добавлена функция rest committed в Kafka ADB connector
- Поддержка текстового формата в Kafka ADB connector
- Поддержка опции JVM_OPTS для PXF
- Реализованы логические типы AVRO в Kafka ADB connector
- Переход на использование rd_kafka_query_watermark_offsets для валидации пар partition-offset в Kafka ADB connector