Релизы ADB 6
6.23.5
Дата: 31.05.2023
Синхронизация с Greenplum Database 6.23.5 |
Обновление diskquota до версии 2.2.1 |
Ограничена глубина поиска при обновлении diskquota |
Внесены исправления в diskquota 2.x для поддержки большого числа строк в |
Исправлена ошибка PXF curl buffer: передача данных останавливалась с оставшимися внешними данными для чтения |
diskquota "зависал" и блокировал остановку кластера |
6.23.3
Дата: 27.04.2023
Синхронизация с Greenplum Database 6.23.3 |
Обновление pxf до версии 6.5.0 |
Обновление diskquota до версии 2.2.0 |
Выпуск ADB ClickHouse connector. Новую версию коннектора можно использовать в бета-режиме одновременно с предыдущей версией Tkhemali connector 1.X |
Обработка предиката |
Возможность использования SSL между Client и Master |
Возможность добавления Monitoring Clients на новые хосты после применения действия Expand |
Добавлены дашборды PXF Monitoring Grafana Dashboards |
В бандле ADB добавлена возможность расширения (expand) для monitoring agents |
Система Arenadata DB Command Center (ADBCC) переименована в Arenadata DB Control (ADB Control) |
Выпуск ADBM 1.2.1 |
Выпуск ADB Control 4.2.1 |
Проведен рефакторинг скрипта для сжатия логов |
Добавлены дополнительные проверки состояния (state) ADB при выполнении действий ADBM Install/Reinstall |
Удалены избыточные ноды Partition Selector из операции |
Было невозможно обновить Diskquota напрямую с версии 1.0 до 2.1 или более поздних |
PXF: исправлена ошибка, возникавшая если год содержал более 4 цифр |
Исправлена установка мониторинга ADCC в случае кластерной установки в режиме "one shot" |
Исправлен некорректный IP для Standby в скрипте arenadata_segments_monitor.sh после обновления кластера |
Тест gpcheckcat завершался сбоем после синхронизации с 6.23 |
Клиент ADCC не проходил перерегистрацию на сервере ADCC с LDAP при запуске действия Reconfigure & Restart |
Исправлена ошибка PANIC в логах с текстом |
Отключен серверный конфигурационный параметр (GUC) |
После перезапуска Master или сегмент-хоста Graphana передавала некорректные данные |
Откорректирован вывод ошибки, возникавшей в gpfdist при вставке больших строк |
Исправлено добавление внешнего кластера в pg_hba.conf при выполнении действия Reconfigure & Restart |
Было невозможно удалить (uninstall) сервис ADCC из-за ошибки |
Исправлены проблемы со скриптом arenadata_segments_monitor.sh |
Исправлена проблема с пропущенным (однако заявленным) расширением tablefunc version 1.1 |
Фактическое состояние сервиса ADBM не проверялось при выполнении сервисного действия Install |
Скрипты мониторинга могли исчерпать пул соединений |
Кластер не создавался автоматически после установки бандла с LDAP |
После применения действия Expand необычные данные возникали на новом сегменте в data_analyze |
Некорретная метка |
Ошибка обновления кластера ADB |
Неинформативная ошибка, возникавшая в процессе перезагрузки (reload) кластера |
Высокое потребление памяти могло привести к OOM для таблиц AOCS tables и NLJ |
6.22.1
Дата: 15.02.2023
Обновление pgbouncer до версии 1.18 |
Обновление gpbackup до версии 1.27 |
Обновление plcontainer до версии 2.2 |
Добавлен буферный параметр в утилиту gpcheckperf |
Бандл ADB: добавлен флажок (checkbox) для отправки специфических метрик ADB в Monitoring Clients |
Выпуск ADBM 1.1.0 |
Выпуск ADBCC 4.1.0 |
Бандл ADB: удалена зависимость gppefmon от ADBCC, и проведен рефакторинг конфигурации ADBCC |
Бандл ADB: |
Добавлена предупреждающая аннотация в /home/gpadmin/arenadata_configs/postgresql.conf |
Миграция объектов |
Компоненты ADB не меняли состояние на |
Высокое потребление памяти запросами с подзапросами |
Сервисный запрос collect_table_stats.sql периодически "зависал" |
Ошибка шифрования в PXF: |
Было невозможно добавить компонент Chrony Secondary на новый хост Standby |
PXF не запускался с включенной опцией шифрования: |
Проведен рефакторинг arenadata_segments_monitor.sh во избежание запуска crontab для Standby |
|
Некорректная последовательность байт для кодирования UTF8 в логах при обращении к |
Оптимизатор GPORCA строил фиктивный план для запросов с CTE (Common Table Expression) при управлении распределением данных для потомков Sequence |
Ошибка |
Некорректная обработка типа данных |
Изменение конфигурационного файла сервиса ADBCC через ADCM |
Исправлено системное имя БД для ADBM |
Исправлены известные проблемы из релиза ADB 6.22.1.40 |
Docker-образы plcontainer (python2/python3) размешены в публичном registry компании |
Проблема
Нет возможности добавить внешние ADB-кластеры в ADBM через ADBM UI.
Обходное решение
-
Убедитесь, что внешний ADB-кластер с установленным сервисом ADBM существует в ADCM.
-
Подключитесь к консоли Linux. Сгенирируйте хеш Basic Authorization base64 для пользователя с доступом к Arenadata DB Backup Manager с помощью следующей команды:
echo -n <adbm_user>:<adbm_user_password> | base64
(где<adbm_user>
— логин пользователя,<adbm_user_password>
— пароль). Например:$ echo -n adbm_user:Password | base64
Результат:
YWRibV91c2VyOlBhc3N3b3Jk
-
Отправьте следующий POST-запрос на хост ADBM общего назначения (general-purpose):
-
Заголовки:
-
Accept
. -
Accept-Charset
. -
Authorization
. Параметр должен начинаться сBasic
, а затем включать значение base64 с шага 1. -
Content-Type
. -
X-ADBM_USER
. Параметр должен содержать значениеadbm_user
с шага 1.
-
-
Тело запроса:
{ "clusterName": "<название внешнего кластера ADB в ADCM>", "clusterType": "<назначение кластера ADB>", "clusterVersion": "<версия кластера ADB>" }
Ниже приведен пример запроса POST с использованием команды Linux
curl
:$ curl --request POST \ --url http://adbm-main:8890/backend/adbm/api/v1/clusters \ --header 'Accept: application/json' \ --header 'Accept-Charset: ISO-8859-1' \ --header 'Authorization: Basic YWRibV91c2VyOlBhc3N3b3Jk' \ --header 'Content-Type: application/json' \ --header 'X-ADBM-USER: adbm_user' \ --data '{ "clusterName": "adb-demo", "clusterType": "ADB demo stand", "clusterVersion": "6.22"}'
В случае успешного выполнения запрос будет содержать JSON со сгенерированным идентификатором внешнего кластера в ADBM. Кластер становится видимым на странице Arenadata DB Backup Manager → Clusters with Down status.
-
-
В ADCM перейдите к внешнему кластеру ADB и выберите Services → ADBM → Configuration.
-
Установите флаг Advanced и в нижней области формы измените значение сервисного конфигурационного параметра агента ADBM
ADBM_EUREKA_CLIENT_SERV_URL_DEF_ZONE
. Замените его значением URL сервисного реестра для хоста ADBM общего назначения, напримерhttp://adbm-main:8761/eureka
. -
Примените действие Reconfigure & Restart к ADBM. В случае успеха статус кластера на странице Arenadata DB Backup Manager → Clusters изменится на
Up
.
Дата: 06.12.2022
Синхронизация с Greenplum Database 6.22.1 |
Обновление gpbackup до версии 1.26.0.7 |
Обновление PXF до версии 6.4.2.4 |
Обновление kafka-adb до версии 0.16 |
Добавление encryption версии 1.0.0 |
Добавление adbm версии 1.0.0 |
Обновление geospatial до версии 2.5.4.1 |
Бандл ADB: реализована секция |
Бандл ADB: добавлены сервис ADBM и конфигурационная страница ADBM |
Бандл ADB: в конфигурацию ADB добавлена опция для хранения Docker-сертификата для доверенного самоподписываемого реестра |
Исключен |
Добавлена возможность десериализации AVRO-сообщений в kafka-adb |
Выпуск ADBCC 4.0.0 |
Добавлена новая система для управления бинарными бэкапами ADB — Arenadata DB Backup Manager (ADBM) |
Проведены оптимизации в |
Ошибка, возникавшая в ходе обновления расширения postgis в ADB 6.22.0 |
Команда |
Исправлено определение взаимодействия cross-slice для сабпланов |
Ошибка с действиями Precheck и Check после установки ADB |
Клиент ADBCC не проходил перерегистрацию на сервере ADBCC после применения действия Reconfigure & Restart |
PXF мог упустить искаженный закодированный ответ (malformed chunked) |
Процесс postmaster мог исчерпать все сигнальные слоты под интенсивной нагрузкой |
PXF "зависал" на неопределенное время при выполнении запросов с параметром |
Изменена логика для |
Проблема | Обходное решение |
---|---|
Существует потенциальный риск утечки памяти для специфических запросов, затрагиваемых gpperfmon. При выполнении запросов к большим таблицам с использованием функций UDF, генерирующих межкортежные запросы, можно столкнуться с повышенным потреблением RAM и даже ошибками OOM. Например, представление |
Возможное решение заключается в отключении метрик мониторинга (операция требует перезапуска кластера):
Имейте в виду, что это обходное решение не отключает ADBCC UI и Arenadata DB Backup Manager |
В ходе установки модуля encryption выводится следующая ошибка: |
Скопируйте необходимую библиотеку из /usr/lib/pxf/lib/:
|
При обновлении кластера до версии 6.22.1.40 с установленным ADBCC и включенным параметром |
|
При обновлении кластера до версии 6.22.1.40 стоит иметь в виду, что в ходе этого процесса таблица |
Чтобы исключить миграцию таблицы
|
6.22.0
Дата: 20.10.2022
Синхронизация с Greenplum Database 6.22.0 |
Добавлена поддержка AltLinux 8.4 SP. AltLinux 8.2 SP теперь не поддерживается |
Добавлен плагин Data Domain Boost версии 1.0.0 (adb_ddboost_plugin) |
Обновление gptkh до версии 0.14 |
Обновление diskquota до версии 2.0.1 |
Обновление PXF до версии 6.4.2.3 |
PXF: разрешена установка параллельных инструкций Oracle |
PXF: filter pushdown status в логах PXF JDBC |
Выпуск ADBCC 3.7.0 |
Планировщик PostgreSQL создавал фиктивный план к replicated-таблицам с функциями |
Ошибка |
Пропущенный параметр |
Произведен рефакторинг Planchecker для использования внешней БД ADBCC под интенсивной нагрузкой (при большом числе соединений) |
gpbackup: сортировка метаданных исправлена таким образом, что теперь утилита gprestore может восстанавливать функции после таблиц, используемых в этих функциях в качестве выходных значений |
Исправлена проекция логических квалификаторов, атрибуты которых не входят в список |
Рефакторинг PXF:
|
Применение команды |
entrydb обрабатывал некорректный сброс слота при перемещении запроса в ресурсную группу |
Исправлена ошибка, возникавшая когда DynamicSeqScan имел сабплан |
Ошибка при обмене партиции (exchange) с таблицей, в которой удален столбец, по которому эта таблица была распределена |
Ошибка |
gptkh: получение актуальных столбцов |
В конфигурацию бандла добавлены URL registry и репозиторий arenadata-enterprise |
6.21.1
Дата: 30.08.2022
Синхронизация с Greenplum Database 6.21.1 |
Разрешены файлы core dump для процессов ADB |
Выпуск ADBCC 3.6.0 |
Tkhemali не мог обработать текстовые поля с символом перехода на новую строку |
Поток чтения данных теперь освобождается при завершении сканирования партиции |
Процедура |
|
|
Команда |
Исправлена потеря gang в ходе выполнения транзакции с вызовом |
Запись процесса БД инициализировала целое дерево плана |
6.21.0
Дата: 21.07.2022
Синхронизация с Greenplum Database 6.21.0 |
Выпуск ADBCC 3.5.1 |
Оптимизированы DML-запросы к партиционированным таблицам во избежание дальнейшего планирования в случае, если партиция обрезана |
Фоновый процесс gpmon исключен из списка разделяемой памяти (shared memory) пользователя |
Проведен рефакторинг специфического кода gpdb для ожидания результата отправки |
Реализован запасной вариант (fallback) с PostgreSQL для пустого целевого списка в производителе CTE |
Исправлено определение взаимодействия cross-slice для сабпланов |
Копирование планироващиком сабпланов для партиций нарушало порядок сабпланов |
gpinitsystem завершался со сбоем на машине с кастомной локалью |
gptkh не мог парсить настройки с символом точки |
kafka-adb: повторное добавление kafka-client-2.5.0.jar в kadb-fdw |
6.20.3
Дата: 19.05.2022
Синхронизация с Greenplum Database 6.20.3 |
PXF: при миграции сервиса PXF права к директории не проверялись |
PXF: параметры |
Архив gpexpand_schema.tar создавался в директории /home/gpadmin и мог исчерпать свободное пространство |
Платформа совместимости была некорректной для бандлов community на AltLinux |
6.20.1
Дата: 11.04.2022
Синхронизация с Greenplum Database 6.20.1 |
PXF: PXF 6.3.0 добавлен в бандл ADB (с возможностью обновления с PXF 5.x) |
PXF: активирована команда PXF cluster sync |
PXF: добавлена директория PXF bin в переменную |
PXF: добавлена возможность переопределять соответствие типов данных во внешних таблицах для PXF |
Добавлен Tkhemali connector 1.0.1 с большим объемом рефакторинга |
Добавлено действие Delete Tkhemali |
Добавлено действие Delete Kafka-to-ADB |
Добавлено действие Delete ADB-to-Kafka |
Добавлен параметр |
Выпуск ADBCC 3.4.0 |
Редактирование /etc/hosts сделано необязательным |
PXF: ошибка с JDBC Hive, когда одно из полей было зарезервированным словом |
Сбой GPORCA при трансформации |
В режиме aggregate не обрабатывались корректно команды завершения запросов от QD (Query Dispatcher) |
kafka-adb: опция хранения для offset-таблицы теперь устанавливается явно во избежание переопределения |
Установка ADBCC завершалась со сбоем, если имя кластера состояло из более чем одного слова |
Чередование удаления партиционированной таблицы append-optimized и вызова |
gptkh: исправлена ошибка функции |
Tkhemali: имена столбцов с пробелами не обрабатывались корректно |
Оптимизатор GPORCA строил некорректные планы для CTE (Common Table Expression) с replicated-таблицами |
GPORCA: слияние |
Скрипты мониторинга не добавляись в crontab при запуске действия Activate Standby |
На странице Version Backend-сервер отображался с IP, а агент — с FQDN |
6.19.3
Дата: 09.03.2022
Синхронизация с Greenplum Database 6.19.3 |
Выпуск ADBCC 3.3.1 |
6.19.1
Дата: 17.02.2022
Синхронизация с Greenplum Database 6.19.1 |
Скрыто имя сервера в группе HTTPS сервиса ADBCC |
Добавлены инструменты ADB Loader для RHEL 8 |
Добавлена возможность развертывать скрипты обслуживания (maintenance scripts) для нескольких БД |
Сделан доступным параметр GUC (Global User Configuration) |
Добавлено действие Delete PXF |
Выпуск ADBCC 3.3.0 |
Опция Disable firewall перемещена на уровень кластера из сервиса ADB |
Для извлечения значений из ноды SharedScan использовалась неверная привязка столбцов |
gptkh: distributed-таблица |
gptkh: ошибка в парсинге настроек для таблиц с типом распределения distributed |
Coordinator не использовал quote escaping для значений GUC (Global User Configuration) при восстановлении в QE |
Опция sshd |
Сборка docker-compose RPM-пакета 1.29.2 |
Проблема | Обходное решение |
---|---|
[6X issue 13067] Постепенная утечка памяти на mirror-сегментах |
Увеличьте наблюдение за потреблением памяти в кластере и перезапускайте кластер в процессе обслуживания, если возможно. Эта проблема будет решена в следующем релизе |
6.18.2
Дата: 20.12.2021
Синхронизация с Greenplum Database 6.18.2 |
[6X backport] Реализация режима |
[6X backport] Заполненные нулями страницы пропускались при форсированном включении WAL |
Выпуск Kafka ADB connector версии 1.0.4 |
Добавление plcontainer версии 2.1.5 |
Выпуск ADBCC 3.2.5 |
Power: непредвиденный порядок сабпланов вызывал сбой тестов |
6.18.0
Дата: 18.11.2021
Выпуск ADBCC 3.2.4 |
При обращении к таблице append-optimized Index возвращал некорректный результат |
kafka-fdw: убрана ненужная информация (garbage) из вывода для текстового формата |
gpbackup обрабатывал набор пустых таблиц для корректного инкрементного бэкапирования |
"Зависание" gpbackup после прерывания |
Дата: 12.11.2021
Синхронизация с Greenplum Database 6.18.0 |
gpbackup: добавлено явное указание порядка таблиц с использованием pg_class.relpages |
PXF: добавлена поддержка партиционированных запросов в Sybase |
Выпуск ADBCC 3.2.2 |
Ошибка |
madlib для ppc64le arch включен в сборку |
Утилита gpbackup могла забэкапить партиционированную таблицу дважды |
Ошибка |
6.17.5
Дата: 30.09.2021
Синхронизация с Greenplum Database 6.17.5 |
Бандл ADB: добавлено сервисное действие Delete для Monitoring Clients |
Бандл ADB: добавлен статус |
Решена проблема низкой производительности CPU на Power с новыми опциями сборки |
6.17.2
Дата: 07.09.2021
Синхронизация с Greenplum Database 6.17.2 |
Синхронизация с PXF 5.16.3 |
Синхронизация с gpbackup 1.21.0 |
Синхронизация с gpbackup-s3-plugin 1.7.0 |
Добавлена сборка для платформы Power8 LE (ppc64le arch) |
Выпуск ADBCC 3.1.3 |
Проблема | Обходное решение |
---|---|
madlib на Power8 (ppc64le arch) приводит к сбою сборки gpdb |
Отсутствует. Расширение madlib не включено в сборку Power8 (ppc64le arch) |
6.17.1
Дата: 17.08.2021
Синхронизация с Greenplum Database 6.17.1 |
Реализована поддержка алгоритма сжатия данных ZSTD для gpbackup |
adcc-extension: отправка имени схемы в сообщениях нод |
Бандл ADB: соединение с внешней БД для ADBCC |
Выпуск ADBCC 3.1.0 |
kafka-fdw: сбой на сегменте после применения |
Оптимизатор PostgreSQL строил некорректный план для таблиц с типом распределения replicated и индексами |
adcc-extension: ожидаемым контекстом для распределенной транзакции на сегменте был |
adcc-extension: не было возможности различать QueryStatus для слайсов плана (slices), выполнявшихся на Master |
Power: фиктивная ошибка во время компиляции pg_upgrade |
6.16.3
Дата: 03.08.2021
Синхронизация с Greenplum Database 6.16.3 |
[6X backport] |
adcc-extension: получение и отправка текста об ошибках |
Бандл ADB: определены регулируемые параметры для ADBCC |
Выпуск ADBCC 3.0.3 |
Ошибка |
[6X backport] Ограничено выполнение многоуровневых связанных запросов |
adcc-extension: представления (view) с типом |
Проблема | Обходное решение |
---|---|
Сервис kafka-fdw версий 0.11-0.12 (добавленных в релизе 6.15.0.17) не работает корректно с пакетами данных, размер которых превышает |
Не следует использовать пакеты данных размером более |
6.16.2
Дата: 24.06.2021
Синхронизация с Greenplum Database 6.16.2 |
[6X Backport] Уменьшение сегментных файлов для отношения до нуля при выполнении |
ADBCC: добавлены JVM-аргументы для логирования |
PXF: удалена проверка количества кортежей для JDBC-запросов |
Утилита gpbackup возвращала ошибку, когда таблицы foreign присутствовали в БД, поскольку пыталась заблокировать эту таблицу |
6.16.1
Дата: 03.06.2021
Синхронизация с Greenplum Database 6.16.1 |
Выпуск ADBCC 2.1.1 |
Kafka ADB Connector: добавлена возможность установки кастомных опций librdkafka |
[6X backport] GPORCA возвращает ошибку |
[6X backport] Функция |
Бандл ADB: установка тайм-аута netcat для отправки метрик мониторинга в AltLinux |
Механизм PartitionSelector не возращал кортежи в случае несовпадения типов |
adcc-extension: неизвестная нода с идентификатором |
adcc-extension: локально запланированная отметка терялась в сообщениях о состоянии ноды для запросов с кастомной агрегацией |
Некорректные значения CCNT для планов после выполнения InitPlans |
Удалены повторяющиеся вызовы |
Недопустимая переменная, указанная при проверке пути к директории сегмента в ADCM |
Проблема | Обходное решение |
---|---|
Утилита gpbackup с версией 1.20.1 - 1.20.4 не работает корректно, когда в БД присутствуют таблицы foreign. Процесс создания бэкапа возращает ошибку |
Необходимо использовать gpbackup версии 1.20.0, который включен в релиз ADB 6.13.0.12 |
6.15.0
Дата: 28.04.2021
Добавлены переменные окружения |
Kafka ADB connector: реализованы обработчики сигналов для прерывания потребления сообщений (consuming) |
Реализована поддержка Alt Linux 8.2 для ADB |
[6X backport PR 11625] pg_rewind: исключение удаления файлов из директории log |
Некорректные значения атрибута |
Kafka ADB connector не рассматривал партиции как пустые, когда запрос для их смещений (watermark offsets) завершался по тайм-ауту |
[6X backport] GPORCA строил некорректные планы выполнения для запросов с выражением |
Дата: 24.03.2021
Синхронизация с Greenplum Database 6.15.0 |
Реализовано переключение Master на Standby в ADCM |
Kafka ADB connector: приведение дат AVRO из UNIX-представления (before epoch) в формат Greenplum Database |
Kafka ADB connector: представление Greenplum Database для чисел с двойной точностью (double) AVRO, имеющих более 6 цифр после точки счисления (radix point) |
Kafka ADB connector: некорректное представление временных меток (timestamps) AVRO ниже нуля |
6.14.1
Дата: 03.03.2021
Синхронизация с Greenplum Database 6.14.1 |
Добавлена ссылка на домашнюю страницу ADBCC (при нажатии на лого) |
Удалена online-загрузка статических ресурсов из web-интерфейса ADBCC |
Сбой в очереди ожидания ресурсных групп |
Несогласованность |
Сбой кластера после потери одного сегмент-хоста из-за некорректного поведения FTS |
Многострочный CSV-текст в выводе утилиты gplogfilter был некорректным |
6.13.0
Дата: 21.01.2021
Синхронизация с Greenplum Database 6.13.0 |
Добавлена поддержка вспомогательных отношений для таблиц append-optimized при использовании расширением pgstattuple с целью точной оценки величины bloat этих отношений |
Tkhemali-connector: исключено промежуточное преобразование в byte array |
Удалены неактуальные опции пакетной обработки (batching) из ADQM connector (т.к. теперь используется |
Ограничено логирование gpstate |
Сбой в Greenplum Database после активации GUC разработчика для PostgreSQL |
Оптимизатор GPORCA строил неэффективные планы запросов |
Параметры для сбора статистики на уровне столбца не применялись к партиционированным таблицам |
Ошибка с утилитой gpactivatestandby в случае ее быстрого запуска после выключения Master |
Ошибка парсинга десятичной части для типов данных "время" |
Неправильное масштабирование для десятичных значений с длиной меньше указанной точности (precision) |
Произведено обновление дополнительных компонентов до последней версии |
6.12.1
Дата: 21.12.2020
Синхронизация с Greenplum Database 6.12.1 |
Добавлена offset-функция в Kafka ADB connector |
Добавлена функция rest committed в Kafka ADB connector |
Поддержка текстового формата в Kafka ADB connector |
Поддержка опции |
Реализованы логические типы AVRO в Kafka ADB connector |
Переход на новый способ установки postgis |
Переход на использование |
Проблема с использованием дискового пространства в ADBCC в случае дампов ядра (core dumps) |
Ошибка |
Ошибка |
Ошибка |
Некорректное поведение функции группировки |
Блокировка с типом exclusive, возникавшая для любой партиционированной таблицы, блокировала представление |
Блокировка сервером таблицы |