Релизы ADB 6

Исправлена ошибка синхронизации GUC, вызывавшая потерю данных в завершенных транзакциях

Обновление gpbackup до версии 1.30.5_arenadata18

Обновление PXF до версии 6.12.2_arenadata23

Обновление diskquota до версии 2.3.0_arenadata8

Обновление gptkh до версии 1.1.6

Обновление pgbackrest до версии 2.52_arenadata8

Добавлена опция --jobs в gprestore для параллельного восстановления данных, а также улучшена синхронизация helper

Реализована конечная точка (endpoint) для online-отслеживания изменений размера объектов БД с минимальным влиянием на производительность

Добавлена взаимная поддержка TLS для взаимодействия между ADB и PXF

В рамках бандла ADB добавлено новое действие для управления SSL в PXF

Выпуск ADBM 2.4.0

Выпуск ADB Control 4.12.0

Сокращены обращения к метаданным S3 за счет пропуска ненужных проверок файлов и удалений маркеров

Усовершенствовано распределение фрагментов PXF за счет замены вычислений по модулю на деление на основе простых чисел

Обновлена кластерная проверка (check) с целью использования preferred_role для сбалансированного распределения сегментов

В конфигурационных задачах исключены строки-комментарии crontab

Исправлено полное удаление PXF для сохранения каталогов с конфигурационными пакетами

Применен патч docker-compose для обеспечения совместимости с docker-engine-27.1.1 в ALTLinux 8

Проведен рефакторинг инициализации diskquota для сокращения потребления памяти при запуске

Оптимизировано использование памяти для сжатых workfile за счет использования выделенного контекста памяти для zstd и очистки properbuffer

Исправлены ошибки вида SIGSEGV на сегментах

Исправлен сбой, возникавший во время выполнения Init standby master, путем ручной установки python‑lxml

Исправлена ошибка, связанная с подключением к Hive в PXF 6.11, за счет использования валидного, поддерживаемого Kerberos UGI

Решены проблемы с таймингами в gpbackup_helper так, чтобы потоки (pipe) создавались прежде, чем gprestore их читает

Исправлена ошибка SIGSEGV в ClickHouse FDW, возникавшая во время операций INSERT

Исправлена ошибка с установкой PXF на хостах без ADB путем ограничения места запуска задач PXF нодами ADB

Улучшена синхронизация между helper и gprestore во избежание использования удаленных потоков (pipe) во время параллельного восстановления данных

Выполнена ревизия обновлений файла Docker daemon.json через regex для безопасного изменения базовых опций

Имя сервиса oident приведено к стандартному виду oidentd.service для консистентности операций установки/удаления

Реализовано партиционирование по временным меткам в PXF

Добавлена возможность гибкого выбора fragmenter, accessor и resolver в PXF

Добавлена поддержка SSL для внешних БД, используемых в ADB Control и ADBM (Metrics DB, Query DB, Offload DB)

Реализовано новое действие Move Host Segment для подготовки и переноса сегментов на новые хосты

Выпуск ADBM 2.3.2

Выпуск ADB Control 4.11.0

Выполнено улучшение расширения diskquota: снижено потребление памяти и повышена стабильность работы

Улучшена логика обработки ошибок при работе с внешними (external) таблицами S3

Для gpperfmon реализована возможность Ident-аутентификации

Оптимизирована конфигурация injector

Для полей, предназначенных для ввода IP или доменных имен, реализована валидация на базе шаблонов (ADB Control/ADBM)

Во внешних (external) таблицах реализована поддержка столбцов с типом SERIAL, а также ограничений (constraints) по умолчанию

Исправлены отсутствующие прототипные предупреждения, а также проблемы компиляции в GPDB

Устранены некорректно формируемые предупреждения вида high VMEM usage

Решена проблема некорректного формирования baseurl в файлах *.repo для RedOS 7.3

Исправлены ошибки, возникавшие в ходе удаления компонентов ADB Control

Исключено ошибочное удаление статистики по таблицам AO во время запуска VACUUM

Удалены избыточные ключевые слова extern для большей читаемости кода

Компонент etcd удален из ADBM

Обновление gpbackup до версии 1.30.5_arenadata16

Обновление diskquota до версии 2.3.0_arenadata6

Обновление kafka-greenplum-pxf-connector до версии 1.1.0-pxf-6.x

Обновление pgbackrest до версии 2.52_arenadata6

Обновление tkh-connector до версии 1.5.0

Добавлена поддержка интерконнекта с типом Proxy (см. ADB → Interconnect properties в статье Конфигурационные параметры)

Добавлена поддержка RedOS 7.3

Реализована валидация конфигурационных файлов без использования лог-файлов

PXF теперь совместим с версией ADH 3.3.6

Выпуск ADBM 2.2.3

Выпуск ADB Control 4.10.3

Коннекторы Tkhemali/ADB ClickHouse теперь поддерживают сообщения длиной более 4096 символов

Усовершенствована обработка предельных значений в gpbackup

В gprestore во время восстановления теперь используются актуальные значения attnum из каталога, что обеспечивает целостность данных

Новый фильтр доступен в pgBackRest для команд archive-get и restore

В плагин gpbackup S3 включена опция logger_verbosity

Информация о вложенных исключениях теперь доступна в логах PXF

Улучшено использование skip-file в gprestore

gprestore теперь более часто отображает актуальные сообщения об ошибках

Платформа PXF обновлена для использования Spring Boot 3.3.2

Реализована возможность сохранения логов gpexpand перед откатом

Для ADB и всех его компонентов теперь требуется Java 17

Добавлена поддержка .bash_profile для Astra и Ubuntu

Скрипты ротации логов теперь более корректно учитывают имена баз данных

Утилита gpexpand оптимизирована для более эффективного управления партиционированными таблицами, охватывающими несколько схем

Процесс логирования унифицирован для gpperfmon

PLContainer Docker возвращен в полностью работоспособное состояние

Оптимизации MIN/MAX более не применяются для вложенных планов в lateral joins

При синхронизации GUC теперь учитываются временные таблицы

gpbackup и gprestore более не "зависают" при сбоях в процессах helper

Вывод в формате JSON теперь доступен для статистики EXPLAIN ANALYZE

Типы схем теперь корректно бэкапируются

Kafka Connector теперь автоматически заполняет pxf-profile после установки

Реализована корректная обработка кириллицы в ADB ClickHouse Connector

Улучшено восстановление данных arenadata_toolkit

PXF оптимизирован для более точной имперсонации пользователей

В бандл добавлено действие для удаления инстансов ADBM, установленных с ошибкой

Парсинг ETags теперь нечувствителен к регистру

Поддержка более чем 512 полей добавлена в ADB ClickHouse Connector

Файлы core-app.log теперь включаются в процесс ротации логов

Кластеры с расширениями, работающие в режиме standalone, теперь останавливаются корректно

Кеш программных пакетов теперь обновляется при необходимости автоматически

В CentOS и Astra Linux перед установкой либо обновлением ADB до версии 6.27.1.58 необходимо вручную установить Java 17 на хостах кластера и заполнить параметр JAVA_HOME на конфигурационной странице кластера

Значительно улучшена производительность, и расширена область применения push-down в PXF

Обновление gptkh до версии 1.1.5

Обновление pgbackrest до версии 2.52

Обновление PXF до версии 6.10.1_arenadata15

Обновление gpbackup до версии 1.30.5_arenadata15

Выпуск ADBM 2.1.2

Выпуск ADB Control 4.9.1

Запросы к недоступным сегментам более не находятся в "зависшем" состоянии бесконечно

Утилита gprestore теперь менее чувствительна к выводу данных в stderr

В PXF реализована поддержка фильтров push-down для следующих типов данных: NUMERIC, TIMESTAMP и TIMESTAMPTZ

В PXF добавлена поддержка номера года с числом цифр более 4

В PXF добавлена поддержка push-down для функций с типом immutable и некоторых stable-функций

Реализована автоматическая ротация логов gpadmin

Временные зоны (timezones) обновлены до последней версии

Команда COPY может более точно управлять партиционированными таблицами

Команда COPY теперь может использовать GUC client_connection_check_interval

Утилита gprestore более не создает большое количество zombie-процессов

Ошибки SEGFAULT на мастер-хосте теперь менее вероятны

Утилита gprestore более эффективно управляет пропавшими и ошибочными таблицами

Обновление pgbouncer до версии 1.22.1

Обновление PXF до версии 6.10.1_arenadata14

Обновление gpbackup до версии 1.30.3_arenadata14

Обновление gptkh до версии 1.1.4

Обновление tkh-connector до версии 1.4.1

Добавлена возможность хранения файлов временных таблиц отдельно от других временных файлов (например, spill/sort-файлов) — путем установки нового GUC temp_spill_files_tablespaces

Добавлена поддержка операционной системы Ubuntu

Добавлена поддержка SSL в ADB to Kafka Connector

Реализован ADBM CLI для упрощения процессов бэкапирования и резервного восстановления

Выпуск ADBM 2.0.4

Выпуск ADB Control 4.8.8

Бандл ADB: из настроек кластерного действия Expand удалена секция Advanced

Бандл ADB: в настройках сервиса ADB улучшена секция Advanced

В gpfdist добавлен трансформационный флаг по умолчанию

На дашборды Grafana и в API ADCM добавлено больше связанных с потоками метрик (thread-related) для сервиса PXF

Добавлены алиасы в формируемый ORCA план запроса (EXPLAIN)

Планировщику ORCA теперь требуется меньше столбцов для операций удаления

gpexpand теперь корректно обрабатывает уже расширенные таблицы

PXF: улучшен экспорт полей JSON/JSONB в Postgres

В PXF не будут игнорироваться настройки jdbc-site.xml при определении JDBC-драйвера

Улучшена производительность плагина DDBoost

Повышена производительность ADB на CPU с Power-архитектурой

Улучшена работа gprestore с параметром --cluster-resize

Повышена безопасность исходного кода ADB

Добавлена поддержка внешнего ADQM в ADB Control

ADB Control и ADBM более не используют Nginx

Бандл ADB: добавлена валидация pg_hba.conf перед его применением

Бандл ADB: при использовании SQL-файлов вместо текста для запуска SQL-команд теперь используется опция ON_ERROR_STOP

Реализована автоматическая смена URL соединений ADB Control при переключении на Standby

Добавлена возможность генерации в ORCA планов для запросов с GROUP BY по ключу, не являющемуся первичным

Реализована корректная генерация планов в ORCA для запросов, где EXCEPT выше LEFT JOIN

Оптимизирована стратегия блокировки партиционированных таблиц

Процесс восстановления не будет удалять старые WAL-файлы, если archive_mode=always

Реализована более корректная обработка запросов LDAP-авторизации

Опции LC_MONETARY и LC_TIME теперь корректно синхронизируются между процессами запросов

Запрос adb_collect_table_stats теперь работает для партиционированных таблиц

Устранено дублирование определений столбцов в метаданных gpbackup

Реализовано корректное закрытие программы командой COPY FROM PROGRAM в случае ошибок

Расширения PostGIS теперь корректно работают во время выполнения задач по установке кластера

Для команды ALTER TABLE ADD PARTITION улучшено управление удаляемыми столбцами

Повышена производительность при работе с ClickHouse

Уменьшена вероятность ошибок Out Of Memory (OOM) в gpbackup

Восстановлена проверка доступности адреса для UDP-соединения

Повышена скорость работы gpbackup

Улучшена обработка ошибок в gprestore

ADB Control более не игнорирует изменения в конфигурационных файлах планировщика (scheduler)

Улучшена логика освобождения ресурсов для tkh-fdw

Реконфигурация ADB Control более не завершается ошибкой после добавления некорректных опций

Локаль PXF теперь может быть настроена в ADCM

Улучшено управление tkh-fdw с флагом CDB_MOTION_DEBUG

Синхронизация с Greenplum Database 6.26.2

Обновление pgbackrest до версии 2.50_arenadata4

Обновление tkh-connector до версии 1.4.1

Обновление planchecker до версии 1.1.1

Обновление gptkh до версии 1.1.3

Обновление PXF до версии 6.9.0_arenadata13

Обновление gpbackup до версии 1.30.3_arenadata10

Обновление librdkafka до версии 1.9.2

Добавлена опция перезагрузки профилей PXF

Добавлена возможность изменения директории PXF_BASE

Добавлено поле tablespace_location в arenadata_toolkit.db_files_current

Добавлена опция parallel_processes в кластерное действие Redistribute

Выпуск ADBM 1.7.3

Выпуск ADB Control 4.7.5

Отключен пароль пользователя по умолчанию gpadmin в бандле ADB

ADB под Astra Linux переведена с дефолтной Axiom Java на openjdk

Произведена замена Java 8 на Java 11 во всех компонентах Arenadata DB

В шаблон logback-параметров добавлена дата

Добавлена возможность использования вложенной директории для кастомного Docker-реестра

Реализован расчет размера toast в adb_relation_storage_size

Добавлена поддержка специфичных узлов дерева запросов Greenplum — для реализации логики jumbling

Из параметров сервиса PXF удалена опция Force Enable Monitoring

Добавлена проверка настроек LDAP для сервиса ADB во время выполнения действий Precheck, Check, Install, Reinstall

ADB ClickHouse Connector не использовал USER MAPPING на сегментах

Скрипт adcc_agent_monitor отсутствовал на новых хостах после расширения кластера

Опция бандла ADB custom enterprise repo не работала с Astra Linux

db_datfrozenxid_alerter возвращал ошибку script is already running

Логи Scheduler app не записывались в файлы

Ошибка бандла ADB Could not find the requested service diamond после удаления кластера ADM

Бандл ADB под Astra Linux игнорировал ошибку gpinitsystem

Скрипты operation.py завершались ошибкой, если имя БД содержало специальные символы

Страницы Backup Manager отображались в UI, если ADBM не был установлен

Системные метрики хостов были всегда пустыми

Процессы gpbackup-s3-plugin и gpbackup-helper оставались запущены после неудачного запуска gprestore

Исправлена проблема параллелизма с индикатором процесса для gpbackup

Исправлены потенциальные проблемы с ORCA, обнаруженные svacer

Исправлены потенциальные утечки памяти, обнаруженные svacer

Исправлен дамп ядра в transformValuesClause при отсутствии столбцов

Исправлено некорректное прогнозирование используемой памяти для статистики hash join

Исправлена проверка доступности адреса при установке сокетов UDP в окружении с недоступным IPv6

diskquota могла работать некорректно из-за утечки памяти в случае, если копии кортежей не освобождались после использования

Дисковое пространство не возвращалось сразу же в ОС после удаления временного heap-отношения

gpbackup не использовал разделяемый (shared) снепшот для первой таблицы в worker-процессах

Исправлено восстановление данных с опциями --backup-dir и --resize-cluster в кластер с меньшим числом сегментов

Исправлено пустое поле query_text в таблице queries_history

ORCA извлекала все столбцы таблицы AO при удалении

ORCA генерировала некорректный план запроса при наличии выражения EXISTS для партиционированной таблицы

Исправлены несоответствия с Shared Scans в планировщике postgres

Исправлена ошибка unable to login, возникавшая при использовании сервером tset

Исправлено отсутствие системных атрибутов для таблицы AO

Исправлена вставка символа # в таблицу на стороне ClickHouse

Синхронизация с Greenplum Database 6.26.0

Добавлены новые метрики для мониторинга PXF: pxf status и uptime

Добавлена возможность выбора стратегии для процесса vacuuming в arenadata_toolkit

Добавлена поддержка plpython3u

Обновление planchecker до версии 1.1.0

Обновление образа adb-community/clickhouse-server до версии 22.8.6.71-alpine

Обновление gptkh до версии 1.1.2

Обновление PXF до версии 6.8.0_arenadata12

Обновление gpbackup до версии 1.29.4_arenadata7

Обновление pgbouncer до версии 1.21.0

Обновление pgbackrest до версии 2.47_arenadata4

Обновление adb_ddp_plugin до версии 1.1.1

Обновление diskquota до версии 2.3.0_arenadata5

Обновление tkh-connector до версии 1.4

Обновление plcontainer до версии 2.3.1

Выпуск ADB Control 4.6.4

Выпуск ADBM 1.6.3

Неэффективно работающее представление pg_catalog.pg_partitions заменено в arenadata_toolkit

Описания ADB Control и ADBM добавлены на страницы соответствующих сервисов в ADCM

Конфигурационный параметр Use nobarrier переименован для мастера и сегментов

Добавлено переключение Cgroups v2 на v1 для Astra Linux 1.7.5 и выше

Выполнена оптимизация gp_toolkit.gp_size_of_table_disk

Расширения pxf_fdw и tkh_fdw теперь создаются во всех базах данных, когда Tkhemali дополняется ADB ClickHouse Connector

gplogfilter не пропускал файлы в случае использования временных фильтров

Ошибка extra data after last expected column с таблицей gpperfmon.queries_now_fast

Координатор не отменял PXF-запрос на сегменте

Исправлена возможность повреждения индекса gp_fastsequence в процессе восстановления данных

Установка сервиса ADB Control (через сервисное действие Install) завершалась ошибкой, если в кластере не было сервиса Monitoring clients

Было невозможно удалить роль в случае, если ей выдан GRANT на протокол PXF

Запуск gprestore завершался ошибкой, если установлено расширение tkh_fdw extension

Добавление данных с использованием ADB ClickHouse Connector завершалось ошибкой, если mpp_execute = any и включены staging-таблицы

Ошибка в gprestore при вставке данных в pg_statistic после обмена (exchange) партиций

Модуль diskquota не удалял записи о временных таблицах для прерванных сессий

Исправлено неполное восстановление метафайлов в adb_ddp_plugin

Ошибка при вставке партиционированной таблицы в нижнеуровневую (leaf) партицию

Исправлена ошибка SIGSEGV при вставке данных с использованием ADB ClickHouse Connector

Команда gprestore --resize-cluster завершалась ошибкой при попытке восстановления таблиц DISTRIBUTED REPLICATED

Команда gprestore --resize-cluster завершалась ошибкой при попытке восстановления пустых таблиц

Исправлена проблема с использованием без кавычек фильтра *.csv в скрипте сжатия логов

Синхронизация с Greenplum Database 6.25.2

Обновление gpbackup до версии 1.29.4

Добавлена поддержка операционной системы AstraLinux 1.7 SE "Orel" (для Enterprise-версии ADB)

Добавлена поддержка Docker CE

Добавлена возможность установки кастомного пути JAVA_HOME для кластера

Добавлен функционал Parameter archiving — выгрузка конфигурационных параметров ADB в соответствии с настроенным расписанием

Добавлена возможность формирования логов PXF в формате JSON

Добавлена верификация зарезервированных символов в именах БД

Проверена корректность развертывания ADB в случае использования кастомных umask

Проверены остаточные gpdb-процессы в ходе обновления

Выпуск ADBM 1.5.2

Выпуск ADB Control 4.5.3

Добавлено вычисление размера корневой партиции в arenadata_toolkit.adb_skew_coefficients

Улучшен запрос, используемый для аудита ADB

gpbackup: из процесса бэкапирования исключена установка всех сабпартиций при использовании опций --leaf-partition-data и --exclude <root_partition> (для исключения необходимости указания каждой сабпартиции)

Добавлен постоянный том (persistent volume) для ClickHouse в ADB Control

Параметры sysctl изменены на рекомендуемые значения

Проведен рефакторинг закрытия соединения с PXF, включая fdw

Запрос SELECT к arenadata_toolkit.__db_files_current завершался с ошибкой

Установка ADB to ADB Connector завершалась ошибкой из-за недостатка файлов расширений на сегментах

Исправлено некорректное заполнение поля submit в таблице queries_history для gpperfmon

Тайм-аут перезагрузки был слишком мал для физических серверов

Строка cron дублировалась для addc_container_monitor

В имени CA cert были лишние кавычки

Модуль diskquota оставался в состоянии паузы после обновления

Исправлена некорректная обработка в ORCA вложенных SubLinks в агрегатах

Реализован ADB to ADB Connector 1.0.0

Добавлено действие Uninstall для Madlib

Выпуск ADBM 1.4.0

Выпуск ADB Control 4.4.0

gpbackup: удален тайм-аут для gprestore, вызывавший ошибку соединения, если COPY из gpdb не мог подключиться к pipe

Произведена замена gp_log_system для gp_toolkit.__gp_log_master_ext в запросе проверки pg_hba

Исправлена некорректная обработка в ORCA вложенных SubLinks, на которые ссылаются выражения GROUP BY

Исключена реконфигурация Diamond в кластере без мониторинга

Исправлена ошибка с пустым значением Docker-адреса ADB Control в pg_hba.conf

Исправлена ошибка, возникавшая если сессия на master-ноде завершалась, а сессии на сегментах продолжали работать

Удалено динамическое построение ссылок (dynamic linking) zstd для gp_zstd_compression.so с целью предотвращения утечек памяти при сжатии workfiles

Исправлено: запуск VACUUM делал все сегменты недоступными в случае параллельных (concurrent) транзакций

Исправлена логика Explicit Redistribute для запросов с SubPlans

Синхронизация с Greenplum Database 6.25.1

Обновление pgbackrest до версии 2.47

Обновление gpbackup до версии 1.29.1

Обновление gpbackup-s3-plugin до версии 1.10.0

Обновление madlib до версии 1.21.0

Добавлена интеграция и синхронизация LDAP с ADB из бандла

Добавлено действие Enable mirroring для сервиса ADB

Добавлен RPM pgbouncer-adb6 с нативной LDAP-аутентификацией

Добавлено действие Uninstall для PostGIS

Добавлено действие Uninstall для diskquota

gpbackup: добавлен параметр --report-dir для gprestore

Выпуск ADBM 1.3.3

Выпуск ADB Control 4.3.3

Добавлен учет timezone в именах файлов логов operation_log для arenadata_toolkit

Добавлена поддержка запросов EXPLAIN ANALYZE, содержащих определения курсоров

Уменьшено потребление памяти за счет исключения инициализации ORCA на тех исполнителях (query executors), где ORCA никогда не используется

Исправлена ошибка Unhandled ORCA memory pool init error в OOM-условиях

gpbackup: привилегии таблиц (grants) не появлялись после восстановления в новой схеме

gpbackup: исправлено создание неверных DDL для foreign-таблиц с использованием kadb-fdw

Исправлена ошибка сегментации, возникавшая во время диспетчерского прерывания

Исправлено обновление версий ADB Control/ADBM в UI после апгрейда кластера

Оставлена только роль EXECUTOR для standby после получения standby из Registry

Исправлено несоответствие агентов (adcc-agents) и endpoint внешнего ADB Control

Выпуск ADBM 1.3.2

Выпуск ADB Control 4.3.2

Добавлено бэкапирование конфигурационных файлов Postgres для целей копирования данных между кластерами (Copy) во время Disaster Recovery (DR) в ADBM

Кластер отображался со статусом Down в ADBM, если master размещался на том же хосте, что и segment

Синхронизация с Greenplum Database 6.24.3

Обновление pgbackrest до версии 2.45

Обновление gpbackup до версии 1.28

Обновление gpbackup-s3-plugin до версии 1.9

Обновление pxf до версии 6.6

ADB ClickHouse Connector переведен из бета-режима в промышленную эксплуатацию

ADB ClickHouse Connector: реализованы сканирования сегментов для поддержки выборки данных

Реализована функция adb_collect_table_stats для решения проблемы с NULL-значениями в db_files_current

Реализовано представление arenadata_toolkit.adb_skew_coefficients для мониторинга "перекосов" данных (skews)

Добавлена поддержка SASL_PLAINTEXT и SASL_SSL в ADB Kafka connector

Выпуск ADBM 1.3.0

Выпуск ADB Control 4.3.1

Увеличен тайм-аут для SSH-соединения — чтобы убедиться в установке резервных узлов с бандлом ADB

ADB ClickHouse Connector: ограничено использование краткосрочного (short-living) контекста edatum в сканированиях данных

ADB ClickHouse Connector: ограничено удаление одного вызова освобождения ресурсов внутри другого

ADB ClickHouse Connector: опция send_delay_ms изменена на send_delay в заголовке X-GP-OPTIONS-SEND_DELAY

ADB ClickHouse Connector: улучшен первоначальный выбор шардов на базе segno для вставки данных методом round-robin

В бандле ADB теперь используются обновленные имена сервисов ADB ClickHouse Connector (ранее — Tkhemali) и ADB Control (ранее — ADCC)

Проведена оптимизация adb_ddp_plugin с целью повышения производительности восстановлений данных за счет фильтрованных смещений (filtered offsets)

Осуществлена миграция схемы arendata_toolkit в модуль расширения arenadata_toolkit

Исправлена ошибка утилиты gpstop No such process, возникавшая для локали, отличной от en_US

Исправлена ошибка segfault при выполнении запроса, использующего JOIN LATERAL

Исправлена ошибка segfault при выполнении конкурирующего обновления в триггере

Исправлен PXF migrator в бандле ADB

Исправлена проблема с FQDN при выполнении действия Expand

Исправлено: оптимизатор ORCA неправильно устанавливал Flow для узлов Shared Scan при переводе в физический план

ADB ClickHouse Connector: исправлена ошибка с неинициализированной переменной внутри модуля опций

Исправлено создание расширения diskquota с глобальной опцией appendonly=true

Синхронизация с Greenplum Database 6.23.5

Обновление diskquota до версии 2.2.1

Ограничена глубина поиска при обновлении diskquota

Внесены исправления в diskquota 2.x для поддержки большого числа строк в diskquota.table_size

Исправлена ошибка PXF curl buffer: передача данных останавливалась с оставшимися внешними данными для чтения

diskquota "зависал" и блокировал остановку кластера

Синхронизация с Greenplum Database 6.23.3

Обновление pxf до версии 6.5.0

Обновление diskquota до версии 2.2.0

Выпуск ADB ClickHouse Connector. Новую версию коннектора можно использовать в бета-режиме одновременно с предыдущей версией Tkhemali Connector 1.X

Обработка предиката IN для целей фильтрации push-down в PXF JDBC

Возможность использования SSL между Client и Master

Возможность добавления Monitoring Clients на новые хосты после применения действия Expand

Добавлены дашборды PXF Monitoring Grafana Dashboards

В бандле ADB добавлена возможность расширения (expand) для monitoring agents

Система Arenadata DB Command Center (ADBCC) переименована в Arenadata DB Control (ADB Control)

Выпуск ADBM 1.2.1

Выпуск ADB Control 4.2.1

Проведен рефакторинг скрипта для сжатия логов

Добавлены дополнительные проверки состояния (state) ADB при выполнении действий ADBM Install/Reinstall

Удалены избыточные ноды Partition Selector из операции DELETE, когда предикаты anti-join используются для фильтрации при удалении

Было невозможно обновить Diskquota напрямую с версии 1.0 до 2.1 или более поздних

PXF: исправлена ошибка, возникавшая если год содержал более 4 цифр

Исправлена установка мониторинга ADCC в случае кластерной установки в режиме "one shot"

Исправлен некорректный IP для Standby в скрипте arenadata_segments_monitor.sh после обновления кластера

Тест gpcheckcat завершался сбоем после синхронизации с 6.23

Клиент ADCC не проходил перерегистрацию на сервере ADCC с LDAP при запуске действия Reconfigure & Restart

Исправлена ошибка PANIC в логах с текстом could not fsync file, возникавшая на зеркале (mirror) после перемещения БД в другое табличное пространство (tablespace)

Отключен серверный конфигурационный параметр (GUC) gp_enable_gpperfmon при установке/обновлении сервиса ADCC с номером версии >= 4.1

После перезапуска Master или сегмент-хоста Graphana передавала некорректные данные

Откорректирован вывод ошибки, возникавшей в gpfdist при вставке больших строк

Исправлено добавление внешнего кластера в pg_hba.conf при выполнении действия Reconfigure & Restart

Было невозможно удалить (uninstall) сервис ADCC из-за ошибки Edit pg_hba

Исправлены проблемы со скриптом arenadata_segments_monitor.sh

Исправлена проблема с пропущенным (однако заявленным) расширением tablefunc version 1.1

Фактическое состояние сервиса ADBM не проверялось при выполнении сервисного действия Install

Скрипты мониторинга могли исчерпать пул соединений

Кластер не создавался автоматически после установки бандла с LDAP

После применения действия Expand необычные данные возникали на новом сегменте в data_analyze

Некорретная метка never executed в планах запросов

Ошибка обновления кластера ADB

Неинформативная ошибка, возникавшая в процессе перезагрузки (reload) кластера

Высокое потребление памяти могло привести к OOM для таблиц AOCS tables и NLJ

Обновление pgbouncer до версии 1.18

Обновление gpbackup до версии 1.27

Обновление plcontainer до версии 2.2

Добавлен буферный параметр в утилиту gpcheckperf

Бандл ADB: добавлен флажок (checkbox) для отправки специфических метрик ADB в Monitoring Clients

Выпуск ADBM 1.1.0

Выпуск ADBCC 4.1.0

Бандл ADB: удалена зависимость gppefmon от ADBCC, и проведен рефакторинг конфигурации ADBCC

Бандл ADB: Encryption Key переименован в Alias в сервисе PXF

Добавлена предупреждающая аннотация в /home/gpadmin/arenadata_configs/postgresql.conf

Миграция объектов arenadata_toolkit сделана опциональной и по умолчанию отключенной

Компоненты ADB не меняли состояние на installed после установки

Высокое потребление памяти запросами с подзапросами

Сервисный запрос collect_table_stats.sql периодически "зависал"

Ошибка шифрования в PXF: Encryption library was not found in /var/lib/pxf/lib/ directory

Было невозможно добавить компонент Chrony Secondary на новый хост Standby

PXF не запускался с включенной опцией шифрования: Implement check for keystore file is exist

Проведен рефакторинг arenadata_segments_monitor.sh во избежание запуска crontab для Standby

EXPLAIN возвращал неверное число строк для ноды WindowAgg

Некорректная последовательность байт для кодирования UTF8 в логах при обращении к arenadata_toolkit.db_files

Оптимизатор GPORCA строил фиктивный план для запросов с CTE (Common Table Expression) при управлении распределением данных для потомков Sequence

Ошибка SIGSEGV возникала при чтении данных со стороны ADB из внешней таблицы PXF

Некорректная обработка типа данных json

Изменение конфигурационного файла сервиса ADBCC через ADCM

Исправлено системное имя БД для ADBM

Исправлены известные проблемы из релиза ADB 6.22.1.40

Docker-образы plcontainer (python2/python3) размешены в публичном registry компании

Синхронизация с Greenplum Database 6.22.1

Обновление gpbackup до версии 1.26.0.7

Обновление PXF до версии 6.4.2.4

Обновление kafka-adb до версии 0.16

Добавление encryption версии 1.0.0

Добавление adbm версии 1.0.0

Обновление geospatial до версии 2.5.4.1

Бандл ADB: реализована секция pg_hba custom section в конфигурации сервиса ADB

Бандл ADB: добавлены сервис ADBM и конфигурационная страница ADBM

Бандл ADB: в конфигурацию ADB добавлена опция для хранения Docker-сертификата для доверенного самоподписываемого реестра

Исключен jdbc.password в файле PXF jdbc-site.xml

Добавлена возможность десериализации AVRO-сообщений в kafka-adb

Выпуск ADBCC 4.0.0

Добавлена новая система для управления бинарными бэкапами ADB — Arenadata DB Backup Manager (ADBM)

Проведены оптимизации в arenadata_toolkit.db_files_history

Ошибка, возникавшая в ходе обновления расширения postgis в ADB 6.22.0

Команда CREATE EXTENSION в явных транзакциях завершалась сбоем при попытке выполнения assertion на executors

Исправлено определение взаимодействия cross-slice для сабпланов

Ошибка с действиями Precheck и Check после установки ADB

Клиент ADBCC не проходил перерегистрацию на сервере ADBCC после применения действия Reconfigure & Restart

PXF мог упустить искаженный закодированный ответ (malformed chunked)

Процесс postmaster мог исчерпать все сигнальные слоты под интенсивной нагрузкой

PXF "зависал" на неопределенное время при выполнении запросов с параметром maximumPoolSize = 1

Изменена логика для checkstatus в ADB

Синхронизация с Greenplum Database 6.22.0

Добавлена поддержка AltLinux 8.4 SP. AltLinux 8.2 SP теперь не поддерживается

Добавлен плагин Data Domain Boost версии 1.0.0 (adb_ddboost_plugin)

Обновление gptkh до версии 0.14

Обновление diskquota до версии 2.0.1

Обновление PXF до версии 6.4.2.3

PXF: разрешена установка параллельных инструкций Oracle

PXF: filter pushdown status в логах PXF JDBC

Выпуск ADBCC 3.7.0

Планировщик PostgreSQL создавал фиктивный план к replicated-таблицам с функциями SIRV

Ошибка SIGSEGV возвращалась при чтении данных со стороны ADB из внешней таблицы PXF

Пропущенный параметр delete в скрипте ротации логов (log rotation) cron

Произведен рефакторинг Planchecker для использования внешней БД ADBCC под интенсивной нагрузкой (при большом числе соединений)

gpbackup: сортировка метаданных исправлена таким образом, что теперь утилита gprestore может восстанавливать функции после таблиц, используемых в этих функциях в качестве выходных значений

Исправлена проекция логических квалификаторов, атрибуты которых не входят в список SELECT

Применение команды INSERT INTO к replicated-таблице в комбинации с запросом SELECT FROM к другой replicated-таблице с последовательностью (sequence) приводило к ошибке

entrydb обрабатывал некорректный сброс слота при перемещении запроса в ресурсную группу

Исправлена ошибка, возникавшая когда DynamicSeqScan имел сабплан

Ошибка при обмене партиции (exchange) с таблицей, в которой удален столбец, по которому эта таблица была распределена

Ошибка SIGPIPE возникала в ходе извлечения данных из внешней таблицы через расширенный протокол

gptkh: получение актуальных столбцов system.tables в ClickHouse (в соответствии с версией ClickHouse)

В конфигурацию бандла добавлены URL registry и репозиторий arenadata-enterprise

Синхронизация с Greenplum Database 6.21.1

Разрешены файлы core dump для процессов ADB

Выпуск ADBCC 3.6.0

Tkhemali не мог обработать текстовые поля с символом перехода на новую строку

Поток чтения данных теперь освобождается при завершении сканирования партиции

Процедура EvalPlanQual по ошибке запускалась при выполнении запроса DELETE к партиционированной таблице append-optimized

gp_toolkit.pg_resgroup_move_query мог потерять слоты RG

auto_explain теперь не выполняется нигде за рамками процесса dispatcher

Команда ALTER TABLE стирала значения pg_appendonly

Исправлена потеря gang в ходе выполнения транзакции с вызовом gp_dist_wait_status внутри нее

Запись процесса БД инициализировала целое дерево плана

Синхронизация с Greenplum Database 6.21.0

Выпуск ADBCC 3.5.1

Оптимизированы DML-запросы к партиционированным таблицам во избежание дальнейшего планирования в случае, если партиция обрезана

Фоновый процесс gpmon исключен из списка разделяемой памяти (shared memory) пользователя

Проведен рефакторинг специфического кода gpdb для ожидания результата отправки

Реализован запасной вариант (fallback) с PostgreSQL для пустого целевого списка в производителе CTE

Исправлено определение взаимодействия cross-slice для сабпланов

Копирование планироващиком сабпланов для партиций нарушало порядок сабпланов

gpinitsystem завершался со сбоем на машине с кастомной локалью

gptkh не мог парсить настройки с символом точки

kafka-adb: повторное добавление kafka-client-2.5.0.jar в kadb-fdw

Синхронизация с Greenplum Database 6.20.4

Бандл ADB: добавлена возможность определять кластерную сеть — в целях выбора высокоскоростной сети для нужд interconnect

ADBCC: панель Container Memory Usage была пустой при определенных условиях

Синхронизация с Greenplum Database 6.20.3

PXF: при миграции сервиса PXF права к директории не проверялись

PXF: параметры PXF_JVM_OPTS не могли быть изменены

Архив gpexpand_schema.tar создавался в директории /home/gpadmin и мог исчерпать свободное пространство

Платформа совместимости была некорректной для бандлов community на AltLinux

Синхронизация с Greenplum Database 6.20.1

PXF: PXF 6.3.0 добавлен в бандл ADB (с возможностью обновления с PXF 5.x)

PXF: активирована команда PXF cluster sync

PXF: добавлена директория PXF bin в переменную PATH

PXF: добавлена возможность переопределять соответствие типов данных во внешних таблицах для PXF

Добавлен Tkhemali Connector 1.0.1 с большим объемом рефакторинга

Добавлено действие Delete Tkhemali

Добавлено действие Delete Kafka-to-ADB

Добавлено действие Delete ADB-to-Kafka

Добавлен параметр -Dliquibase.releaseLocks=true в контейнер миграции для действия Reconfigure & Restart

Выпуск ADBCC 3.4.0

Редактирование /etc/hosts сделано необязательным

PXF: ошибка с JDBC Hive, когда одно из полей было зарезервированным словом

Сбой GPORCA при трансформации LEFT JOIN в INNER JOIN

В режиме aggregate не обрабатывались корректно команды завершения запросов от QD (Query Dispatcher)

kafka-adb: опция хранения для offset-таблицы теперь устанавливается явно во избежание переопределения

Установка ADBCC завершалась со сбоем, если имя кластера состояло из более чем одного слова

Чередование удаления партиционированной таблицы append-optimized и вызова pg_total_relation_size для одной из ее партиций потенциально вызывало ошибку SIGSERV

gptkh: исправлена ошибка функции tnx(), возникавшая когда данные добавлялись в партиционированную таблицу с числом партиций более 1

Tkhemali: имена столбцов с пробелами не обрабатывались корректно

Оптимизатор GPORCA строил некорректные планы для CTE (Common Table Expression) с replicated-таблицами

GPORCA: слияние Gather motion доступно сейчас для singleton-операций на сегменте

Скрипты мониторинга не добавляись в crontab при запуске действия Activate Standby

На странице Version Backend-сервер отображался с IP, а агент — с FQDN

Синхронизация с Greenplum Database 6.19.3

Выпуск ADBCC 3.3.1

Синхронизация с Greenplum Database 6.19.1

Скрыто имя сервера в группе HTTPS сервиса ADBCC

Добавлены инструменты ADB Loader для RHEL 8

Добавлена возможность развертывать скрипты обслуживания (maintenance scripts) для нескольких БД

Сделан доступным параметр GUC (Global User Configuration) backlog_lock_waits

Добавлено действие Delete PXF

Выпуск ADBCC 3.3.0

Опция Disable firewall перемещена на уровень кластера из сервиса ADB

Для извлечения значений из ноды SharedScan использовалась неверная привязка столбцов

gptkh: distributed-таблица test2_tmp_3054 обращалась к самой себе

gptkh: ошибка в парсинге настроек для таблиц с типом распределения distributed

Coordinator не использовал quote escaping для значений GUC (Global User Configuration) при восстановлении в QE

Опция sshd MaxStartups должна была добавляться перед Match

Сборка docker-compose RPM-пакета 1.29.2

Синхронизация с Greenplum Database 6.18.2

[6X backport] Реализация режима archive_mode на постоянной основе

[6X backport] Заполненные нулями страницы пропускались при форсированном включении WAL

Выпуск Kafka ADB connector версии 1.0.4

Добавление plcontainer версии 2.1.5

Выпуск ADBCC 3.2.5

Power: непредвиденный порядок сабпланов вызывал сбой тестов subselect_gp

Выпуск ADBCC 3.2.4

При обращении к таблице append-optimized Index возвращал некорректный результат

kafka-fdw: убрана ненужная информация (garbage) из вывода для текстового формата

gpbackup обрабатывал набор пустых таблиц для корректного инкрементного бэкапирования

"Зависание" gpbackup после прерывания

Синхронизация с Greenplum Database 6.18.0

gpbackup: добавлено явное указание порядка таблиц с использованием pg_class.relpages

PXF: добавлена поддержка партиционированных запросов в Sybase

Выпуск ADBCC 3.2.2

Ошибка SIGSEGV при выполнении операции Reindex

madlib для ppc64le arch включен в сборку

Утилита gpbackup могла забэкапить партиционированную таблицу дважды

Ошибка Not enough memory reserved for the statement возникала при многократном вызове функции PL/pgSQL для общего табличного выражения (CTE, Common Table Expression) в запросе SELECT к таблице со множеством партиций

Синхронизация с Greenplum Database 6.17.5

Бандл ADB: добавлено сервисное действие Delete для Monitoring Clients

Бандл ADB: добавлен статус Ready to upgrade для действия обновления бандла

Решена проблема низкой производительности CPU на Power с новыми опциями сборки CGLAGS

Синхронизация с Greenplum Database 6.17.2

Синхронизация с PXF 5.16.3

Синхронизация с gpbackup 1.21.0

Синхронизация с gpbackup-s3-plugin 1.7.0

Добавлена сборка для платформы Power8 LE (ppc64le arch)

Выпуск ADBCC 3.1.3

Синхронизация с Greenplum Database 6.17.1

Реализована поддержка алгоритма сжатия данных ZSTD для gpbackup

adcc-extension: отправка имени схемы в сообщениях нод

Бандл ADB: соединение с внешней БД для ADBCC

Выпуск ADBCC 3.1.0

kafka-fdw: сбой на сегменте после применения SELECT к внешней таблице KafkaToADB с размером пакета данных более 40000 - <msg_count> * 40 байт (где <msg_count> — количество сообщений)

Оптимизатор PostgreSQL строил некорректный план для таблиц с типом распределения replicated и индексами

adcc-extension: ожидаемым контекстом для распределенной транзакции на сегменте был Segment Prepared

adcc-extension: не было возможности различать QueryStatus для слайсов плана (slices), выполнявшихся на Master

Power: фиктивная ошибка во время компиляции pg_upgrade

CVE-2020-25695

Синхронизация с Greenplum Database 6.16.3

[6X backport] POLLHUP/POLLRDHUP не распознаются во время выполнения запросов

adcc-extension: получение и отправка текста об ошибках

Бандл ADB: определены регулируемые параметры для ADBCC

Выпуск ADBCC 3.0.3

Ошибка ERROR: header checksum does not match

[6X backport] Ограничено выполнение многоуровневых связанных запросов

adcc-extension: представления (view) с типом security_barrier

Синхронизация с Greenplum Database 6.16.2

[6X Backport] Уменьшение сегментных файлов для отношения до нуля при выполнении TRUNCATE и DELETE

ADBCC: добавлены JVM-аргументы для логирования

PXF: удалена проверка количества кортежей для JDBC-запросов INSERT

Утилита gpbackup возвращала ошибку, когда таблицы foreign присутствовали в БД, поскольку пыталась заблокировать эту таблицу

Синхронизация с Greenplum Database 6.16.1

Выпуск ADBCC 2.1.1

Kafka ADB Connector: добавлена возможность установки кастомных опций librdkafka

[6X backport] GPORCA возвращает ошибку SIGSEGV для запросов к таблицам с удаленными столбцами

[6X backport] Функция elog игнорирует многобайтовую кодировку при обрезке длинного сообщения

Бандл ADB: установка тайм-аута netcat для отправки метрик мониторинга в AltLinux

Механизм PartitionSelector не возращал кортежи в случае несовпадения типов

adcc-extension: неизвестная нода с идентификатором id=5 для сабплана в значениях

adcc-extension: локально запланированная отметка терялась в сообщениях о состоянии ноды для запросов с кастомной агрегацией

Некорректные значения CCNT для планов после выполнения InitPlans

Удалены повторяющиеся вызовы Gpmon_Incr_Rows_Out() во внутренних функциях сортировки

Недопустимая переменная, указанная при проверке пути к директории сегмента в ADCM

Синхронизация с Greenplum Database 6.16.0

Добавлен параметр gp_enable_gpperfmon=on на серверы Master и Segment для ADBCC

Реализовано обновление расширения diskquota

Добавлены переменные окружения $PXF_CONF и $PXF_HOME для хостов PXF

Kafka ADB connector: реализованы обработчики сигналов для прерывания потребления сообщений (consuming)

Реализована поддержка Alt Linux 8.2 для ADB

[6X backport PR 11625] pg_rewind: исключение удаления файлов из директории log

Некорректные значения атрибута prodataaccess в отношении pg_proc после инициализации/обновления кластера

Kafka ADB connector не рассматривал партиции как пустые, когда запрос для их смещений (watermark offsets) завершался по тайм-ауту

[6X backport] GPORCA строил некорректные планы выполнения для запросов с выражением NOT IN

Выпуск ADBCC 2.0

Некорректная ссылка URL в описании сервиса в бандле ADB

Синхронизация с Greenplum Database 6.15.0

Реализовано переключение Master на Standby в ADCM

Kafka ADB connector: приведение дат AVRO из UNIX-представления (before epoch) в формат Greenplum Database

Kafka ADB connector: представление Greenplum Database для чисел с двойной точностью (double) AVRO, имеющих более 6 цифр после точки счисления (radix point)

Kafka ADB connector: некорректное представление временных меток (timestamps) AVRO ниже нуля

Синхронизация с Greenplum Database 6.14.1

Добавлена ссылка на домашнюю страницу ADBCC (при нажатии на лого)

Удалена online-загрузка статических ресурсов из web-интерфейса ADBCC

Сбой в очереди ожидания ресурсных групп

Несогласованность pg_aocsseg после отката операции добавления столбца

Сбой кластера после потери одного сегмент-хоста из-за некорректного поведения FTS

Многострочный CSV-текст в выводе утилиты gplogfilter был некорректным

Исправлены некорректные ссылки в репозиториях релиза 6.14.0.13.b1

Синхронизация с Greenplum Database 6.14.0

Синхронизация с Greenplum Database 6.13.0

Добавлена поддержка вспомогательных отношений для таблиц append-optimized при использовании расширением pgstattuple с целью точной оценки величины bloat этих отношений

Tkhemali-connector: исключено промежуточное преобразование в byte array

Удалены неактуальные опции пакетной обработки (batching) из ADQM connector (т.к. теперь используется TEXT)

Ограничено логирование gpstate

Сбой в Greenplum Database после активации GUC разработчика для PostgreSQL

Оптимизатор GPORCA строил неэффективные планы запросов

Параметры для сбора статистики на уровне столбца не применялись к партиционированным таблицам

Ошибка с утилитой gpactivatestandby в случае ее быстрого запуска после выключения Master

Ошибка парсинга десятичной части для типов данных "время"

Неправильное масштабирование для десятичных значений с длиной меньше указанной точности (precision)

Произведено обновление дополнительных компонентов до последней версии

Синхронизация с Greenplum Database 6.12.1

Добавлена offset-функция в Kafka ADB connector

Добавлена функция rest committed в Kafka ADB connector

Поддержка текстового формата в Kafka ADB connector

Поддержка опции JVM_OPTS для PXF

Реализованы логические типы AVRO в Kafka ADB connector

Переход на новый способ установки postgis

Переход на использование rd_kafka_query_watermark_offsets для валидации пар partition-offset в Kafka ADB connector

Проблема с использованием дискового пространства в ADBCC в случае дампов ядра (core dumps)

Ошибка missing data for column в gprestore

Ошибка limit of distributed transactions has been reached, возникавшая на Secondary Master

Ошибка WindowFunc with winref 1 assigned to WindowAgg with winref 2 (nodeWindowAgg.c:2264)

Некорректное поведение функции группировки

Блокировка с типом exclusive, возникавшая для любой партиционированной таблицы, блокировала представление pg_partitions

Блокировка сервером таблицы kadb.offsets