Релизы ADBM

Добавлено отображение прогресса выполнения действия Common restore

Добавлена опция Force для stream с типом Copy для обеспечения возможности восстановления данных остановленного кластера из бэкапа другого кластера

Переработано действие Verify: наряду с метаданными при его выполнении теперь проверяются файлы с данными бэкапов. Соответствующая опция Verify добавлена в формы действий Common restore, Partial restore и создания stream

Значение параметра archive_mode изменено на on для предотвращения ошибки Duplicates found in archive for WAL segment, возникавшей, если primary- и mirror-сегменты пытались архивировать один и тот же файл. Примечание: кластер ADB будет перезапущен после обновления ADBM из-за изменения archive_mode

Реализовано хранение параметра ic_proxy_port_delta на стороне кластера для лучшего управления конфигурированием ic_proxy во время восстановления данных

Добавлена новая страница Backup manager → Configuration → Schedule для управления расписаниями кластера, а также переработана схема хранения расписаний

Переработана схема хранения кластерных данных, а также изменен способ обращения к кластеру — с его имени на GUID

На стороне агента ADBM улучшена обработка отсутствия зеркал

Исправлено управление автозавершением действий по тайм-ауту для бэкапов

Исправлена фильтрация WAL для заголовков, распределяемых по нескольким страницам

Для действия Partial restore исправлена обработка в pgbackrest длинных записей в конце предыдущего файла WAL

Исправлена ошибка A conflicting conditional operation is currently in progress against this resource, возникавшая при проверке возможности записи в S3

Исправлено управление блоками бэкапов во время фильтрации WAL в pgbackrest для предотвращения вызова assertion в gpdb при выполнении действия Partial restore

Для бэкапов теперь отображается прогноз времени выполнения

Для S3 добавлена возможность ввода опций шифрования на серверной стороне: kms-key-id и sse-customer-key (см. Server-side encryption options в Управление конфигурациями в ADBM → Добавление новой конфигурации → Repository)

Добавлена возможность выбора режима управления ошибками при создании stream (см. On restore points streaming failure в Disaster recovery). Также для streams добавлен статус Paused и реализована возможность запуска действий Resume/Cancel в этом статусе

Добавлено хранение значения gp_interconnect_type в кластерной топологии для поддержки принудительного (force) восстановления данных в кластерах с настроенным ic_proxy

Логика действия Apply backup configuration изменена таким образом, чтобы перезапуск кластера происходил только в случае, если значение archive_mode отлично от always и требует заполнения

Добавлено кеширование для действия Recover segments на стороне агента с целью обеспечения высокой доступнойсти (High Availability, HA)

В свойствах агента ADBM откорректированы параметры await-segment-ready с целью оптимизации времени восстановления и предотвращения ошибок streaming в случае превышения тайм-аута

Восстановление данных с установленными флагами Force и Skip validation могло завершиться ошибкой в случае переключения на standby

В ADBM CLI некоторые параметры не возвращались в выводе команд, а также не проверялась совместимость параметров

Выполнено исключение компонента etcd из архитектуры ADBM с переводом его функций в PostgreSQL

Во избежание неверного присвоения бэкапам статуса Invalid, действие Verify storage изменено таким образом, что теперь доступность репозитория проверяется на всех агентах, а не только на мастер-хосте

В списке действий теперь выводятся только доступные на текущий момент действия с целью предотвращения ситуации, когда после обновления не применялось действие Verify

Для команды ADBM CLI backup report добавлена возможность выбора формата вывода данных в опции --output

Добавлена актуализация ролей агентов перед выполнением восстановления данных с установленной опцией Force — для обеспечения восстановления данных в кластере, где мастер утратил свою роль

На страницу с деталями восстановлении данных добавлена пагинация, а также возможность фильтрации и сортировки данных в таблице

Исправлена обработка gp_interconnect_proxy_addresses при восстановлении данных в кластере ADB

Исправлено: действие Partial restore в исходном кластере могло прервать процесс DR в режиме Streaming

Исправлено: конфигурации с фильтром не использовалась при запуске Partial restore

Исправлено: целевой кластер отображался в UI со статусом Up в процессе Streaming

Добавлена возможность восстановления отдельных таблиц (partial restore) из бинарных бэкапов

Реализовано параллельное выполнение действия Cleanup на агентах во избежание прерывания действия по тайм-ауту на больших инсталляциях

Обновлено отображение версий конфигураций бэкапов

В секции Subactions на странице с деталями действия добавлены переносы строк для вывода длинных имен действий

В рамках переустановки кластера добавлен рестарт после установки клиента ADBM — для установки переменной окружения PGBACKREST_CONFIG

Опции isQuiet, isVerbose, backupDir не работали для команд backup и backup config в ADBM CLI

Некоторые элементы не были согласованы в детальной информации о действиях ADBM

ADBM перезапускал ADB при обновлении конфигураций бэкапов даже в случае отсутствия изменений в archive_command

Сокращенный вариант опции database не работал для команд в ADBM CLI

Бэкапы в статусе Invalid не удалялись во время выполнения действия Cleanup

Процесс archiver завершался сбоем после восстановления хостов

В конфигурацию бэкапа добавлена возможность ввода новых параметров для S3-репозитория: Upload chunk size и Certificate verification (см. секцию Repository в статье Управление конфигурациями в ADBM)

Добавлена интеграция с Vault

Действие Resume теперь доступно только для бэкапов с типом full

Число бэкапов в статусе Stopped ограничено до 1. Добавлена история изменения статусов бэкапа

Добавлено ограничение для общего числа бэкапов

Добавлена валидация уровня сжатия данных, указываемого в конфигурации бэкапа

Исправлена ошибка с запуском действия Cleanup для бэкапов в статусе Unknown

Исправлена невозможность перевода бэкапов в статус Invalid

Исправлено: запуск утилиты gprecoverseg на агенте при выполнении действия Restore завершался ошибкой по причине создания бэкапа либо восстановления данных в ADB

Исправлено отсутствие информации о бэкапе после изменения его статуса с Unknown на Done

Реализован CLI для логических бэкапов

Добавлена возможность формирования инкрементых бэкапов на уровне блоков: соответствующий флаг добавлен на страницу конфигурации бэкапа

Добавлена поддержка расширения кластера ADB для ADBM

Добавлено действие Verify backup в процесс формирования stream

Исключена возможность удаления конфигурации для активного потока (stream)

Процесс восстановления завершался ошибкой для точек восстановления (restore points), созданных после выхода из строя одного из сегментов

Вопросительные знаки отображались в поле Exclude path при его заполнении на русском языке

Исправлен некорректный статус Warning для действия Terminate, применяемого к stream — в случае нескольких нажатий кнопки Run в модальном окне Terminate stream

Единственная конфигурация бэкапа удалялась в случае запуска нескольких streams и очисток данных (cleanups)

Бэкап с конфигурацией в статусе Applied завершался ошибкой при существовании конфигурации в статусе Draft

Бэкапы завершались ошибкой при обновлении кластера ADB с версии 6.25.1 на 6.26.2

Мастер ADB останавливался при рестарте adbm-agent

Добавлена новая опция для Disaster Recovery: данные в standby-кластере теперь могут быть восстановлены на основе WAL-изменений исходного кластера. Восстановление из бэкапа исходного кластера теперь требуется на начальном этапе, не при каждой итерации

Улучшено управление S3-репозиторием в действиях ADBM с учетом основных конфигурационных параметров

Логика действия Cleanup была обновлена с целью удаления всех инкрементных и дифференциальных бэкапов, которые могли быть оставлены согласно настроенной политике

Добавлен параметр liquibase.releaseLocks для сервиса миграции ADBM

Исправлено: восстановление данных при копировании между кластерами завершалось ошибкой в случае остановки одного из сегментов исходного кластера

Исправлен тип статуса потока данных (stream) при применении невозможной конфигурации

Исправлено отсутствие статуса Unknown для бэкапов

Добавлены новые статусы для управления конфигурациями бэкапов

Реализованы изменения в процедуре очистки данных (Cleanup) для корректной обработки изменений типа репозитория и пути, а также для защиты бэкапов во время выполнения копирования данных между кластерами (copy stream) в рамках Disaster Recovery (DR)

В процесс определения статуса бэкапа добавлена обработка недоступности репозитория

Исправлена остановка процесса бэкапирования (Backup) в случае, когда дочерние действия находились в статусе Warning

Некоторые детали выполнения восстановления данных (Restore) не отображались в светлой теме

Добавлена возможность восстанавливать зеркала из бинарных бэкапов параллельно с первичными сегментами — с помощью поля Restore mirrors. Обратите внимание, что это экспериментальная функция

Проверка доступности репозитория добавлена в процесс копирования данных между кластерами (copy stream) в рамках Disaster Recovery (DR)

Добавлен статус Warning для действий ADBM

Значения по умолчанию для фильтров времени на страницах Backups и Restores изменены на прошедший день

Добавлена автоматическая установка флага Skip validation (без возможности сброса) в модальное окно Restore для восстановления в остановленных кластерах ADB

Ошибка запуска инкрементных бэкапов, связанная с файлами нулевого размера

Ошибка верификации, возникавшая при использовании S3-репозитория с самоподписанными сертификатами

Ошибка создания конфигурации ADBM для хранилищ S3 с типом URI path

Исправлено снижение производительности в UI ADBM в случае недоступности одного из кластеров

Ошибка восстановления из бэкапа после успешного завершения копирования (copy stream) в DR-кластере

Добавлена поддержка репозитория CIFS

Добавлена возможность автоматического копирования бэкапа на целевой кластер после формирования бэкапа в исходном кластере

Идентификатор действия (action id) добавлен в детальную информацию о действии

Добавлено автоопределение активного master-хоста для поддержки процесса бэкапирования после переключения на standby

Было невозможно восстанавливать данные из бэкапов в кластерах с одинаковыми именами в рамках одного ADBM

Восстановление с типом Self-restore (запускаемое путем вызова действия Restore) завершалось ошибкой после изменения ролей на зеркалах

S3-сертификат удалялся с сегментов после перезагрузки хоста

Реализована возможность восстановления с зеркалами в рамках Disaster Recovery (DR)

Перед сохранением бэкапной конфигурации добавлена валидация репозитория

На страницу с топологией бэкапа добавлена сортировка по идентификатору сегмента Segment

Список восстановлений БД на странице Restores был пуст для кластеров ADB с пробелами в именах

Копирование данных между кластерами в рамках DR завершалось ошибкой, если исходный и целевой кластеры имели разную конфигурацию standby

Реализована возможность восстановления для кластеров со standby

Добавлена автоматическая проверка совместимости версий ADB на исходном и целевом кластерах при копировании данных между ними во время Disaster Recovery (DR)

В процесс копирования данных между кластерами во время DR добавлена проверка доступности бэкапной конфигурации на целевом кластере

Процесс копирования данных между кластерами во время Disaster Recovery (DR) завершался ошибкой для целевых кластеров со standby

Было невозможно восстановить данные из бэкапа в DR-кластере, если число узлов исходного кластера отлично от DR-кластера

Выбор конкретных баз данных из списка для восстановления приводил к ошибке при копировании данных между кластерами во время DR

DR-кластер не запускался после восстановления

Реализовано аварийное восстановление данных (Disaster Recovery, DR) с Cold Standby — возможность восстановления кластера из бэкапа в другом кластере. Бета-версия! Пожалуйста, обратите внимание на раздел Известные проблемы ADBM и сделайте бэкап целевого кластера перед запуском потока (stream)

Добавлены опции pgbackrest (-delta, --force, --max-process) для операции восстановления данных

Добавлена опция для сохранения конфигурации для бэкапов, запускаемых по запросу (без расписания)

Улучшено представление дерева действий ADBM

Добавлена возможность возобновления (Resume) неудачных бэкапов с учетом сегментов, которые уже были забэкапированы

Исправлено: действие Apply backup config завершалось ошибкой при выборе S3

Добавлена поддержка для компьютеров PowerPC

Добавлена возможность восстановления данных из бэкапов без сегментов-зеркал (mirror)

Добавлена возможность фильтрации restore points при выполнении Restore retry — перезапуска последнего упавшего процесса восстановления

Добавлена вкладка Restores для просмотра запусков восстановления БД (действий Restore)

Создание дополнительной конфигурации при переустановке без создания бэкапа

Ошибка с использованием репозитория S3 для хранения бэкапов

Добавлен генератор openapi-yaml для формирования файлов OpenAPI

Добавлен тайм-аут для чтения файла OpenAPI

Поддержка списка доступных кластерных действий

Добавлена возможность удаления последнего бэкапа из stanza

Добавлена возможность восстановления определенных баз данных из бэкапов

Добавлена возможность установки флага Force при восстановлении из бэкапа. Означает пропуск всех проверок

Добавлена валидация выражений cron, используемых при создании и редактировании конфигурации ADBM

Добавлена проверка для archive_command при сохранении конфигурации ADBM, позволяющая избежать ненужного перезапуска кластера ADB

Реализована первая версия ADBM. Для получения дополнительной информации обратитесь к статье Обзор Arenadata DB Backup Manager