Релизы ADO

В состав ADO добавлен сервис DuckDB — высокопроизводительная аналитическая система баз данных для локальной аналитической обработки данных. Установка и параметры DuckDB управляются централизованно через ADCM

Добавлена утилита Airflow Migration Helper для предварительной проверки и подготовки пользовательских DAG к переходу на Airflow 3

Разработан провайдер Airflow для DuckDB с поддержкой Connection, Hook, SQL Operator и SQL Sensor. Провайдер позволяет выполнять DuckDB SQL непосредственно из DAG с использованием стандартных механизмов Airflow

Интеграция DuckDB с HDFS, Ozone и Hive Metastore. В ADO Enterprise Edition добавлено расширение DuckDB для работы с HDFS, Apache Ozone и Hive Metastore, включая таблицы Apache Paimon и Apache Iceberg

Интеграция DuckDB с Vault/OpenBao. В ADO Enterprise Edition добавлено расширение DuckDB для хранения persistent secrets в HashiCorp Vault/OpenBao вместо локального хранилища. Секреты могут использоваться несколькими процессами DuckDB

Реализован HA-режим для Airflow API Server. В ADO появился компонент HAProxy, обеспечивающий единый эндпойнт, балансировку запросов и failover-механизм для экземпляров Airflow API Server

Добавлена интеграция ADO с ADM 5.0.0 на базе VictoriaMetrics. Для сбора и передачи метрик используется VMAgent

Apache Airflow обновлен до версии 3.2.1_arenadata1

Провайдеры ADO для Apache HBase и Apache Ozone адаптированы для работы с Airflow 3

Улучшения в сервисе GitSync. Расширены сценарии синхронизации GitSync: для разных репозиториев можно использовать разные Python-окружения, а один репозиторий можно синхронизировать по нескольким веткам или директориям. Также добавлен мониторинг сервиса GitSync

В адаптере DBT для Greengage DB появилась поддержка Greengage DB 7. Для партиционированных таблиц добавлена incremental strategy, позволяющая обновлять отдельные партиции

Для провайдера Apache Ozone расширены возможности Kerberos-аутентификации и настройки example DAG для Apache Ozone

Прекращена поддержка Astra Linux SE 1.7.6 (Орел/Воронеж)

Добавлен сервис dbt (1.11.3.1) с поддержкой адаптера dbt Greengage для построения процессов трансформации данных

Добавлен сервис Git Sync для автоматической синхронизации DAG и dbt-проектов из Git, включая проверку синтаксиса, фильтрацию файлов, управление зависимостями и мониторинг

Добавлена поддержка обновления с Community Edition (CE) до Enterprise Edition (EE) в рамках одной версии

Реализована возможность отката версий ADO после апгрейда

Добавлена поддержка Astra Linux SE 1.8.4 Орел и Astra Linux SE 1.8.4 Воронеж

Добавлен провайдер Airflow для Apache HBase с поддержкой протокола Thrift2 для операций с данными (put, get, scan, batch) и использованием HBase CLI для административных задач, таких как резервное копирование и восстановление (restore), что позволяет управлять таблицами, выполнять операции на уровне строк, включая пакетную (batch) и параллельную (pooled) обработку данных, и обслуживать кластер в рамках DAG

Добавлен провайдер Airflow для Apache Ozone на основе нативных CLI-инструментов Ozone и Hadoop, обеспечивающий управление томами (volume), бакетами и объектами, а также операции передачи данных. Он ориентирован на работу с Ozone и не заменяет и не зависит от API, совместимых с S3

Версия Airflow обновлена до 2.10.5_arenadata1

Версия Monitoring обновлена до 1.3

Версия duckdb обновлена до 1.4.4

Добавлена поддержка интеграции с сервисами, требующими доступа клиентов к воркерам (например, ADH Spark), через концепцию общих хостов

Добавлена поддержка строк подключения к HA-кластерам Metastore

Добавлена поддержка прокси-сервера для репозиториев пакетов

Реализована поддержка ограничений при управлении Python-зависимостями

Вкладка Info теперь учитывает пользовательские настройки конфигурации

Добавлена поддержка ALT Linux 10.2 SP

Добавлена поддержка Ansible 2.16

Реализовано автоматическое удаление артефактов проверки состояния при изменениях конфигурации кластера (распределение компонентов между хостами) для предотвращения ложных срабатываний

Airflow и Redis больше не завершают работу с ошибкой при запуске на новых хостах во время переноса компонентов в режиме обслуживания (maintenance mode)

Исправлена ошибка выполнения действия Sync requirements на хостах с AltLinux

Минимальная версия ADCM — 2.9.0

Prometheus 1.2_arenadata1

Реализована поддержка режима обслуживания (maintenance mode) для сервисов

Добавлена возможность управлять Python-зависимостями через ADCM

Добавлена поддержка Astra Linux SE 1.7.6 Воронеж

Действие Manage SSL теперь позволяет управлять параметрами мониторинга

Конфигурацию мониторинга теперь можно задавать гибко с помощью файлов scrape_config_files

Выполнен внутренний рефакторинг для оптимизации и безопасности

Исправлена ошибка при переключении Flower на HTTPS после включения SSL

Добавлена отсутствующая проверка группы airflow.flower в шаблоне flower_scraper.yml

Минимальная версия ADCM — 2.6.0

Переработаны пакет и бандл Airflow для добавления возможности отката версии ADO. Эта возможность станет доступной в следующем релизе

Redis теперь является кластерным сервисом для простоты настройки и развертывания

Реализован новый сервис мониторинга на основе Prometheus и Grafana

Добавлена ​​поддержка node-exporter "из коробки"

Добавлена ​​поддержка statsd-exporter "из коробки"

Добавлены панели мониторинга в Grafana, которые отображают метрики хостов, метрики кластера Airflow (серверы и рабочие процессы), запущенные DAG и очереди Celery

DAG Processor и Triggerer разделены на отдельные компоненты Airflow для гранулярной настройки кластера

Конфигурация компонента Flower стала более подробной и предлагает больше опций

Добавлена ​​возможность нативной настройки бэкенда для хранения конфиденциальных данных с помощью интеграции с HashiCorp Vault

Ссылка на веб-интерфейс Flower теперь отображается в информационном блоке сервиса

Конфигурация сервиса теперь явно отображает все настройки с их описаниями. Дополнительные параметры можно добавить через кастомные опции

Введено единое действие для изменения топологии сервиса (добавление, удаление, перемещение компонентов и т. д.). Вы можете запустить его как для сервиса, так и для всего кластера

Исправлены ошибки, возникавшие при анализе конфигурации Airflow со специальными символами в secret_key

Исправлена ​​ошибка в конфигурации ulimits

Минимальная версия ADCM — 2.5.0