Релизы ADO

Добавлен сервис dbt (1.11.3.1) с поддержкой адаптера dbt Greengage для построения процессов трансформации данных

Добавлен сервис Git Sync для автоматической синхронизации DAG и dbt-проектов из Git, включая проверку синтаксиса, фильтрацию файлов, управление зависимостями и мониторинг

Добавлена поддержка обновления с Community Edition (CE) до Enterprise Edition (EE) в рамках одной версии

Реализована возможность отката версий ADO после апгрейда

Добавлена поддержка Astra Linux SE 1.8.4 Орел и Astra Linux SE 1.8.4 Воронеж

Добавлен провайдер Airflow для Apache HBase с поддержкой протокола Thrift2 для операций с данными (put, get, scan, batch) и использованием HBase CLI для административных задач, таких как резервное копирование и восстановление (restore), что позволяет управлять таблицами, выполнять операции на уровне строк, включая пакетную (batch) и параллельную (pooled) обработку данных, и обслуживать кластер в рамках DAG

Добавлен провайдер Airflow для Apache Ozone на основе нативных CLI-инструментов Ozone и Hadoop, обеспечивающий управление томами (volume), бакетами и объектами, а также операции передачи данных. Он ориентирован на работу с Ozone и не заменяет и не зависит от API, совместимых с S3

Версия Airflow обновлена до 2.10.5_arenadata1

Версия Monitoring обновлена до 1.3

Версия duckdb обновлена до 1.4.4

Добавлена поддержка интеграции с сервисами, требующими доступа клиентов к воркерам (например, ADH Spark), через концепцию общих хостов

Добавлена поддержка строк подключения к HA-кластерам Metastore

Добавлена поддержка прокси-сервера для репозиториев пакетов

Реализована поддержка ограничений при управлении Python-зависимостями

Вкладка Info теперь учитывает пользовательские настройки конфигурации

Добавлена поддержка ALT Linux 10.2 SP

Добавлена поддержка Ansible 2.16

Реализовано автоматическое удаление артефактов проверки состояния при изменениях конфигурации кластера (распределение компонентов между хостами) для предотвращения ложных срабатываний

Airflow и Redis больше не завершают работу с ошибкой при запуске на новых хостах во время переноса компонентов в режиме обслуживания (maintenance mode)

Исправлена ошибка выполнения действия Sync requirements на хостах с AltLinux

Минимальная версия ADCM — 2.9.0

Prometheus 1.2_arenadata1

Реализована поддержка режима обслуживания (maintenance mode) для сервисов

Добавлена возможность управлять Python-зависимостями через ADCM

Добавлена поддержка Astra Linux SE 1.7.6 Воронеж

Действие Manage SSL теперь позволяет управлять параметрами мониторинга

Конфигурацию мониторинга теперь можно задавать гибко с помощью файлов scrape_config_files

Выполнен внутренний рефакторинг для оптимизации и безопасности

Исправлена ошибка при переключении Flower на HTTPS после включения SSL

Добавлена отсутствующая проверка группы airflow.flower в шаблоне flower_scraper.yml

Минимальная версия ADCM — 2.6.0

Переработаны пакет и бандл Airflow для добавления возможности отката версии ADO. Эта возможность станет доступной в следующем релизе

Redis теперь является кластерным сервисом для простоты настройки и развертывания

Реализован новый сервис мониторинга на основе Prometheus и Grafana

Добавлена ​​поддержка node-exporter "из коробки"

Добавлена ​​поддержка statsd-exporter "из коробки"

Добавлены панели мониторинга в Grafana, которые отображают метрики хостов, метрики кластера Airflow (серверы и рабочие процессы), запущенные DAG и очереди Celery

DAG Processor и Triggerer разделены на отдельные компоненты Airflow для гранулярной настройки кластера

Конфигурация компонента Flower стала более подробной и предлагает больше опций

Добавлена ​​возможность нативной настройки бэкенда для хранения конфиденциальных данных с помощью интеграции с HashiCorp Vault

Ссылка на веб-интерфейс Flower теперь отображается в информационном блоке сервиса

Конфигурация сервиса теперь явно отображает все настройки с их описаниями. Дополнительные параметры можно добавить через кастомные опции

Введено единое действие для изменения топологии сервиса (добавление, удаление, перемещение компонентов и т. д.). Вы можете запустить его как для сервиса, так и для всего кластера

Исправлены ошибки, возникавшие при анализе конфигурации Airflow со специальными символами в secret_key

Исправлена ​​ошибка в конфигурации ulimits

Минимальная версия ADCM — 2.5.0