Arenadata Orchestrator
Arenadata Orchestrator (ADO) — это платформа для создания и эксплуатации конвейеров данных в производственной среде. Центральным компонентом платформы является Apache Airflow, инструмент с открытым исходным кодом, используемый для создания, планирования и мониторинга последовательностей процессов и задач (DAG).
Описание ПО и информация о стоимости доступны на сайте Arenadata — https://arenadata.tech/products/arenadata-orchestrator/.
ТОП-10 популярных статей
Таблицы с портами сервисов ADO, необходимыми для установки Arenadata Orchestrator.
Обзор сервиса DBT — инструмента для построения ELT-пайплайнов с использованием подхода SQL-first.
В статье описывается список сервисов, включенных в текущую версию ADO.
Описание основных концепций (DAG, task, operator) и архитектурных компонетов Airflow (Web server, Metadata database, Scheduler, Executor, Worker).
Требования к программному обеспечению для правильной установки кластера Arenadata Orchestrator.
В статье описываются основные изменения, добавленные в Airflow 3, и их влияние на сервис Airflow в ADO.
Обзор сервиса DuckDB: функциональные возможности, компоненты, архитектура и конфигурация.
В статье описывается работа с адаптером dbt-greengage, который позволяет сервису DBT взаимодействовать с Greengage DB.
Описание действий с сервисом DBT и детали об их выполнении через веб-интерфейс ADCM.
Обзор возможных подходов к оптимизации производительности Airflow в ADO с примерами.