Arenadata Orchestrator

Arenadata Orchestrator (ADO) — это платформа для создания и эксплуатации конвейеров данных в производственной среде. Центральным компонентом платформы является Apache Airflow, инструмент с открытым исходным кодом, используемый для создания, планирования и мониторинга последовательностей процессов и задач (DAG).

Описание ПО и информация о стоимости доступны на сайте Arenadata — https://arenadata.tech/products/arenadata-orchestrator/.

ТОП-10 популярных статей

Таблицы с портами сервисов ADO, необходимыми для установки Arenadata Orchestrator.

Обзор сервиса DBT — инструмента для построения ELT-пайплайнов с использованием подхода SQL-first.

В статье описывается список сервисов, включенных в текущую версию ADO.

Описание основных концепций (DAG, task, operator) и архитектурных компонетов Airflow (Web server, Metadata database, Scheduler, Executor, Worker).

Требования к программному обеспечению для правильной установки кластера Arenadata Orchestrator.

В статье описываются основные изменения, добавленные в Airflow 3, и их влияние на сервис Airflow в ADO.

Обзор сервиса DuckDB: функциональные возможности, компоненты, архитектура и конфигурация.

В статье описывается работа с адаптером dbt-greengage, который позволяет сервису DBT взаимодействовать с Greengage DB.

Описание действий с сервисом DBT и детали об их выполнении через веб-интерфейс ADCM.

Обзор возможных подходов к оптимизации производительности Airflow в ADO с примерами.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней