Arenadata Orchestrator
Arenadata Orchestrator (ADO) — это платформа для создания и эксплуатации конвейеров данных в производственной среде. Центральным компонентом платформы является Apache Airflow, инструмент с открытым исходным кодом, используемый для создания, планирования и мониторинга последовательностей процессов и задач (DAG).
Описание ПО и информация о стоимости доступны на сайте Arenadata — https://arenadata.tech/products/arenadata-orchestrator/.
ТОП-10 популярных статей
В статье описывается список сервисов, включенных в текущую версию ADO.
Требования к программному обеспечению Arenadata Orchestrator для правильной установки кластера.
Таблицы с портами сервисов ADO, необходимыми для установки Arenadata Orchestrator.
Описание основных концепций (DAG, task, operator) и архитектурных компонетов Airflow (Web server, Metadata database, Scheduler, Executor, Worker).
В статье описывается работа с адаптером dbt-greengage, который позволяет сервису DBT взаимодействовать с Greengage DB.
Обзор возможных подходов к оптимизации производительности Airflow в ADO с примерами.
В статье описывается как управлять зависимостями Python в Airflow через ADCM.
Обзор сервиса DBT — инструмента для построения ELT-пайплайнов с использованием подхода SQL-first.
В данной статье представлен обзор REST API Airflow.
Использование HashiCorp Vault для безопасного управления конфиденциальными данными в Arenadata Orchestrator.