Arenadata Orchestrator
Arenadata Orchestrator (ADO) — это платформа для создания и эксплуатации конвейеров данных в производственной среде. Центральным компонентом платформы является Apache Airflow, инструмент с открытым исходным кодом, используемый для создания, планирования и мониторинга последовательностей процессов и задач (DAG).
ТОП-10 популярных статей
Описание основных концепций (DAG, task, operator) и архитектурных компонетов Airflow (Web server, Metadata database, Scheduler, Executor, Worker).
Требования к программному обеспечению Arenadata Orchestrator для правильной установки кластера.
Таблицы с портами сервисов ADO, необходимыми для установки Arenadata Orchestrator.
В статьях описывается онлайн- и офлайн-установка кластера ADO через ADCM.
В статье приведены инструкции по настройке мониторинга ADO с использованием сервиса мониторинга во время онлайн-установки.
В статье описан процесс создания и запуска вашего первого DAG с использованием файлов CSV. Этот DAG будет имитировать процесс ETL (Extract, Transform, Load).
Обзор работы с сенсорами в Airflow: виды сенсоров и параметры. Примеры использования сенсоров, а также описание процесса создания пользовательского сенсора.
Список действий сервиса Airflow в ADCM.
В разделе представлена справочная информация о конфигурационных параметрах, которые можно использовать для настройки ADO-сервисов через ADCM.
Информация о релизах Arenadata Orchestrator.