Airflow

Это ключевой объект модели данных Airflow, представляющий семантически связанную группу задач, которые должны выполняться в строго определенном порядке — в соответствии с указанным расписанием. Визуально DAG выглядит как ориентированный ациклический граф (directed acyclic graph), то есть граф без циклических зависимостей.

Простой DAG, изображенный ниже, состоит из трех задач (Task). Обратите внимание, что DAG определяет порядок запуска задач, а также зависимости между ними. Дополнительно Airflow позволяет настроить расписание для обработки DAG, действия в случае неудачного запуска, количество повторных попыток запуска и многое другое. При этом DAG не анализирует, что именно он запускает — за настройку обработки данных отвечают непосредственно сами задачи (Task).

Задача (Task) — это отдельный узел DAG, который описывает операции, применяемые к данным. Такими операциями могут быть загрузка данных из внешних источников, агрегация и индексирование, удаление дубликатов и другие типовые ETL-операции.

Оператор (Operator) — это шаблон для выполнения задач. Если задачи описывают применяемые к данным действия, то операторы определяют конкретные действия на уровне кода: с использованием Python-функций, Bash-скриптов и так далее.

Airflow поддерживает множество встроенных операторов. Кроме этого, доступны операторы из community provider packages. Также есть возможность создать свой собственный Operator путем расширения базового класса BaseOperator.

Отдельный вид операторов — Сенсоры (Sensors) — позволяют обрабатывать реакцию на определенные события: наступление заданного времени, загрузку специфических данных, запуск других DAG/Task и так далее.

Примеры полезных Airflow-операторов приведены ниже.