backfill

Елена Костюченко

Описание

backfill — это подкоманда в группе команд dag. Она позволяет запускать подразделы DAG для указанного диапазона дат.

Если используется опция reset_dag_run, команда сначала запросит, следует ли Airflow очистить все предыдущие запуски DAG и экземпляры задач в указанном диапазоне дат.

Если используется опция rerun_failed_tasks, Airflow повторно запустит предыдущие экземпляры задач, завершившихся неудачно, в указанном диапазоне дат.

Использование

$ airflow dags backfill [-h] [-c CONF] [--continue-on-failures]
                      [--delay-on-limit DELAY_ON_LIMIT] [--disable-retry] [-x]
                      [-n] [-e END_DATE] [-i] [-I] [-l] [-m] [--pool POOL]
                      [--rerun-failed-tasks] [--reset-dagruns] [-B]
                      [-s START_DATE] [-S SUBDIR] [-t TASK_REGEX]
                      [--treat-dag-as-regex] [--treat-dag-id-as-regex] [-v]
                      [-y]
                      dag_id

Аргументы

Параметр Описание

dag_id

Идентификатор DAG для заполнения

-s, --start-date

Дата начала периода заполнения в формате ГГГГ-ММ-ДД

-e, --end-date

Дата окончания периода заполнения в формате ГГГГ-ММ-ДД

-m, --mark-success

Отметить задания как выполненные, не запуская их

-i, --ignore-dependencies

Пропустить задачи верхнего уровня; запустить только те задачи, которые соответствуют регулярному выражению

-t, --task-regex

Шаблон регулярного выражения для фильтрации определенных идентификаторов задач для заполнения

-I, --ignore-first-depends-on-past

Игнорировать зависимости depends_on_past только для первого набора задач

-l, --local

Запустить задачу с помощью LocalExecutor

-x, --donot-pickle

Не консервировать объект DAG для отправки к worker-процессам. В этом случае они будут использовать доступную версию кода

-n, --dry-run

Выполнить тестовый запуск команды

--pool

Пул ресурсов для использования

--rerun-failed-tasks

Повторно запустить ранее неудавшиеся экземпляры задач в указанном диапазоне дат

--reset-dagruns

Удалить существующие запуски DAG, связанные с обратным заполнением, и начать заново

-B, --run-backwards

Сначала запускать задачи с самой последней даты. Несовместимо с depend_on_past

--delay-on-limit

Время ожидания (в секундах) перед повторной попыткой при достижении максимального количества активных запусков DAG

--disable-retry

Отметить неуспешные задачи как завершенные с ошибкой (failed) без повторных попыток

-c, --conf

Строка JSON, которая будет сохранена в атрибуте conf DAG run

-y

Пропустить запрос подтверждения при сбросе DAG-запусков

-S, --subdir

Путь к каталогу файлов DAG; по умолчанию [AIRFLOW_HOME]/dags

--treat-dag-as-regex

Интерпретировать аргумент dag_id как шаблон регулярного выражения для сопоставления с несколькими DAG

--treat-dag-id-as-regex

Алиас для --treat-dag-as-regex

-h, --help

Вывести справку для команды

-v, --verbose

Более подробный вывод команды

Примеры

Чтобы запустить одну выбранную задачу из указанной группы DAG, выполните:

$ airflow dags backfill example_complex -s 2025-04-03 -e 2025-04-04 -t get_entry_group
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней