backfill
Описание
backfill — это подкоманда в группе команд dag. Она позволяет запускать подразделы DAG для указанного диапазона дат.
Если используется опция reset_dag_run, команда сначала запросит, следует ли Airflow очистить все предыдущие запуски DAG и экземпляры задач в указанном диапазоне дат.
Если используется опция rerun_failed_tasks, Airflow повторно запустит предыдущие экземпляры задач, завершившихся неудачно, в указанном диапазоне дат.
Использование
$ airflow dags backfill [-h] [-c CONF] [--continue-on-failures]
[--delay-on-limit DELAY_ON_LIMIT] [--disable-retry] [-x]
[-n] [-e END_DATE] [-i] [-I] [-l] [-m] [--pool POOL]
[--rerun-failed-tasks] [--reset-dagruns] [-B]
[-s START_DATE] [-S SUBDIR] [-t TASK_REGEX]
[--treat-dag-as-regex] [--treat-dag-id-as-regex] [-v]
[-y]
dag_idАргументы
| Параметр | Описание |
|---|---|
dag_id |
Идентификатор DAG для заполнения |
-s, --start-date |
Дата начала периода заполнения в формате ГГГГ-ММ-ДД |
-e, --end-date |
Дата окончания периода заполнения в формате ГГГГ-ММ-ДД |
-m, --mark-success |
Отметить задания как выполненные, не запуская их |
-i, --ignore-dependencies |
Пропустить задачи верхнего уровня; запустить только те задачи, которые соответствуют регулярному выражению |
-t, --task-regex |
Шаблон регулярного выражения для фильтрации определенных идентификаторов задач для заполнения |
-I, --ignore-first-depends-on-past |
Игнорировать зависимости |
-l, --local |
Запустить задачу с помощью LocalExecutor |
-x, --donot-pickle |
Не консервировать объект DAG для отправки к worker-процессам. В этом случае они будут использовать доступную версию кода |
-n, --dry-run |
Выполнить тестовый запуск команды |
--pool |
Пул ресурсов для использования |
--rerun-failed-tasks |
Повторно запустить ранее неудавшиеся экземпляры задач в указанном диапазоне дат |
--reset-dagruns |
Удалить существующие запуски DAG, связанные с обратным заполнением, и начать заново |
-B, --run-backwards |
Сначала запускать задачи с самой последней даты. Несовместимо с |
--delay-on-limit |
Время ожидания (в секундах) перед повторной попыткой при достижении максимального количества активных запусков DAG |
--disable-retry |
Отметить неуспешные задачи как завершенные с ошибкой (failed) без повторных попыток |
-c, --conf |
Строка JSON, которая будет сохранена в атрибуте |
-y |
Пропустить запрос подтверждения при сбросе DAG-запусков |
-S, --subdir |
Путь к каталогу файлов DAG; по умолчанию |
--treat-dag-as-regex |
Интерпретировать аргумент |
--treat-dag-id-as-regex |
Алиас для |
-h, --help |
Вывести справку для команды |
-v, --verbose |
Более подробный вывод команды |