Airflow CLI

Обзор

В этот раздел включена справочная документация по интерфейсу командной строки Airflow.

Использование команд:

$ airflow COMMAND [GENERIC_OPTIONS] SUBCOMMAND [COMMAND_OPTIONS]

Общие команды

Команды общего назначения для управления кластером Airflow.

Команда Описание

cheat-sheet

Выводит подсказку по командам

dag-processor

Запускает отдельный экземпляр процессора DAG

info

Отображает информацию об Airflow и окружении

kerberos

Запускает обновление тикетов Kerberos

plugins

Выводит информацию о загруженных плагинах

rotate-fernet-key

Выполняет ротацию зашифрованных учетных данных соединения и переменных

scheduler

Запускает экземпляр планировщика

standalone

Запускает полнофункциональную копию Airflow

sync-perm

Обновляет разрешения для существующих ролей и групп DAG (если необходимо)

triggerer

Запускает экземпляр триггера

version

Показывает версию Airflow

webserver

Запускает экземпляр веб-сервера Airflow

Компоненты Celery

Команды для управления Airflow Celery.

Команда Описание

flower

Запускает Celery Flower

stop

Аккуратно останавливает Celery worker

worker

Запускает worker-ноду Celery

Просмотр конфигурации

Команды для просмотра конфигурации Airflow.

Команда Описание

get-value

Выводит значение конфигурации

list

Выводит список параметров конфигурации

Управление соединениями

Команды для управления соединениями Airflow.

Команда Описание

add

Добавляет соединение

webserver

Запускает экземпляр веб-сервера Airflow

delete

Удаляет соединение

export

Экспортирует соединения

get

Отображает соединение

import

Импортирует соединения из файла

list

Выводит список соединений

test

Тестирует соединение

Управление DAG

Команды для управления DAG.

Команда Описание

backfill

Запускает подразделы DAG для указанного диапазона дат

delete

Удаляет все записи БД, связанные с указанным DAG

details

Отображает информацию о DAG

list

Выводит список всех DAG

list-import-errors

Выводит список всех DAG, имеющих ошибки импорта

list-jobs

Выводит список задач

list-runs

Выводит список запусков DAG

next-execution

Отображает даты выполнения следующих DAG

pause

Приостанавливает DAG

report

Показывает отчет о загрузке DAG

reserialize

Повторно сериализует все DAG, анализируя файлы DAG

show

Отображает задачи DAG с их зависимостями

show-dependencies

Отображает DAG с их зависимостями

state

Отображает состояние запуска DAG

test

Выполняет тестовый запуск DAG

trigger

Запускает DAG

unpause

Возобновляет приостановленный DAG

Управление базой данных

Команды для управления базой данных Airflow.

Команда Описание

check

Проверяет, доступна ли база данных

check-migrations

Проверяет, завершена ли миграция

clean

Удаляет старые записи в таблицах metastore

downgrade

Понижает версию базы метаданных

drop-archived

Удаляет архивные таблицы, созданные с помощью команды db clean

export-archived

Экспортирует данные из архива таблицы

init

Инициализирует базу метаданных

reset

Удаляет и пересоздает базу метаданных

shell

Запускает shell для доступа к базе данных

upgrade

Обновляет базу метаданных до последней версии

Управление заданиями

Команды для управления заданиями Airflow.

Команда Описание

check

Проверяет статус задания

Управление KubernetesExecutor

Команды для управления KubernetesExecutor.

Команда Описание

cleanup-pods

Удаляет модули Kubernetes (созданные KubernetesExecutor/KubernetesPodOperator) в состояниях evicted/failed/succeeded/pending

generate-dag-yaml

Генерирует файлы YAML для всех задач в DAG. Полезно для отладки задач без запуска в кластере

Управление пулами

Команды для управления пулами Airflow.

Команда Описание

delete

Удаляет пул

export

Экспортирует все пулы

get

Отображает размер пула

import

Импортирует пулы

list

Отображает список пулов

set

Настраивает пул

Управление провайдерами

Команды для получения информации о провайдерах.

Команда Описание

auth

Отображает информацию о бэкендах аутентификации API

behaviours

Отображает информацию о зарегистрированных типах подключений с кастомным поведением

get

Отображает подробную информацию о провайдере

hooks

Показывает список зарегистрированных хуков провайдера

links

Показывает список дополнительных ссылок, зарегистрированных провайдерами

list

Показывает список установленных провайдеров

logging

Отображает информацию об обработчиках логирования

secrets

Отображает информацию о бэкендах конфиденциальной информации

widgets

Отображает информацию о зарегистрированных подключениях виджетов

Управление ролями

Команды для управления ролями Airflow.

Команда Описание

add-perms

Добавляет разрешения для роли

create

Создает роль

del-perms

Удаляет разрешения для роли

delete

Удаляет роль

export

Экспортирует роли (без разрешений) из базы данных в файл JSON

import

Импортирует роли (без разрешений) из файла JSON в базу данных

list

Выводит список ролей

Управление задачами

Команды для управления задачами Airflow.

Команда Описание

clear

Очищает набор экземпляров задач

failed-deps

Возвращает известные планировщику зависимости задачи, которые вызвали ошибку

list

Отображает задачи в DAG

render

Отображает шаблоны задачи

run

Запускает один экземпляр задачи

state

Отображает статус задачи

states-for-dag-run

Отображает состояние всех задач в DAG

test

Выполняет тестовый запуск задачи

Управление пользователями

Команды для управления пользователями Airflow.

Команда Описание

add-role

Добавляет роль пользователю

create

Создает пользователя

delete

Удаляет пользователя

export

Экспортирует всех пользователей

import

Импортирует пользователей

list

Отображает список пользователей

remove-role

Удаляет роль у пользователя

Управление переменными

Команды для управления переменными Airflow.

Команда Описание

delete

Удаляет переменную

export

Экспортирует все переменные

get

Выводит информацию о переменной

import

Импортирует переменные

list

Выводит список переменных

set

Редактирует переменную

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней