Конфигурационные параметры Airflow

Константин Алпашкин

Для конфигурации сервиса используйте следующие параметры, доступные в ADCM.

ПРИМЕЧАНИЕ

  • Некоторые из перечисленных параметров становятся доступны в UI ADCM после установки флага Advanced.

  • Значения, установленные в Custom-параметрах, перепишут текущие значения параметров, даже если они read-only.
Redis configuration
Параметр Описание Значение по умолчанию

redis.conf

Файл конфигурации Redis

 — 

sentinel.conf

Файл конфигурации Sentinel

 — 

redis_port

Порт брокера Redis

6379

sentinel_port

Порт Sentinel

26379
airflow.cfg
Параметр Описание Значение по умолчанию

db_user

Имя пользователя для подключения к базе данных Metastore

airflow

db_password

Пароль для подключения к базе данных Metastore

 — 

db_port

Порт для подключения к базе данных Metastore

3307

admin_password

Пароль для администратора веб-сервера

 — 

server_port

Порт для работы веб-сервера

8080

flower_port

Порт для работы Celery Flower

5555

worker_port

При запуске Airflow Worker Airflow запускает подпроцесс веб-сервера для передачи локальных Worker лог-файлов на основной веб-сервер Airflow, который затем генерирует страницы и отправляет их пользователям. Этот параметр определяет порт для передачи лог-файлов. Порт должен быть не занят и доступен с основного веб-сервера для подключения к Workers

8793

fernet_key

Секретный ключ для сохранения паролей подключения в базе данных

 — 

security

Определяет механизм безопасности для использования. Например, kerberos

 — 

keytab

Путь к keytab-файлу

 — 

reinit_frequency

Устанавливает частоту обновления тикетов

3600

principal

Принципал Kerberos

 — 

ssl_active

Определяет, активен ли SSL для Airflow

false

web_server_ssl_cert

Путь к SSL-сертификату

/etc/ssl/certs/host_cert.cert

web_server_ssl_key

Путь к ключу SSL-сертификата

/etc/ssl/host_cert.key

Logging level

Указывает уровень логирования активности Airflow

INFO

Logging level for Flask-appbuilder UI

Указывает уровень логирования для веб-интерфейса Flask-appbuilder

WARNING

cfg_properties_template

Jinja-шаблон для инициализации переменных окружения Airflow

cfg_properties_template
External database
Параметр Описание Значение по умолчанию

Database type

Тип внешней базы данных. Возможные значения: PostgreSQL, MySQL/MariaDB

MySQL/MariaDB

Hostname

Хост внешней базы данных

 — 

db_custom_port

Порт внешней базы данных

 — 

Airflow database name

Имя внешней базы данных

airflow
External Broker
Параметр Описание Значение по умолчанию

Broker URL

URL внешнего брокера

 — 
LDAP Security manager
Параметр Описание Значение по умолчанию

AUTH_LDAP_SERVER

URI сервера LDAP

 — 

AUTH_LDAP_BIND_USER

Путь к прокси-пользователю LDAP для привязки к верхнему уровню. Например: cn=airflow,ou=users,dc=example,dc=com

 — 

AUTH_LDAP_BIND_PASSWORD

Пароль привязанного пользователя

 — 

AUTH_LDAP_SEARCH

Укажите в значении параметра новый путь, под которым пользователи должны получать доступ к Airflow. Например: dc=example, dc=com

 — 

AUTH_LDAP_UID_FIELD

Поле UID (уникальный идентификатор) в LDAP

 — 

AUTH_ROLES_MAPPING

Параметр для сопоставления внутренних ролей группам LDAP Active Directory

 — 

AUTH_LDAP_GROUP_FIELD

Атрибут пользователя LDAP, имеющий свои DN

 — 

AUTH_ROLES_SYNC_AT_LOGIN

Флаг, указывающий, следует ли заменять все роли пользователя при каждом входе в систему или только при регистрации

true

PERMANENT_SESSION_LIFETIME

Устанавливает тайм-аут бездействия, по истечении которого пользователи должны повторно пройти аутентификацию (для синхронизации ролей)

1800

AUTH_LDAP_USE_TLS

Использование TLS

false

AUTH_LDAP_ALLOW_SELF_SIGNED

Использование самоподписанных сертификатов

true

AUTH_LDAP_TLS_CACERTFILE

Местонахождение сертификата

 — 
Компонент Airflow2 Broker
Параметр Описание Значение по умолчанию

Enable custom ulimits

Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже

 
[Service]
LimitCPU=
LimitFSIZE=
LimitDATA=
LimitSTACK=
LimitCORE=
LimitRSS=
LimitNOFILE=
LimitAS=
LimitNPROC=
LimitMEMLOCK=
LimitLOCKS=
LimitSIGPENDING=
LimitMSGQUEUE=
LimitNICE=
LimitRTPRIO=
LimitRTTIME=
Ulimit settings
Параметр Описание Соответствующая опция команды ulimit в CentOS

LimitCPU

Ограничение в секундах на количество процессорного времени, которое может потреблять процесс

cpu time ( -t)

LimitFSIZE

Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт

file size ( -f)

LimitDATA

Максимальный размер сегмента данных процесса, в килобайтах

data seg size ( -d)

LimitSTACK

Максимальный размер стека, выделенный процессу, в килобайтах

stack size ( -s)

LimitCORE

Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт

core file size ( -c)

LimitRSS

Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах

max memory size ( -m)

LimitNOFILE

Максимальное количество дескрипторов открытых файлов, разрешенное для процесса

open files ( -n)

LimitAS

Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах

virtual memory ( -v)

LimitNPROC

Максимальное количество процессов

max user processes ( -u)

LimitMEMLOCK

Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется

max locked memory ( -l)

LimitLOCKS

Максимальное количество файлов, заблокированных процессом

file locks ( -x)

LimitSIGPENDING

Максимальное количество сигналов, ожидающих доставки в вызывающий поток

pending signals ( -i)

LimitMSGQUEUE

Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений

POSIX message queues ( -q)

LimitNICE

Максимальный уровень приоритета NICE, который может быть назначен процессу

scheduling priority ( -e)

LimitRTPRIO

Максимальный приоритет планирования в реальном времени

real-time priority ( -r)

LimitRTTIME

Максимальный размер буфера конвейера (pipe), в блоках по 512 байт

pipe size ( -p)
Компонент Airflow2 Flower
Параметр Описание Значение по умолчанию

Enable custom ulimits

Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже

 
[Service]
LimitCPU=
LimitFSIZE=
LimitDATA=
LimitSTACK=
LimitCORE=
LimitRSS=
LimitNOFILE=
LimitAS=
LimitNPROC=
LimitMEMLOCK=
LimitLOCKS=
LimitSIGPENDING=
LimitMSGQUEUE=
LimitNICE=
LimitRTPRIO=
LimitRTTIME=
Ulimit settings
Параметр Описание Соответствующая опция команды ulimit в CentOS

LimitCPU

Ограничение в секундах на количество процессорного времени, которое может потреблять процесс

cpu time ( -t)

LimitFSIZE

Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт

file size ( -f)

LimitDATA

Максимальный размер сегмента данных процесса, в килобайтах

data seg size ( -d)

LimitSTACK

Максимальный размер стека, выделенный процессу, в килобайтах

stack size ( -s)

LimitCORE

Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт

core file size ( -c)

LimitRSS

Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах

max memory size ( -m)

LimitNOFILE

Максимальное количество дескрипторов открытых файлов, разрешенное для процесса

open files ( -n)

LimitAS

Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах

virtual memory ( -v)

LimitNPROC

Максимальное количество процессов

max user processes ( -u)

LimitMEMLOCK

Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется

max locked memory ( -l)

LimitLOCKS

Максимальное количество файлов, заблокированных процессом

file locks ( -x)

LimitSIGPENDING

Максимальное количество сигналов, ожидающих доставки в вызывающий поток

pending signals ( -i)

LimitMSGQUEUE

Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений

POSIX message queues ( -q)

LimitNICE

Максимальный уровень приоритета NICE, который может быть назначен процессу

scheduling priority ( -e)

LimitRTPRIO

Максимальный приоритет планирования в реальном времени

real-time priority ( -r)

LimitRTTIME

Максимальный размер буфера конвейера (pipe), в блоках по 512 байт

pipe size ( -p)
Компонент Airflow2 Scheduler
Параметр Описание Значение по умолчанию

Enable custom ulimits

Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже

 
[Service]
LimitCPU=
LimitFSIZE=
LimitDATA=
LimitSTACK=
LimitCORE=
LimitRSS=
LimitNOFILE=
LimitAS=
LimitNPROC=
LimitMEMLOCK=
LimitLOCKS=
LimitSIGPENDING=
LimitMSGQUEUE=
LimitNICE=
LimitRTPRIO=
LimitRTTIME=
Ulimit settings
Параметр Описание Соответствующая опция команды ulimit в CentOS

LimitCPU

Ограничение в секундах на количество процессорного времени, которое может потреблять процесс

cpu time ( -t)

LimitFSIZE

Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт

file size ( -f)

LimitDATA

Максимальный размер сегмента данных процесса, в килобайтах

data seg size ( -d)

LimitSTACK

Максимальный размер стека, выделенный процессу, в килобайтах

stack size ( -s)

LimitCORE

Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт

core file size ( -c)

LimitRSS

Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах

max memory size ( -m)

LimitNOFILE

Максимальное количество дескрипторов открытых файлов, разрешенное для процесса

open files ( -n)

LimitAS

Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах

virtual memory ( -v)

LimitNPROC

Максимальное количество процессов

max user processes ( -u)

LimitMEMLOCK

Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется

max locked memory ( -l)

LimitLOCKS

Максимальное количество файлов, заблокированных процессом

file locks ( -x)

LimitSIGPENDING

Максимальное количество сигналов, ожидающих доставки в вызывающий поток

pending signals ( -i)

LimitMSGQUEUE

Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений

POSIX message queues ( -q)

LimitNICE

Максимальный уровень приоритета NICE, который может быть назначен процессу

scheduling priority ( -e)

LimitRTPRIO

Максимальный приоритет планирования в реальном времени

real-time priority ( -r)

LimitRTTIME

Максимальный размер буфера конвейера (pipe), в блоках по 512 байт

pipe size ( -p)
Компонент Airflow2 Server
Параметр Описание Значение по умолчанию

Enable custom ulimits

Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже

 
[Service]
LimitCPU=
LimitFSIZE=
LimitDATA=
LimitSTACK=
LimitCORE=
LimitRSS=
LimitNOFILE=
LimitAS=
LimitNPROC=
LimitMEMLOCK=
LimitLOCKS=
LimitSIGPENDING=
LimitMSGQUEUE=
LimitNICE=
LimitRTPRIO=
LimitRTTIME=
Ulimit settings
Параметр Описание Соответствующая опция команды ulimit в CentOS

LimitCPU

Ограничение в секундах на количество процессорного времени, которое может потреблять процесс

cpu time ( -t)

LimitFSIZE

Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт

file size ( -f)

LimitDATA

Максимальный размер сегмента данных процесса, в килобайтах

data seg size ( -d)

LimitSTACK

Максимальный размер стека, выделенный процессу, в килобайтах

stack size ( -s)

LimitCORE

Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт

core file size ( -c)

LimitRSS

Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах

max memory size ( -m)

LimitNOFILE

Максимальное количество дескрипторов открытых файлов, разрешенное для процесса

open files ( -n)

LimitAS

Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах

virtual memory ( -v)

LimitNPROC

Максимальное количество процессов

max user processes ( -u)

LimitMEMLOCK

Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется

max locked memory ( -l)

LimitLOCKS

Максимальное количество файлов, заблокированных процессом

file locks ( -x)

LimitSIGPENDING

Максимальное количество сигналов, ожидающих доставки в вызывающий поток

pending signals ( -i)

LimitMSGQUEUE

Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений

POSIX message queues ( -q)

LimitNICE

Максимальный уровень приоритета NICE, который может быть назначен процессу

scheduling priority ( -e)

LimitRTPRIO

Максимальный приоритет планирования в реальном времени

real-time priority ( -r)

LimitRTTIME

Максимальный размер буфера конвейера (pipe), в блоках по 512 байт

pipe size ( -p)
Компонент Airflow2 Worker
Параметр Описание Значение по умолчанию

Enable custom ulimits

Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже

 
[Service]
LimitCPU=
LimitFSIZE=
LimitDATA=
LimitSTACK=
LimitCORE=
LimitRSS=
LimitNOFILE=
LimitAS=
LimitNPROC=
LimitMEMLOCK=
LimitLOCKS=
LimitSIGPENDING=
LimitMSGQUEUE=
LimitNICE=
LimitRTPRIO=
LimitRTTIME=
Ulimit settings
Параметр Описание Соответствующая опция команды ulimit в CentOS

LimitCPU

Ограничение в секундах на количество процессорного времени, которое может потреблять процесс

cpu time ( -t)

LimitFSIZE

Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт

file size ( -f)

LimitDATA

Максимальный размер сегмента данных процесса, в килобайтах

data seg size ( -d)

LimitSTACK

Максимальный размер стека, выделенный процессу, в килобайтах

stack size ( -s)

LimitCORE

Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт

core file size ( -c)

LimitRSS

Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах

max memory size ( -m)

LimitNOFILE

Максимальное количество дескрипторов открытых файлов, разрешенное для процесса

open files ( -n)

LimitAS

Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах

virtual memory ( -v)

LimitNPROC

Максимальное количество процессов

max user processes ( -u)

LimitMEMLOCK

Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется

max locked memory ( -l)

LimitLOCKS

Максимальное количество файлов, заблокированных процессом

file locks ( -x)

LimitSIGPENDING

Максимальное количество сигналов, ожидающих доставки в вызывающий поток

pending signals ( -i)

LimitMSGQUEUE

Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений

POSIX message queues ( -q)

LimitNICE

Максимальный уровень приоритета NICE, который может быть назначен процессу

scheduling priority ( -e)

LimitRTPRIO

Максимальный приоритет планирования в реальном времени

real-time priority ( -r)

LimitRTTIME

Максимальный размер буфера конвейера (pipe), в блоках по 512 байт

pipe size ( -p)
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней