Конфигурационные параметры Flink

Sources

Список источников, которые будут записаны в flink-env.sh

/usr/lib/bigtop-utils/bigtop-detect-javahome

HADOOP_CLASSPATH

Список файлов и директорий, которые должны быть добавлены в classpath

$(hadoop classpath)

HADOOP_HOME

Домашняя директория Hadoop

/usr/lib/hadoop

HADOOP_CONF_DIR

Директория, в которой хранятся конфигурации Hadoop

/etc/hadoop/conf

FLINK_LOG_DIR

Директория, в которой хранятся логи Flink

/var/log/flink

FLINK_CONF_DIR

Директория, в которой хранятся конфигурации Flink

/etc/flink/conf

FLINK_HOME

Домашняя директория Flink

/usr/lib/flink

$HADOOP_OPTS

Список параметров, с которыми стартует процесс Flink

$HADOOP_OPTS -Dsecurity.kerberos.token.provider.hadoopfs.renewer=yarn

historyserver.archive.fs.dir

Разделенный запятыми список директорий с архивами задач Flink, которые сканирует Flink History Server

hdfs:///apps/flink/completed-jobs

jobmanager.archive.fs.dir

Директория, в которую JobManager сохраняет архивы завершенных задач

hdfs:///apps/flink/completed-jobs

archive.fs.refresh-interval

Интервал сканирования директорий с архивами задач в миллисекундах

10000

historyserver.web.port

Номер порта веб-интерфейса Flink History Server

8082

historyserver.web.ssl.enabled

Включает/отключает SSL для доступа к веб-интерфейсу Flink History Server

false

rest.port

Порт для подключения клиента. Используется только если режим высокой доступности находится в состоянии NONE

8081

jobmanager.rpc.port

RPC-порт, по которому доступен JobManager. Этот параметр не используется в режиме высокой доступности (High Availability, HA), поскольку при HA порт для подключения к JobManager генерирует ZooKeeper

6123

sql-gateway.endpoint.rest.port

Номер порта для соединения с сервисом SQL Gateway

8083

taskmanager.network.bind-policy

Политика автоматического биндинга адресов, используемая TaskManager

name

parallelism.default

Уровень параллелизма по умолчанию для всех сред выполнения

1

taskmanager.numberOfTaskSlots

Количество слотов задач, которые предлагает каждый TaskManager. Каждый слот запускает один параллельный пайплайн

1

taskmanager.cpu.cores

Количество ядер CPU, используемое TaskManager. По умолчанию значение равно количеству слотов на один TaskManager

1

taskmanager.memory.flink.size

Общий объем памяти, выделяемый для TaskExecutors

 — 

taskmanager.memory.process.size

Общий объем памяти процесса, выделяемый для TaskExecutors. Сюда входит вся память, которую потребляет TaskExecutor, включая общую память Flink, JVM Metaspace и JVM Overhead. В контейнеризованных средах этот параметр следует устанавливать равным памяти контейнера

2048m

jobmanager.memory.flink.size

Общий объем памяти, выделяемый для JobManager

 — 

jobmanager.memory.process.size

Общий объем памяти процесса, выделяемый для JobManager. Сюда входит вся память, которую потребляет JVM JobManager, включая общую память Flink, JVM Metaspace и JVM Overhead. В контейнеризованных средах этот параметр следует устанавливать равным памяти контейнера

2048m

taskmanager.heap.size

Размер Java heap для JVM TaskManager

1024m

jobmanager.memory.heap.size

Размер Java heap для JVM JobManager

 — 

flink.yarn.appmaster.vcores

Количество виртуальных ядер (vcores), используемых YARN application master

1

taskmanager.host

Внешний адрес сетевого интерфейса, где запущен TaskManager

 — 

taskmanager.memory.task.heap.size

Размер Java heap, зарезервированной для задач

256m

taskmanager.memory.task.off-heap.size

Размер памяти off-heap, зарезервированной для задач

256m

taskmanager.memory.managed.size

Размер managed-памяти для TaskExecutors. Включает память off-heap, управляемую менеджером памяти, память, зарезервированную для сортировки, хеш-таблиц, кеширования промежуточных результатов, а также бэкенд RocksDB

256m

taskmanager.memory.framework.heap.size

Размер памяти Java heap, зарезервированной для фреймворка TaskExecutor, которая не будет выделяться под слоты задач

256m

taskmanager.memory.framework.off-heap.size

Размер памяти off-heap, зарезервированной для фреймворка TaskExecutor, которая не будет выделяться под слоты задач

256m

taskmanager.memory.network.min

Минимальный размер сетевой памяти (network memory) для TaskExecutors. Сетевая память — это область памяти off-heap, зарезервированная для ShuffleEnvironment (например, сетевые буферы)

256m

taskmanager.memory.network.max

Максимальный размер сетевой памяти (network memory) для TaskExecutors. Сетевая память — это область памяти off-heap, зарезервированная для ShuffleEnvironment (например, сетевые буферы)

256m

taskmanager.memory.jvm-overhead.max

Максимальный размер JVM overhead для TaskExecutors. Это память типа off-heap, зарезервированная для JVM overhead, например пространство стека потоков, кеш компиляции и так далее

256m

taskmanager.memory.jvm-metaspace.size

Размер метапространства JVM для TaskExecutors

256m

yarn.provided.lib.dirs

Список директорий с provided-библиотеками, разделенный точкой с запятой. Flink использует эти библиотеки, чтобы не загружать локальные JAR-файлы для ускорения запуска задачи

hdfs:///apps/flink/

flink.yarn.resourcemanager.scheduler.address

Адрес интерфейса планировщика

 — 

flink.yarn.containers.vcores

Устанавливает количество виртуальных ядер для контейнеров Flink YARN

1

flink.yarn.application.classpath

high-availability.cluster-id

ID Flink-кластера для разделения нескольких Flink-кластеров друг от друга

default

high-availability.storageDir

Путь в файловой системе (URI), где Flink хранит метаданные в режиме высокой доступности

 — 

high-availability

Определяет режим высокой доступности (High Availability, HA) для кластера

ZOOKEEPER

high-availability.zookeeper.quorum

ZooKeeper-кворум при работе Flink в режиме высокой доступности с ZooKeeper

 — 

high-availability.zookeeper.path.root

Рутовый путь Flink ZNode в Zookeeper

/flink

sql-gateway.session.check-interval

Интервал для проверки сессий на бездействие. Значение меньшее или равное 0 отключает проверки

1 min

sql-gateway.session.idle-timeout

Время, по истечении которого сессия автоматически закрывается, если не было установлено ни единого соединения. При значении меньшем или равном 0 сессии не закрываются

10 min

sql-gateway.session.max-num

Максимально возможное количество сессий на сервере SQL Gateway

1000000

sql-gateway.worker.keepalive-time

Время гарантированной жизни worker-потоков при бездействии. Когда количество worker-потоков превышает значение sql-gateway.worker.threads.min, потоки удаляются после данного интервала

5 min

sql-gateway.worker.threads.max

Максимально возможное количество worker-потоков

500

sql-gateway.worker.threads.min

Минимальное количество worker-потоков на сервере SQL Gateway. Если количество потоков меньше данного значения, потоки автоматически не удаляются

5

env.java.opts.all

Параметры Java, используемые для запуска всех JVM Flink

-Djava.io.tmpdir={{ cluster.config.java_tmpdir | d('/tmp') }}

security.kerberos.login.use-ticket-cache

Определяет, использовать ли кеш тикетов Kerberos

false

security.delegation.token.provider.HiveServer2.enabled

Определяет, должен ли сервис получать учетные данные из HiveServer2 при включенной безопасности

false

security.kerberos.login.keytab

Абсолютный путь к Kerberos keytab-файлу, который хранит учетные данные пользователя

 — 

security.kerberos.login.principal

Принципал Kerberos для Flink

 — 

security.delegation.tokens.hive.renewer

Принципал Flink Kerberos для Hive

 — 

security.kerberos.login.contexts

Разделенный запятыми список логин-контекстов, которым предоставляются учетные данные Kerberos

 — 

security.ssl.internal.enabled

Включает SSL для внутренних каналов связи между компонентами Flink. Сюда входит общение между TaskManagers, транспортировка данных из JobManager в TaskManager, установка RPC-соединений и так далее

false

security.ssl.internal.keystore

Путь к keystore-файлу, который используется внутренними эндпойнтами Flink

 — 

security.ssl.internal.truststore

Путь к truststore-файлу, который используется внутренними эндпойнтами Flink

 — 

security.ssl.internal.keystore-password

Пароль к keystore-файлу, который используется внутренними эндпойнтами Flink

 — 

security.ssl.internal.truststore-password

Пароль к truststore-файлу, который используется внутренними эндпойнтами Flink

 — 

security.ssl.internal.key-password

Пароль для дешифрования ключа в keystore-файле, который используется внутренними эндпойнтами Flink

 — 

security.ssl.rest.enabled

Включает SSL для коммуникации через внешние REST-эндпойнты

false

security.ssl.rest.keystore

Java keystore-файл, который содержит SSL-ключ и сертификат для использования внешними REST-эндпойнтами Flink

 — 

security.ssl.rest.truststore

Truststore-файл, который содержит сертификаты ЦС для проверки внешних REST-эндпойнтов Flink

 — 

security.ssl.rest.keystore-password

Секретный ключ для дешифрования keystore-файла, используемого для внешних REST-эндпойнтов Flink

 — 

security.ssl.rest.truststore-password

Пароль для доступа к truststore-файлу, который используется для внешних REST-эндпойнтов Flink

 — 

security.ssl.rest.key-password

Пароль для расшифровки ключа в keystore-файле для использования внешними REST-эндпойнтами Flink

 — 

security.ssl.protocol

Версия протокола TLS, которая будет использоваться для SSL. Принимает только одно значение, но не список

TLSv1.2

zookeeper.sasl.disable

Определяет использование SASL-аутентификации в Zookeeper

false

Logging level

Устанавливает уровень логирования Flink

INFO

yarn.classpath.include-user-jar

ORDER

Custom flink-conf.yaml

 — 

log4j.properties

Содержимое конфигурационного файла log4j.properties

log4j-cli.properties

Содержимое конфигурационного файла log4j-cli.properties