Конфигурационные параметры Flink2

Sources

Список источников, которые будут записаны в flink-env.sh

/usr/lib/bigtop-utils/bigtop-detect-javahome

HADOOP_CLASSPATH

Список файлов и директорий, которые должны быть добавлены в classpath

$(hadoop classpath)

HADOOP_HOME

Домашняя директория Hadoop

/usr/lib/hadoop

HADOOP_CONF_DIR

Директория, в которой хранятся конфигурации Hadoop

/etc/hadoop/conf

FLINK_LOG_DIR

Директория, в которой хранятся логи Flink

/var/log/flink2

FLINK_CONF_DIR

Директория, в которой хранятся конфигурации Flink

/etc/flink2/conf

FLINK_HOME

Домашняя директория Flink

/usr/lib/flink2

$HADOOP_OPTS

Список дополнительных параметров для запуска процесса Flink

$HADOOP_OPTS -Dsecurity.kerberos.token.provider.hadoopfs.renewer=yarn

historyserver.archive.fs.dir

Разделенный запятыми список директорий с архивами задач Flink, которые сканирует Flink History Server

hdfs:///apps/flink2/completed-jobs

jobmanager.archive.fs.dir

Директория, в которую JobManager сохраняет архивы завершенных задач

hdfs:///apps/flink2/completed-jobs

archive.fs.refresh-interval

Интервал сканирования директорий с архивами задач в миллисекундах

10000

historyserver.web.port

Номер порта веб-интерфейса Flink History Server

8092

historyserver.web.ssl.enabled

Включает/отключает SSL для доступа к веб-интерфейсу Flink History Server

false

jobmanager.rpc.port

RPC-порт, по которому доступен JobManager. Этот параметр не используется в режиме высокой доступности (High Availability, HA), поскольку при HA порт для подключения к JobManager генерирует ZooKeeper

6123

sql-gateway.endpoint.rest.port

Номер порта для соединения с сервисом SQL Gateway

8093

taskmanager.network.bind-policy

Политика автоматического биндинга адресов, используемая TaskManager

name

parallelism.default

Уровень параллелизма по умолчанию для всех сред выполнения

1

taskmanager.numberOfTaskSlots

Количество слотов задач, которые предлагает каждый TaskManager. Каждый слот запускает один параллельный пайплайн

1

taskmanager.cpu.cores

Количество ядер CPU, используемое TaskManager. По умолчанию значение равно количеству слотов на один TaskManager

1

taskmanager.memory.process.size

Общий объем памяти процесса, выделяемый для TaskExecutors. Сюда входит вся память, которую потребляет TaskExecutor, включая общую память Flink, JVM Metaspace и JVM Overhead. В контейнеризованных средах этот параметр следует устанавливать равным памяти контейнера

2048m

jobmanager.memory.process.size

Общий объем памяти процесса, выделяемый для JobManager. Сюда входит вся память, которую потребляет JVM JobManager, включая общую память Flink, JVM Metaspace и JVM Overhead. В контейнеризованных средах этот параметр следует устанавливать равным памяти контейнера

2048m

flink.yarn.appmaster.vcores

Количество виртуальных ядер (vcores), используемых YARN application master

1

taskmanager.host

Внешний адрес сетевого интерфейса, где запущен TaskManager

 — 

taskmanager.memory.task.heap.size

Размер Java heap, зарезервированной для задач

256m

taskmanager.memory.task.off-heap.size

Размер памяти off-heap, зарезервированной для задач

256m

taskmanager.memory.managed.size

Размер managed-памяти для TaskExecutors. Включает память off-heap, управляемую менеджером памяти, память, зарезервированную для сортировки, хеш-таблиц, кеширования промежуточных результатов, а также бэкенд RocksDB

256m

taskmanager.memory.framework.heap.size

Размер памяти Java heap, зарезервированной для фреймворка TaskExecutor, которая не будет выделяться под слоты задач

256m

taskmanager.memory.framework.off-heap.size

Размер памяти off-heap, зарезервированной для фреймворка TaskExecutor, которая не будет выделяться под слоты задач

256m

taskmanager.memory.network.min

Минимальный размер сетевой памяти (network memory) для TaskExecutors. Сетевая память — это область памяти off-heap, зарезервированная для ShuffleEnvironment (например, сетевые буферы)

256m

taskmanager.memory.network.max

Максимальный размер сетевой памяти (network memory) для TaskExecutors. Сетевая память — это область памяти off-heap, зарезервированная для ShuffleEnvironment (например, сетевые буферы)

256m

taskmanager.memory.jvm-overhead.max

Максимальный размер JVM overhead для TaskExecutors. Это память типа off-heap, зарезервированная для JVM overhead, например пространство стека потоков, кеш компиляции и так далее

256m

taskmanager.memory.jvm-metaspace.size

Размер метапространства JVM для TaskExecutors

256m

yarn.provided.lib.dirs

Список директорий с provided-библиотеками, разделенный точкой с запятой. Flink использует эти библиотеки, чтобы не загружать локальные JAR-файлы для ускорения запуска задачи

hdfs:///apps/flink2/

flink.yarn.resourcemanager.scheduler.address

Адрес интерфейса планировщика

 — 

flink.yarn.containers.vcores

Устанавливает количество виртуальных ядер для контейнеров Flink YARN

1

flink.yarn.application.classpath

sql-gateway.session.check-interval

Интервал для проверки сессий на бездействие. Значение меньшее или равное 0 отключает проверки

1 min

sql-gateway.session.idle-timeout

Время, по истечении которого сессия автоматически закрывается, если не было установлено ни единого соединения. При значении меньшем или равном 0 сессии не закрываются

10 min

sql-gateway.session.max-num

Максимально возможное количество сессий на сервере SQL Gateway

1000000

sql-gateway.worker.keepalive-time

Время гарантированной жизни worker-потоков при бездействии. Когда количество worker-потоков превышает значение sql-gateway.worker.threads.min, потоки удаляются после данного интервала

5 min

sql-gateway.worker.threads.max

Максимально возможное количество worker-потоков

500

sql-gateway.worker.threads.min

Минимальное количество worker-потоков на сервере SQL Gateway. Если количество потоков меньше данного значения, потоки автоматически не удаляются

5

env.java.opts.all

Параметры Java, используемые для запуска всех JVM Flink

-Djava.io.tmpdir={{ cluster.config.java_tmpdir | d('/tmp') }}

security.kerberos.login.use-ticket-cache

Определяет, использовать ли кеш тикетов Kerberos

false

security.delegation.token.provider.HiveServer2.enabled

Определяет, должен ли сервис получать учетные данные из HiveServer2 при включенной безопасности

false

security.kerberos.login.keytab

Абсолютный путь к Kerberos keytab-файлу, который хранит учетные данные пользователя

 — 

security.kerberos.login.principal

Принципал Kerberos для Flink

 — 

security.delegation.tokens.hive.renewer

Принципал Flink Kerberos для Hive

 — 

security.kerberos.login.contexts

Разделенный запятыми список логин-контекстов, которым предоставляются учетные данные Kerberos

 — 

security.ssl.internal.enabled

Включает SSL для внутренних каналов связи между компонентами Flink. Сюда входит общение между TaskManagers, транспортировка данных из JobManager в TaskManager, установка RPC-соединений и так далее

false

security.ssl.internal.keystore

Путь к keystore-файлу, который используется внутренними эндпойнтами Flink

 — 

security.ssl.internal.truststore

Путь к truststore-файлу, который используется внутренними эндпойнтами Flink

 — 

security.ssl.internal.keystore-password

Пароль к keystore-файлу, который используется внутренними эндпойнтами Flink

 — 

security.ssl.internal.truststore-password

Пароль к truststore-файлу, который используется внутренними эндпойнтами Flink

 — 

security.ssl.internal.key-password

Пароль для дешифрования ключа в keystore-файле, который используется внутренними эндпойнтами Flink

 — 

security.ssl.rest.enabled

Включает SSL для коммуникации через внешние REST-эндпойнты

false

security.ssl.rest.keystore

Java keystore-файл, который содержит SSL-ключ и сертификат для использования внешними REST-эндпойнтами Flink

 — 

security.ssl.rest.truststore

Truststore-файл, который содержит сертификаты ЦС для проверки внешних REST-эндпойнтов Flink

 — 

security.ssl.rest.keystore-password

Секретный ключ для дешифрования keystore-файла, используемого для внешних REST-эндпойнтов Flink

 — 

security.ssl.rest.truststore-password

Пароль для доступа к truststore-файлу, который используется для внешних REST-эндпойнтов Flink

 — 

security.ssl.rest.key-password

Пароль для расшифровки ключа в keystore-файле для использования внешними REST-эндпойнтами Flink

 — 

security.ssl.protocol

Версия протокола TLS, которая будет использоваться для SSL. Принимает только одно значение, но не список

TLSv1.2

Logging level

Устанавливает уровень логирования Flink

INFO

yarn.classpath.include-user-jar

ORDER

Custom flink_env.sh

 — 

Custom config.yaml

 — 

Custom sql-gateway-runner flink-conf.yaml

 — 

log4j.properties

Содержимое конфигурационного файла log4j.properties

log4j-cli.properties

Содержимое конфигурационного файла log4j-cli.properties

log4j-console.properties

Содержимое конфигурационного файла log4j-console.properties

log4j-session.properties

Содержимое конфигурационного файла log4j-session.properties