Конфигурационные параметры ADS

Статья описывает параметры, которые могу быть настроены для сервисов ADS через ADCM. Процесс настройки сервисов приведен в соответствующих статьях: Online-установка, Offline-установка.

ПРИМЕЧАНИЕ
Некоторые из перечисленных параметров становятся доступны в UI ADCM после установки флага Show advanced.

Kafka

Main

 

Параметр Описание Значение по умолчанию

log.dirs

Каталог для хранения логов

/kafka-logs

listeners

Список URI (протокол, хост и порт, на котором поднят брокер).

Если используется не протокол PLAINTEXT, то необходимо также указать listener.security.protocol.map

Для привязки ко всем интерфейсам указать имя хоста как 0.0.0.0

PLAINTEXT://:9092

default.replication.factor

Коэффициенты репликации по умолчанию для автоматически создаваемых топиков

1

num.partitions

Количество партиций журнала каждого топика по умолчанию

1

delete.topic.enable

Параметр позволяет удалять топики. Если параметр выключен, то удаление топика через инструменты администрирования не приводит к фактическому удалению

ON

log.retention.hours

Количество часов, в течение которых топики хранятся в Kafka

168

log.roll.hours

Количество часов, по истечении которых пояляется новый журнал сегмента, даже если старый журнал не переполнен

168

Log Cleaner

 
Конфигурации очистки журналов

Параметр Описание Значение по умолчанию

log.cleanup.policy

Политика очистки журналов

delete

log.cleanup.interval.mins

Интервал, определяющий, как часто средство очистки журналов проверяет журналы, подлежащие удалению. Файл журнала подлежит удалению, если он не был изменен в течение времени, заданного параметром log.retention.hours (168 часов по умолчанию)

10

log.cleaner.min.compaction.lag.ms

Минимальное время, в течение которого сообщение остается несжатым в журнале. Применяется только для журналов с функцией сжатия (в мс)

0

log.cleaner.delete.retention.ms

Время, в течение которого должны сохраняться маркеры удаленных записей в реплике для топиков в сжатых журналах (log compacted topics) (в мс)

86400000

kafka-env.sh

 

Параметры переменных окружения сервиса Kafka

Параметр Описание Значение по умолчанию

PID_DIR

Каталог для хранения ID процесса Kafka

/var/run/kafka

LOG_DIR

Каталог для хранения логов

/var/log/kafka

JMX_PORT

Порт, по которому Kafka отдает JMX-метрики

9999

server.properties

 

Параметр Описание Значение по умолчанию

auto.create.topics.enable

Включение автоматического создания топиков

OFF

auto.leader.rebalance.enable

Включение автоматической балансировки лидера. Балансировка лидера в фоновом режиме через регулярные промежутки времени

ON

queued.max.requests

Количество запросов в очереди до блокировки сетевых потоков

500

num.network.threads

Количество потоков, используемых сервером для получения запросов от сети и отправки ответов в сеть

3

num.io.threads

Число потоков, используемых сервером для обработки запросов, которые могут включать дисковые операции ввода-вывода

8

unclean.leader.election.enable

Указывает, следует ли включить не входящие в набор ISR-реплики и установка последнего средства в качестве лидера, даже если это может привести к потере данных

OFF

offsets.topic.replication.factor

Коэффициент репликации для топика смещения (устанавливается выше с целью обеспечения доступности). Создание внутреннего топика невозможно, пока размер кластера не соответствует данному требованию коэффициента репликации

1

transaction.state.log.min.isr

Переопределение конфигурации min.insync.replicas для топика транзакции

1

transaction.state.log.replication.factor

Коэффициент репликации для топика транзакции (задается выше для обеспечения доступности). Создание внутреннего топика завершается ошибкой, пока размер кластера не соответствует данному требованию к фактору репликации

1

zookeeper.connection.timeout.ms

Максимальное время ожидания клиентом установки соединения с ZooKeeper. Если параметр не задан, используется значение zookeeper.session.timeout.ms (в мс)

30000

zookeeper.session.timeout.ms

Тайм-аут сессии ZooKeeper (в мс)

30000

zookeeper.sync.time.ms

Удаленность последователя ZooKeeper от лидера ZooKeeper (в мс)

2000

security.inter.broker.protocol

Протокол безопасности, используемый для связи между брокерами

PLAINTEXT

ssl.keystore.location

Расположение файла хранилища ключей keystore. Это необязательно для клиента и может использоваться для двухэтапной аутентификации клиента

 — 

ssl.keystore.password

Пароль хранилища для файла хранилища ключей keystore. Это необязательно для клиента и требуется только в том случае, если настроен параметр ssl.keystore.location

 — 

ssl.key.password

Пароль закрытого ключа в файле хранилища ключей keystore. Это необязательно для клиента

 — 

ssl.keystore.type

Формат файла хранилища ключей keystore. Это необязательно для клиента

 — 

ssl.truststore.location

Расположение файла хранилища truststore

 — 

ssl.truststore.password

Пароль хранилища для файла хранилища truststore. Это необязательно для клиента и требуется только в том случае, если настроен параметр ssl.truststore.location

 — 

ssl.truststore.type

Формат файла хранилища truststore

 — 

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации server.properties

 — 

ranger-kafka-audit.xml

 
Параметры Apache Ranger

Параметр Описание Значение по умолчанию

xasecure.audit.destination.solr.batch.filespool.dir

Каталог для Solr audit spool

/srv/ranger/kafka_plugin/audit_solr_spool

xasecure.audit.destination.solr.urls

Определяет Solr URL. Не устанавливается при использовании ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.zookeepers

Включает аудит в Solr для плагинов Ranger

 — 

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-kafka-audit.xml

 — 

ranger-kafka-security.xml

 
Параметры Apache Ranger

Параметр Описание Значение по умолчанию

ranger.plugin.kafka.policy.rest.url

Путь (адрес, порт) для подключения к Ranger Admin Kafka

 — 

ranger.plugin.kafka.service.name

Имя сервиса Ranger, содержащего политику для конкретного экземпляра Kafka

 — 

ranger.plugin.kafka.policy.cache.dir

Каталог, в котором кешируется политика Ranger после успешного извлечения из источника

/srv/ranger/kafka/policycache

ranger.plugin.kafka.policy.pollIntervalMs

Как часто проводить опрос на предмет изменений в политике (в мс)

30000

ranger.plugin.kafka.policy.rest.client.connection.timeoutMs

Тайм-аут соединения плагина Kafka RangerRestClient (в мс)

120000

ranger.plugin.kafka.policy.rest.client.read.timeoutMs

Тайм-аут чтения плагина Kafka RangerRestClient (в мс)

30000

ranger.plugin.kafka.policy.rest.ssl.config.file

Расположение файла, содержащего SSL-данные для соединения с Ranger Admin

/etc/kafka/conf/ranger-policymgr-ssl.xml

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-kafka-security.xml

 — 

ranger-policymgr-ssl.xml

 
Apache Ranger options

Параметр Описание Значение по умолчанию

xasecure.policymgr.clientssl.keystore

Расположение файла хранилища ключей keystore

 — 

xasecure.policymgr.clientssl.keystore.password

Пароль хранилища ключей keystore

 — 

xasecure.policymgr.clientssl.truststore

Расположение файла хранилища сертификатов truststore

 — 

xasecure.policymgr.clientssl.truststore.password

Пароль хранилища truststore

 — 

xasecure.policymgr.clientssl.keystore.credential.file

Расположение файла учетных записей keystore

/etc/kafka/conf/keystore.jceks

xasecure.policymgr.clientssl.truststore.credential.file

Расположение файла учетных записей truststore

/etc/kafka/conf/truststore.jceks

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-policymgr-ssl.xml

 — 

JMX auth

 
Включает аутентификацию для JMX в брокере Kafka (используется при необходимости защиты доступа к JMX-порту брокеров Kafka)

Параметр Описание

Username

Имя пользователя для аутентификации в JMX

Password

Пароль пользователя для аутентификации в JMX

 
Конфигурационные параметры компонента Kafka Broker:

log4j properties configuration

 

Параметр Описание Значение по умолчанию

log4j.rootLogger

Настройка уровня ведения логов

INFO

log4j.logger.org.apache.zookeeper

Настройка ведения логов клиента ZooKeeper

INFO

log4j.logger.kafka

Настройка уровня ведения логов брокера Kafka (вывод в server.log и стандартный вывод). См. также log4j.logger.org.apache.kafka

INFO

log4j.logger.org.apache.kafka

Настройка уровня ведения логов брокера Kafka (вывод в server.log и стандартный вывод). См. также log4j.logger.kafka

INFO

log4j.logger.kafka.request.logger

Настройка ведения лога запросов — измените на DEBUG или TRACE, чтобы включить

WARN

log4j.logger.kafka.controller

Настройка уровня ведения логов контроллера Kafka

TRACE

log4j.logger.kafka.log.LogCleaner

Настройка уровня очистки логов Kafka

INFO

log4j.logger.state.change.logger

Настройка изменения статуса логов

INFO

log4j.logger.kafka.authorizer.logger

Настройка доступа к логам — отказы в доступе регистрируются на уровне INFO. Измените на DEBUG, чтобы также регистрировать разрешенные доступы

INFO

tools log4j properties configuration

 

Параметр Описание Значение по умолчанию

log4j.rootLogger

Настройка уровня ведения логов

WARN

Kafka Connect

Main

 

Параметр Описание Значение по умолчанию

tasks.max

Максимальное количество задач, которые могут быть созданы для этого коннектора

10

offset-syncs.topic.replication.factor

Фактор репликации для внутреннего топика offset-syncs.topic

1

checkpoint.topic.replication.factor:

Фактор репликации для внутреннего топика checkpoint.topic

1

sync.topic.acls.enabled

Включение мониторинга исходного кластера на предмет изменений ACL

OFF

kafka-connect-env.sh

 

Параметр Описание Значение по умолчанию

KAFKA_HEAP_OPTS

Размер heap, выделенный серверному процессу KAFKA

-Xms256M -Xmx2G

LOG_DIR

Каталог для хранения логов

/var/log/kafka

KAFKA_LOG4J_OPTS

Переменная окружения для конфигурации ведения журнала LOG4J

-Dlog4j.configuration=file:/etc/kafka/conf/connect-distributed-log4j.properties

connect-distributed.properties

 

Параметр Описание Значение по умолчанию

group.id

Уникальная строка, идентифицирующая группу Kafka Connect, которой принадлежит этот коннектор

mm-connect

rest.port

Порт для работы Kafka Connect REST API

8083

plugin.path

Путь к плагину Kafka Connect

 — 

config.storage.replication.factor

Фактор репликации для config.storage.topic

1

offset.storage.replication.factor

Фактор репликации для offset.storage.topic

1

status.storage.replication.factor

Фактор репликации для status.storage.topic

1

offset.flush.interval.ms

Интервал, через который можно попытаться зафиксировать смещения для задач (в мс)

1

key.converter

Преобразователь класса для ключевых данных Connect

org.apache.kafka.connect.converters.ByteArrayConverter

value.converter

Преобразователь класса для значения Connect data

org.apache.kafka.connect.converters.ByteArrayConverter

connector.client.config.override.policy

Имя класса или псевдоним реализации ConnectorClientConfigOverridePolicy

None

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации connect-distributed.properties

 — 

connect-distributed-log4j.properties

 

Параметр Описание Значение по умолчанию

rootLogger

Уровень ведения логов

INFO

MaxBackupIndex

Максимальное количество сохраненых файлов

10

MaxFileSize

Максимальный размер файла

100MB

Настройка структуры файла конфигурации ведения журнала для Kafka Connect

Журнал (логгер) Имена пакетов по умолчанию Уровень события по умолчанию

loggers

org.apache.zookeeper

ERROR

org.I0Itec.zkclient

ERROR

org.reflections

ERROR

SSL

 

Параметр Описание Значение по умолчанию

ssl.keystore.location

Расположение файла хранилища ключей keystore. Это необязательно для клиента и может использоваться для двухэтапной аутентификации клиента

 — 

ssl.keystore.password

Пароль хранилища для файла хранилища ключей keystore. Это необязательно для клиента и требуется только в том случае, если настроен параметр ssl.keystore.location

 — 

ssl.key.password

Пароль закрытого ключа в файле хранилища ключей keystore. Это необязательно для клиента

 — 

ssl.keystore.type

Формат файла хранилища ключей keystore. Это необязательно для клиента

 — 

ssl.truststore.location

Расположение файла хранилища truststore

 — 

ssl.truststore.password

Пароль хранилища для файла хранилища truststore. Это необязательно для клиента и требуется только в том случае, если настроен параметр ssl.truststore.location

 — 

ssl.truststore.type

Формат файла хранилища truststore

 — 

Kafka-Manager

Main

 

Параметр Описание Значение по умолчанию

Kafka-Manager port

Порт, на котором поднимается Kafka-Manager. Указывается как JAVA_OPTS в файле kafka-manager-env

9000

application.conf

 

Параметр Описание Значение по умолчанию

ssl_active

Опция для включения SSL

OFF

play.server.https.keyStore.path

Расположение файла keyStore

/tmp/keystore.jks

play.server.https.keyStore.password

Пароль хранилища для файла keyStore

 — 

play.server.https.keyStore.type

Формат файла keyStore

JKS

kafka-manager.consumer.properties.file

Формат файла хранилища truststore

/cmak/conf/consumer.properties

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации application.conf

 — 

Параметр Описание Значение по умолчанию

Kafka Manager env

Пользовательские параметры переменных среды

 — 

consumer.properties

 

Параметр Описание Значение по умолчанию

key.deserializer

Класс API, использующийся для десериализации ключа записи

org.apache.kafka.common.serialization.ByteArrayDeserializer

value.deserializer

Класс API, использующийся для десериализации значения записи

org.apache.kafka.common.serialization.ByteArrayDeserializer

ssl.keystore.location

Местоположение файла keystore. Опционально для клиента и может использоваться для двусторонней аутентификации

/tmp/keystore.jks

ssl.keystore.password

Пароль хранилища для файла keystore. Опционально для клиента и необходимо только в том случае, если настроен ssl.keystore.location.

 — 

ssl.key.password

Пароль закрытого ключа в файле keystore. Опционально для клиента

 — 

ssl.keystore.type

Формат файла keystore. Опционально для клиента

JKS

ssl.truststore.location

Расположение файла truststore

/tmp/truststore.jks

ssl.truststore.password

Пароль для доступа к хранилищу truststore

 — 

ssl.truststore.type

Формат файла хранилища truststore

JKS

Default POST data for Kafka cluster

 

Параметры, которые используются для добавления Kafka-кластера в сервис Kafka-Manager

Параметр Описание Значение по умолчанию

Enable JMX Polling

Включает или отключает поток опроса для JMX

ON

JMX Auth Username

Добавление нового имени пользователя для авторизации JMX

 — 

JMX Auth Password

Добавление нового пароля пользователя для авторизации JMX

 — 

JMX with SSL

Включение и выключение активации JMX идентификацией SSL

OFF

Poll consumer information

Oпрос информации о потребителях

ON

Filter out inactive consumers

Фильтр неактивных потребителей

ON

Enable Logkafka

Включение и выключение Logkafka

OFF

Enable Active OffsetCache

Включение кеширования смещения тем

ON

Display Broker and Topic Size

Показывать брокера и размер топика

Выключен

brokerViewUpdatePeriodSeconds

Время / цикл обновления цикла просмотра брокера

30

clusterManagerThreadPoolSize

Размер пула потоков управления кластером

10

clusterManagerThreadPoolQueueSize

Размер очереди пула потоков управления кластером

100

kafkaCommandThreadPoolSize

Размер пула потоков команд Kafka

10

kafkaCommandThreadPoolQueueSize

Размер очереди пула командных потоков Kafka

100

logkafkaCommandThreadPoolSize

Размер пула потоков команд Logkafka

10

logkafkaCommandThreadPoolQueueSize

Размер очереди пула командных потоков Logkafka

100

logkafkaUpdatePeriodSeconds

Время цикла обновления Logkafka (в с)

30

partitionOffsetCacheTimeoutSecs

Время цикла обновления Logkafka (в с)

5

brokerViewThreadPoolSize

Размер пула потоков представления брокера

10

brokerViewThreadPoolQueueSize

Размер очереди пула потоков представления брокера

1000

offsetCacheThreadPoolSize

Размер пула потоков смещения кеша

10

offsetCacheThreadPoolQueueSize

Размер очереди пула потоков смещенного кеша

1000

kafkaAdminClientThreadPoolSize

Размер пула потоков клиента управления Kafka

10

kafkaAdminClientThreadPoolQueueSize

Размер очереди пула потоков клиента управления Kafka

1000

kafkaManagedOffsetMetadataCheckMillis

Время проверки смещения метаданных

30000

kafkaManagedOffsetGroupCacheSize

Размер кеша смещенной группы

1000000

kafkaManagedOffsetGroupExpireDays

Время хранения кеша смещенной группы

7

Security Protocol

Протокол безопасности

PLAINTEXT

SASL Mechanism

Выбор механизма аутентификации SASL

DEFAULT

jaasConfig

Конфигурации для аутентификации JAAS

 — 

 
Конфигурационные параметры компонента Kafka-Manager:

log4j properties configuration

 

Параметр Описание Значение по умолчанию

log4j_properties_template

Шаблон для настройки библиотеки логирования log4j

<!--
  ~ Copyright (C) 2009-2015 Typesafe Inc. <http://www.typesafe.com>

  Maintained by ADCM

-->
<!-- The default logback configuration that Play uses if no other configuration is provided -->
<configuration>

    <appender name="FILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>/var/log/kafka-manager/application.log</file>
        <encoder>
           <pattern>%date - [%level] - from %logger in %thread %n%message%n%xException%n</pattern>
        </encoder>

        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <fileNamePattern>/var/log/kafka-manager/application.%d{yyyy-MM-dd}.log</fileNamePattern>
            <maxHistory>5</maxHistory>
            <totalSizeCap>5GB</totalSizeCap>
        </rollingPolicy>
    </appender>

    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%date - [%level] %logger{15} - %message%n%xException{10}</pattern>
        </encoder>
    </appender>

    <appender name="ASYNCFILE" class="ch.qos.logback.classic.AsyncAppender">
        <appender-ref ref="FILE" />
    </appender>

    <appender name="ASYNCSTDOUT" class="ch.qos.logback.classic.AsyncAppender">
        <appender-ref ref="STDOUT" />
    </appender>

    <logger name="play" level="INFO" />
    <logger name="application" level="INFO" />
    <logger name="kafka.manager" level="INFO" />

    <!-- Off these ones as they are annoying, and anyway we manage configuration ourself -->
    <logger name="com.avaje.ebean.config.PropertyMapLoader" level="OFF" />
    <logger name="com.avaje.ebeaninternal.server.core.XmlConfigLoader" level="OFF" />
    <logger name="com.avaje.ebeaninternal.server.lib.BackgroundThread" level="OFF" />
    <logger name="com.gargoylesoftware.htmlunit.javascript" level="OFF" />
    <logger name="org.apache.zookeeper" level="INFO"/>

    <root level="WARN">
        <appender-ref ref="ASYNCFILE" />
        <appender-ref ref="ASYNCSTDOUT" />
    </root>

</configuration>

Kafka REST Proxy

Main

 

Параметр Описание Значение по умолчанию

rest_listener_port

Порт, который слушает REST Proxy. Указывается в качестве параметра listeners в конфигурационном файле kafka-rest.properties

8082

kafka-env.sh

 

Параметр Описание Значение по умолчанию

LOG_DIR

Каталог для хранения логов

/var/log/kafka-rest

JMX_PORT

Порт, по которому Kafka REST Proxy отдает JMX-метрики

9998

KAFKAREST_HEAP_OPTS

Размер heap, выделенный процессу Kafka REST Proxy

-Xmx1024M

KAFKAREST_JMX_OPTS

Параметры JVM в части опций JMX (авторизация, подключение, ssl)

-Dcom.sun.management.jmxremote

-Dcom.sun.management.jmxremote.authenticate=false

-Dcom.sun.management.jmxremote.ssl=false

KAFKAREST_OPTS

Имя переменной окружения Kafka REST Proxy

-Djava.security.auth.login.config=/etc/kafka-rest/jaas_config.conf

Basic Auth properties

 

Параметр Описание Значение по умолчанию

authentication.method

Способ аутентификации

BASIC

authentication.roles

Список ролей пользователей, разделенных запятыми. Чтобы авторизоваться на сервере Kafka REST Proxy, аутентифицированный пользователь должен принадлежать хотя бы к одной из этих ролей

admin

authentication.realm

Cоответствовует разделу в файле jaas_config.file, который определяет, как сервер аутентифицирует пользователей, и должен быть передан как параметр JVM во время запуска сервера

KafkaRest

kafka-rest.properties

 

Параметр Описание Значение по умолчанию

id

Уникальный идентификатор для этого экземпляра сервера REST

kafka-rest-server

consumer.threads

Минимальное количество потоков для выполнения потребительского запроса. Параметр следует установить выше, чем максимальное количество потребителей в одной группе потребителей

50

consumer.request.timeout.ms

Максимальное общее время ожидания сообщений для запроса, если максимальный размер запроса еще не достигнут (в мс)

100

consumer.request.max.bytes:

Максимальное количество байтов в ключах сообщений и значениях, возвращаемых одним запросом

67108864

fetch.min.bytes

Минимальное количество байтов в ключах сообщений и значениях, возвращаемых одним запросом

-1

ssl.endpoint.identification.algorithm

Алгоритм идентификации конечной точки для проверки сервера c использованием сертификата сервера

 — 

ssl.keystore.location

Используется для HTTPS. Расположение файла хранилища keystore SSL

 — 

ssl.keystore.type

Формат файла хранилища keystore

 — 

ssl.keystore.password

Используется для HTTPS. Пароль для доступа к keystore

 — 

ssl.key.password

Используется для HTTPS. Пароль ключа, содержащегося в keystore

 — 

ssl.truststore.location

Используется для HTTPS. Расположение truststore. Требуется только для аутентификации HTTPS-клиентов

 — 

ssl.truststore.type

Формат файла хранилища truststore

 — 

ssl.truststore.password

Используется для HTTPS. Пароль для доступа к хранилищу truststore

 — 

client.ssl.keystore.location

Расположение файла хранилища keystore для использования SSL

 — 

client.ssl.keystore.password

Пароль для доступа к keystore

 — 

client.ssl.key.password

Пароль ключа, содержащегося в keystore

 — 

client.ssl.keystore.type

Формат файла keystore

 — 

client.ssl.truststore.location

Расположение файла хранилища truststore SSL

 — 

client.ssl.truststore.password

Пароль для доступа к хранилищу truststore

 — 

client.ssl.truststore.type

Формат файла хранилища truststore

 — 

client.ssl.endpoint.identification.algorithm

Алгоритм идентификации конечной точки для проверки сервера

 — 

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации kafka-rest.properties

 — 

ksqlDB

Main

 

Параметр Описание Значение по умолчанию

Listener port

Порт, который слушает ksqlDB-server. Указывается в качестве параметра listeners в конфигурационном файле ksql-server.properties

8088

ksql-env.sh

 

Параметр Описание Значение по умолчанию

LOG_DIR

Каталог для хранения логов

/var/log/ksql

JMX_PORT

Порт, по которому ksqlDB-server отдает JMX-метрики

10099

KSQL_HEAP_OPTS

Размер heap, выделенный процессу ksqlDB-server

-Xmx3g

KSQL_JVM_PERFORMANCE_OPTS

Параметры JVM в части опций PERFORMANCE

-server

-XX:+UseConcMarkSweepGC

-XX:+CMSClassUnloadingEnabled

-XX:+CMSScavengeBeforeRemark

-XX:+ExplicitGCInvokesConcurrent

-XX:NewRatio=1 -Djava.awt.headless=true

CLASSPATH

Параметр виртуальной машины Java или компилятора Java, который указывает расположение пользовательских классов и пакетов

/usr/lib/ksql/libs/*

KSQL_CLASSPATH

Путь к Java-развертыванию ksqlDB Server и связанных классов Java

${CLASSPATH}

KSQL_OPTS

Переменная среды, указывает параметры конфигурации сервера ksqlDB. Свойства, установленные с помощью KSQL_OPTS, имеют приоритет над теми, которые указаны в файле конфигурации ksqlDB

-Djava.security.auth.login.config=/etc/ksqldb/jaas_config.conf

Basic Auth properties

 

Параметр Описание Значение по умолчанию

authentication.method

Способ аутентификации

BASIC

authentication.roles

Список ролей пользователей, разделенных запятыми. Чтобы авторизоваться на сервере ksqlDB, аутентифицированный пользователь должен принадлежать хотя бы к одной из этих ролей

admin

authentication.realm

Cоответствовует разделу в файле jaas_config.file, который определяет, как сервер аутентифицирует пользователей, и должен быть передан как параметр JVM во время запуска сервера

KsqlServer-Props

Path to password.properties

Путь к password.properties

/etc/ksqldb/password.properties

server.properties

 

Параметр Описание Значение по умолчанию

application.id

Идентификатор приложения

ksql-server

ksql.internal.topic.replicas

Фактор репликации для внутренних топиков ksqlDB Servers

1

ksql.streams.state.dir

Каталог хранилища для работы с отслеживанием состояния

/usr/lib/ksql/state

ksql.streams.replication.factor

Основные внутренние топики Kafka Streams

1

ksql.streams.topic.min.insync.replicas

Минимальное количество брокеров, которые должны иметь данные, записанные в синхронизированные реплики

2

ksql.streams.num.standby.replicas

Количество реплик для операций с состоянием

1

ksql.streams.producer.acks

Количество брокеров, которым необходимо подтвердить получение сообщения, прежде чем оно будет считаться успешной записью

all

ksql.streams.producer.delivery.timeout.ms

Срок годности пакетного файла (batch) (в мс)

2147483647

ksql.streams.producer.max.block.ms

Максимально допустимое время для блокировки производителем (в мс)

9223372036854775000

ssl.endpoint.identification.algorithm

Алгоритм идентификации конечной точки для проверки сервера

 — 

ssl.keystore.location

Используется для HTTPS. Расположение файла хранилища ключей для использования SSL

 — 

ssl.keystore.type

Формат файла keystore

 — 

ssl.keystore.пароль

Используется для HTTPS. Пароль хранилища для файла

 — 

ssl.key.password

Используется для HTTPS. Пароль закрытого ключа в файле keystore

 — 

ssl.truststore.location

Расположение файла truststore

 — 

ssl.truststore.type

Формат файла хранилища truststore

 — 

ssl.truststore.пароль

Используется для HTTPS. Пароль хранилища для файла хранилища truststore

 — 

ksql.schema.registry.ssl.keystore.location

Расположение файла хранилища ключей SSL

 — 

ksql.schema.registry.ssl.keystore.password

Пароль для доступа к keystore

 — 

ksql.schema.registry.ssl.key.password

Пароль ключа, содержащегося в keystore

 — 

ksql.schema.registry.ssl.keystore.type

Формат файла keystore

 — 

ksql.schema.registry.ssl.truststore.location

Расположение файла хранилища сертификатов SSL truststore

 — 

ksql.schema.registry.ssl.truststore.password

Пароль для доступа к хранилищу truststore

 — 

ksql.schema.registry.ssl.truststore.type

Формат файла хранилища truststore

 — 

Add key, value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации server.properties

 — 

connect.properties

 

Параметр Описание Значение по умолчанию

group.id

Уникальный идентификатор группы

ksql-connect-cluster

key.converter

Определяет формат данных в Kafka и способ их преобразования в данные Connect

org.apache.kafka.connect.storage.StringConverter

key.converter.schema.registry.url

Расположение ключевых данных ksqlDB

http://localhost:8081

value.converter

Преобразователь класса для значений ksqlDB data

io.confluent.connect.avro.AvroConverter

value.converter.schema.registry.url

Расположение значений ksqlDB data

http://localhost:8081

config.storage.topic

Имя внутреннего топика для хранения конфигураций

ksql-connect-configs

offset.storage.topic

Имя внутреннего топика для хранения статистики подключения

ksql-connect-offsets

status.storage.topic

Имя внутреннего топика для хранения статистики состояния подключения

ksql-connect-statuses

config.storage.replication.factor

Фактор репликации для config.storage.topic

1

offset.storage.replication.factor

Фактор репликации для offset.storage.topic

1

status.storage.replication.factor

Фактор репликации для status.storage.topic

1

internal.key.converter

Класс преобразователя для внутренних значений с записями соединения

org.apache.kafka.connect.json.JsonConverter

internal.value.converter

Класс преобразователя внутренних значений с записями соединения

org.apache.kafka.connect.json.JsonConverter

internal.key.converter.schemas.enable

Конфигурация схемы для внутренней статистики подключения данных

OFF

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации connect.properties

 — 

datagen.properties

 

Параметр Описание Значение по умолчанию

interceptor.classes

Установка нового элемента в объект свойств Java, который вы используете для создания нового источника при отсутствии каких-либо "перехватчиков" (interceptors)

io.confluent.monitoring.clients.interceptor.MonitoringProducerInterceptor

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации datagen.properties

 — 

 

Конфигурационные параметры компонента ksqlDB Server:

log4j properties configuration

 

Параметр Описание Значение по умолчанию

log4j.rootLogger

Настройка уровня ведения логов

INFO

log4j.logger.org.reflections

Настройка уровня вывода предупреждений Reflections

ERROR

log4j.logger.org.apache.kafka.streams

Настройка уровня ведения логов Kafka Streams

INFO

log4j.logger.kafka

Настройка уровня ведения логов брокера Kafka (вывод в server.log и стандартный вывод). См. также log4j.logger.org.apache.kafka

WARN

log4j.logger.org.apache.zookeeper

Настройка ведения логов клиента ZooKeeper

WARN

log4j.logger.org.apache.kafka

Настройка уровня ведения логов брокера Kafka (вывод в server.log и стандартный вывод). См. также log4j.logger.kafka

WARN

log4j.logger.org.I0Itec.zkclient

Настройка уровня ведения лога клиента ZooKeeper

WARN

log4j.logger.io.confluent.ksql.rest.server.resources.KsqlResource

 

Параметр Описание Значение по умолчанию

log4j.logger.io.confluent.ksql.rest.server.resources.KsqlResource

Запрет ksqlDB выходить из каждого получаемого запроса

WARN

log4j.logger.io.confluent.ksql.util.KsqlConfig

 

Параметр Описание Значение по умолчанию

log4j.logger.io.confluent.ksql.util.KsqlConfig

Включите во избежание спама журналов значениями KsqlConfig

WARN

MiNiFi

Main

 

Параметр Описание Значение по умолчанию

MiNiFi C2 Server port

HTTP-порт, на котором поднимается веб-интерфейс сервиса MiNiFi

10080

nifi.minifi.notifier.ingestors.pull.http.query

Cтрока запроса для извлечения конфигураций

minifi

minifi-env.sh

 

Параметр Описание Значение по умолчанию

MINIFI_HOME

Каталог для установки MiNiFi

/usr/lib/minifi

MINIFI_PID_DIR

Каталог для хранения ID процесса MiNiFi

/var/run/minifi

MINIFI_LOG_DIR

Каталог для хранения логов

/var/log/minifi

MiNiFi Agent bootstrap.conf

 

Параметр Описание Значение по умолчанию

MiNiFi Agent Heap size

Heap-размер агента

256m

nifi.minifi.notifier.ingestors.pull.http.period.ms

Период проверки обновлений (в мс)

300000

nifi.minifi.status.reporter.log.query

Запрос состояния экземпляра MiNiFi:

  • health — состояние отчета экземпляра, активные потоки, наличие или отсутствие bulletins и каких-либо ошибок проверки;

  • bulletins — список всех текущих bulletins (если есть);

  • stats — текущее состояние экземпляра, включает в том числе байты чтения/записи и отправленные/переданные FlowFiles.

instance:

  • health;

  • bulletins.

nifi.minifi.status.reporter.log.level

Уровень журнала, на котором регистрируется статус

INFO

nifi.minifi.status.reporter.log.period

Задержка между запросами (в мс)

60000

nifi.minifi.security.keystore

Полный путь и имя хранилища keystore

 — 

nifi.minifi.security.keystoreType

Тип хранилища keystore

 — 

nifi.minifi.security.keystoreПароль

Пароль хранилища keystore

 — 

nifi.minifi.security.keyPasswd

Ключевой пароль

 — 

nifi.minifi.security.truststore

Полный путь и имя хранилища truststore

 — 

nifi.minifi.security.truststoreType

Тип хранилища truststore

 — 

nifi.minifi.security.truststorePasswd

Пароль хранилища truststore

 — 

nifi.minifi.security.ssl.протокол

Протокол безопасности

 — 

nifi.minifi.notifier.ingestors.pull.http.keystore.location

Полный путь и имя хранилища keystore

 — 

nifi.minifi.notifier.ingestors.pull.http.keystore.type

Тип хранилища keystore

 — 

nifi.minifi.notifier.ingestors.pull.http.keystore.password

Пароль хранилища keystore

 — 

nifi.minifi.notifier.ingestors.pull.http.truststore.location

Полный путь и имя хранилища truststore

 — 

nifi.minifi.notifier.ingestors.pull.http.truststore.type

Тип хранилища truststore

 — 

nifi.minifi.notifier.ingestors.pull.http.truststore.password

Пароль хранилища truststore

 — 

MiNiFi Agent logback.xml

 
Настройка уровней логирования и log rotate для MiNiFi

Параметр Описание Значение по умолчанию

app_file_max_history

Максимальное количество файлов для приложений

10

boot_file_max_history

Максимальное количество файлов для Boot

5

status_file_max_history

Максимальное количество файлов для статусов

5

root_level

Уровень события

INFO

Настройка структуры файла конфигурации логирования для MiNiFi

Журнал (логгер) Имена пакетов по умолчанию Уровень события по умолчанию

app_loggers

org.apache.nifi

INFO

org.apache.nifi.processors

WARN

org.apache.nifi.processors.standard.LogAttribute

INFO

org.apache.nifi.controller.repository.StandardProcessSession

WARN

bootstrap_loggers

org.apache.nifi.bootstrap

INFO

org.apache.nifi.bootstrap.Command

INFO

org.apache.nifi.StdOut

INFO

org.apache.nifi.StdErr

ERROR

status_loggers

org.apache.nifi.minifi.bootstrap.status.reporters.StatusLogger

INFO

MiNiFi C2 Server c2.properties

 

Параметр Описание Значение по умолчанию

minifi.c2.server.secure

MiNiFi C2 безопасен

 — 

minifi.c2.server.keystore

Полный путь и имя хранилища ключей keystore

minifi.c2.server.keystoreType

Тип хранилища ключей keystore

 — 

minifi.c2.server.keystorePasswd

Пароль хранилища ключей keystore

 — 

minifi.c2.server.keyPasswd

Ключевой пароль

 — 

minifi.c2.server.truststore

Полный путь и имя хранилища truststore

 — 

minifi.c2.server.truststoreType

Тип хранилища truststore

 — 

minifi.c2.server.truststorePasswd

Пароль хранилища truststore

 — 

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации MiNiFi C2 Server c2.properties

 — 

MiNiFi C2 Server logback.xml

 

Настройка уровней логирования и ротации логов для MiNiFi C2 Server

Параметр Описание Значение по умолчанию

log_file_max_history

Максимальное количество файлов для приложений

10

root_level

Уровень события

INFO

Настройка структуры файла конфигурации логирования для MiNiFi C2 Server

Журнал (логгер) Имена пакетов по умолчанию Уровень события по умолчанию

log_file_loggers

org.apache.nifi.minifi.c2

DEBUG

Monitoring Clients

Параметр Описание Значение по умолчанию

Protocol

Протокол, используемый для отправки метрик в кластер мониторинга. Возможные значения: TCP и UDP. Выбор протокола UDP доступен в кластерах мониторинга начиная с версии 2.8

TCP

NiFi

Параметр Описание Значение по умолчанию

Nifi config encryption password

Пароль, из которого можно получить ключ для шифрования конфиденциальных свойств. Должен быть длиной не менее 12 символов

0123456789ABC

Main

 

Параметр Описание Значение по умолчанию

Nifi UI port

HTTP-порт, на котором поднимается веб-интерфейс сервиса NiFi, указывается в качестве параметра nifi.web.http.port в конфигурационном файле nifi.properties

9090

Nifi server Heap size

Размер heap, выделенный процессу сервиса NiFi, указывается в конфигурационном файле bootstrap.conf

1024m

Nifi Registry UI port

HTTP-порт реестра Nifi, указывается в качестве параметра nifi.registry.web.http.port в файле конфигурации nifi.properties

18080

Nifi Registry Heap size

Размер heap, выделенный реестру Nifi, указывается в конфигурационном файле bootstrap.conf

512m

nifi.queue.backpressure.count

Значение по умолчанию для количества файлов FlowFile (базовый объект обработки NiFi), которые могут находиться в очереди до того, как будет применено backpressure, то есть прекращение отправки данных источником. Значение должно быть целым числом (integer)

10000

nifi.queue.backpressure.size

Значение по умолчанию для максимального объема данных, которые должны быть поставлены в очередь перед применением backpressure. Значение должно быть размером данных, включая единицу измерения

1 GB

Directories

 

Параметры расположения репозиториев сервиса NiFi

Параметр Описание Значение по умолчанию

nifi.flowfile.repository.directory

Расположение репозитория FlowFile

/usr/lib/nifi-server/flowfile_repository

nifi.content.repository.directory

Расположение репозитория Content

/usr/lib/nifi-server/content_repository

nifi.provenance.repository.directory

Расположение репозитория Provenance

/usr/lib/nifi-server/provenance_repository

nifi.database.directory

Расположение директории H2 database

/usr/lib/nifi-server/database_repository

nifi.registry.db.directory

Расположение директории Registry database

/usr/lib/nifi-registry/database

nifi.nar.library.directory.lib

Параметр следует использовать в случае добавления custom nars

 — 

ranger-nifi-audit.xml

 

Параметр Описание Значение по умолчанию

xasecure.audit.destination.solr.batch.filespool.dir

Каталог для Solr audit spool

/srv/ranger/nifi_plugin/audit_solr_spool

xasecure.audit.destination.solr.urls

Указывает URL-адрес Solr. Не устанавливается при использовании ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.zookeepers

Включает аудит в Solr для плагинов Ranger

 — 

xasecure.audit.destination.solr.force.use.inmemory.jaas.config

Подключение Zookeeper к Solr с использованием конфигурации в JAAS-файле

ON

xasecure.audit.jaas.Client.loginModuleControlFlag

Указывает, является ли успех модуля обязательным, необходимым, достаточным или необязательным

 — 

xasecure.audit.jaas.Client.loginModuleName

Имя класса используемой технологии аутентификации

 — 

xasecure.audit.jaas.Client.option.keyTab

Имя файла keytab для получения секретного ключа принципала

 — 

xasecure.audit.jaas.Client.option.serviceName

Имя сервиса

 — 

xasecure.audit.jaas.Client.option.storeKey

Включите, если хотите, чтобы keytab или ключ субъекта сохранялись в личных учетных данных субъекта

ON

xasecure.audit.jaas.Client.option.useKeyTab

Включите, если хотите, чтобы модуль получал ключ принципала из таблицы ключей keystore

ON

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-nifi-audit.xml

 — 

ranger-nifi-security.xml

 

Параметр Описание Значение по умолчанию

ranger.plugin.nifi.policy.rest.url

Путь (адрес, порт) для подключения к Ranger Admin NiFi

 — 

ranger.plugin.nifi.service.name

Имя сервиса Ranger, содержащего политику для конкретного экземпляра NiFi

 — 

ranger.plugin.nifi.policy.source.impl

Класс для получения политик из источника

org.apache.ranger.admin.client.RangerAdminRESTClient

ranger.plugin.nifi.policy.cache.dir

Каталог, в котором кешируется политика Ranger после успешного извлечения из источника

/srv/ranger/nifi/policycache

ranger.plugin.nifi.policy.pollIntervalMs

Как часто проводить опрос на предмет изменений в политике (в мс)

30000

ranger.plugin.nifi.policy.rest.client.connection.timeoutMs

Тайм-аут соединения плагина NiFi RangerRestClient (в мс)

120000

ranger.plugin.nifi.policy.rest.client.read.timeoutMs

Тайм-аут чтения плагина NiFi RangerRestClient (в мс)

30000

ranger.plugin.nifi.policy.rest.ssl.config.file

Путь к файлу, содержащему данные SSL для связи с Ranger Admin

/etc/nifi/conf/ranger-nifi-policymgr-ssl.xml

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-nifi-security.xml

 — 

ranger-nifi-policymgr-ssl.xml

 

Параметр Описание Значение по умолчанию

xasecure.policymgr.clientssl.keystore

Расположение файла хранилища ключей keystore

 — 

xasecure.policymgr.clientssl.keystore.password

Пароль хранилища ключей keystore

 — 

xasecure.policymgr.clientssl.truststore

Расположение файла хранилища сертификатов truststore

 — 

xasecure.policymgr.clientssl.truststore.password

Пароль хранилища truststore

 — 

xasecure.policymgr.clientssl.keystore.credential.file

Расположение файла учетных записей keystore

/etc/nifi/conf/keystore.jceks

xasecure.policymgr.clientssl.truststore.credential.file

Расположение файла учетных записей truststore

/etc/nifi/conf/truststore.jceks

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-nifi-policymgr-ssl.xml

 — 

ranger-nifi-registry-audit.xml

 

Параметр Описание Значение по умолчанию

xasecure.audit.destination.solr.batch.filespool.dir

Каталог для Solr audit spool

/srv/ranger/nifi_registry_plugin/audit_solr_spool

xasecure.audit.destination.solr.urls

Определяет Solr URL. Не устанавливается при использовании ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.zookeepers

Включает аудит в Solr для плагинов Ranger

 — 

xasecure.audit.destination.solr.force.use.inmemory.jaas.config

Подключение ZooKeeper к Solr с использованием конфигурации в JAAS-файле

 — 

xasecure.audit.jaas.Client.loginModuleControlFlag

Указывает, является ли успех модуля обязательным, необходимым, достаточным или необязательным

 — 

xasecure.audit.jaas.Client.loginModuleName

Имя класса используемой технологии аутентификации

 — 

xasecure.audit.jaas.Client.option.keyTab

Имя файла keytab для получения секретного ключа принципала

 — 

xasecure.audit.jaas.Client.option.serviceName

Имя сервиса

 — 

xasecure.audit.jaas.Client.option.storeKey

Установите для этого параметра значение true, если вы хотите, чтобы keytab или ключ субъекта сохранялись в личных учетных данных субъекта

 — 

xasecure.audit.jaas.Client.option.useKeyTab

Установите для этого параметра значение true, если вы хотите, чтобы модуль получал ключ принципала из таблицы ключей keystore

 — 

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-nifi-registry-audit.xml

 — 

ranger-nifi-registry-security.xml

 

Параметр Описание Значение по умолчанию

ranger.plugin.nifi-registry.policy.rest.url

Путь к переменной NiFi-registry для службы Ranger

 — 

ranger.plugin.nifi-registry.service.name

Имя службы Ranger, содержащей политики для этого экземпляра реестра NiFi-registry

 — 

ranger.plugin.nifi-registry.policy.source.impl

Класс для получения политик из источника

org.apache.ranger.admin.client.RangerAdminRESTClient

ranger.plugin.nifi-registry.policy.cache.dir

Каталог, в котором кешируются политики Ranger после успешного извлечения из источника

/srv/ranger/nifi-registry/policycache

ranger.plugin.nifi-registry.policy.pollIntervalMs

Как часто опрашивать изменения политик (в мс)

30000

ranger.plugin.nifi-registry.policy.rest.client.connection.timeoutMs

Время ожидания соединения RangerRestClient (в мс)

120000

ranger.plugin.nifi-registry.policy.rest.client.read.timeoutMs

Таймаут чтения RangerRestClient (в мс)

30000

ranger.plugin.nifi-registry.policy.rest.ssl.config.file

Путь к файлу, содержащему данные SSL для связи с Ranger Admin

/etc/nifi-registry/conf/ranger-policymgr-ssl.xml

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-nifi-registry-security.xml

 — 

ranger-nifi-registry-policymgr-ssl.xml

 

Параметр Описание Значение по умолчанию

xasecure.policymgr.clientssl.keystore

Расположение файла хранилища ключей keystore

 — 

xasecure.policymgr.clientssl.keystore.password

Пароль хранилища ключей keystore

 — 

xasecure.policymgr.clientssl.truststore

Расположение файла хранилища сертификатов truststore

 — 

xasecure.policymgr.clientssl.truststore.password

Пароль хранилища truststore

 — 

xasecure.policymgr.clientssl.keystore.credential.file

Расположение файла учетных записей keystore

/etc/nifi-registry/conf/keystore.jceks

xasecure.policymgr.clientssl.truststore.credential.file

Расположение файла учетных записей truststore

/etc/nifi-registry/conf/truststore.jceks

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-nifi-registry-policymgr-ssl.xml

 — 

authorizers.xml

 

Параметр Описание Значение по умолчанию

DN NiFi’s nodes list

Список идентификаторов пользователей и систем для заполнения пользовательского файла. Это обязательные поля для включения SSL в первый раз. Должен включать в себя не только DName компонента NiFi Server, но и DName NiFi Registry, а также DName для компонентов сервиса MiNiFi. Например, для кластера с включенным SSL, состоящего только из NiFi Server, при добавлении сервиса MiNiFi или расширения Schema Registry необходимо дополнить этот список новыми DName . Пример для узлов — CN=nifi_node_hostname, OU=Arenadata, O=Arenadata, L=Moscow, ST=Moscow, C=RU

 — 

NiFi Initial Admin

Идентификатор первичного пользователя-администратора, которому будет предоставлен доступ к пользовательскому интерфейсу и возможность создавать дополнительных пользователей, группы и политики. Значением этого свойства может быть:

  • полный DN пользователя при установке значения Identity Strategy группы LDAP Login Identitity Provider в USE_DN;

  • только логин (имя) пользователя при установке значения Identity Strategy группы LDAP Login Identitity Provider в USE_USERNAME.

 — 

NiFi Initial Admin password

Начальный пароль администратора — пароль пользователя, назначенного NiFi Initial Admin

 — 

Ranger Admin Identitity

DN сертификата, который Ranger будет использовать для связи с Nifi. Требуется сгенерированное хранилище ключей keystore SSL и хранилище truststore на хосте Ranger. Применимо только для плагина NiFi Ranger

 — 

LDAP Login Identitity Provider

 

Параметр Описание Значение по умолчанию

Authentication Strategy

Как аутентифицируется подключение к серверу LDAP

ANONYMOUS

Manager DN

DN пользователя, имеющего запись в каталоге Active Directory с правами поиска пользователей и групп. Будет использован для привязки к серверу LDAP для поиска пользователей

 — 

Manager Password

Пароль менеджера, который используется для привязки к серверу LDAP для поиска пользователей

 — 

TLS - Keystore

Путь к хранилищу ключей keystore, который используется при подключении к LDAP с помощью LDAPS или START_TLS

 — 

TLS - Keystore Password

Пароль для хранилища ключей keystore, который используется при подключении к LDAP с помощью LDAPS или START_TLS

 — 

TLS - Keystore Type

Тип хранилища ключей keystore, которое используется при подключении к LDAP с помощью LDAPS или START_TLS (например, JKS или PKCS12)

 — 

TLS - Truststore

Путь к хранилищу truststore, которое используется при подключении к LDAP с помощью LDAPS или START_TLS

 — 

TLS - Truststore Password

Пароль для truststore, который используется при подключении к LDAP с помощью LDAPS или START_TLS

 — 

TLS - Truststore Type

Тип хранилища truststore, который используется при подключении к LDAP с помощью LDAPS или START_TLS (например, JKS или PKCS12)

 — 

TLS - Client Auth

Политика аутентификации клиента при подключении к LDAP с помощью LDAPS или START_TLS. Возможные значения: REQUIRED, WANT, NONE

NONE

TLS - Protocol

Протокол для использования при подключении к LDAP с помощью LDAPS или START_TLS (например, TLS, TLSv1.1, TLSv1.2 и т. д.)

 — 

TLS - Shutdown Gracefully

Указывает, должен ли TLS корректно завершать работу перед закрытием целевого контекста

False

Referral Strategy

Стратегия работы с referrals

FOLLOW

Connect Timeout

Продолжительность тайм-аута подключения

10 secs

Read Timeout

Продолжительность тайм-аута чтения

10 secs

LDAP URL

Разделенный пробелами список URL-адресов серверов LDAP (например, ldap://<hostname>:<port>)

 — 

User Search Base

Базовое DN для поиска пользователей (например, ou=users,o=nifi). Требуется для поиска пользователей

 — 

User Search Filter

Фильтр для поиска пользователей по базе поиска (например, sAMAccountName={0}). Указанное пользователем имя вставляется в {0}

 — 

Identity Strategy

Стратегия идентификации пользователей. Возможные значения: USE_DN и USE_USERNAME

USE_DN

Authentication Expiration

Продолжительность действия аутентификации пользователя. Если пользователь никогда не выходит из системы, ему потребуется снова войти в систему по истечении этого времени

12 hours

LDAP UserGroupProvider

 

Параметр Описание Значение по умолчанию

Authentication Strategy

Как аутентифицируется подключение к серверу LDAP

ANONYMOUS

Manager DN

DN пользователя, имеющего запись в каталоге Active Directory, обладающий правами поиска пользователей и групп. Будет использован для привязки к серверу LDAP для поиска пользователей

 — 

Manager Password

Пароль менеджера, который используется для привязки к серверу LDAP для поиска пользователей

 — 

TLS - Keystore

Путь к хранилищу ключей, который используется при подключении к LDAP с помощью LDAPS или START_TLS

 — 

TLS - Keystore Password

Пароль для хранилища ключей keystore, который используется при подключении к LDAP с помощью LDAPS или START_TLS

 — 

TLS - Keystore Type

Тип хранилища ключей keystore, которое используется при подключении к LDAP с помощью LDAPS или START_TLS (например, JKS или PKCS12)

 — 

TLS - Truststore

Путь к хранилищу truststore, которое используется при подключении к LDAP с помощью LDAPS или START_TLS

 — 

TLS - Truststore Password

Пароль для truststore, который используется при подключении к LDAP с помощью LDAPS или START_TLS

 — 

TLS - Truststore Type

Тип хранилища truststore, который используется при подключении к LDAP с помощью LDAPS или START_TLS (например, JKS или PKCS12)

 — 

TLS - Client Auth

Политика аутентификации клиента при подключении к LDAP с помощью LDAPS или START_TLS. Возможные значения: REQUIRED, WANT, NONE

NONE

TLS - Protocol

Протокол для использования при подключении к LDAP с помощью LDAPS или START_TLS (например, TLS, TLSv1.1, TLSv1.2 и т. д.)

 — 

TLS - Shutdown Gracefully

Указывает, должен ли TLS корректно завершать работу перед закрытием целевого контекста

 — 

Referral Strategy

Стратегия работы с referrals

FOLLOW

Connect Timeout

Продолжительность тайм-аута подключения

10 secs

Read Timeout

Продолжительность тайм-аута чтения

10 secs

LDAP URL

Разделенный пробелами список URL-адресов серверов LDAP (например, ldap://<hostname>:<port>)

 — 

Page Size

Устанавливает размер страницы при получении пользователей и групп. Если не указано, пейджинг не выполняется

 — 

Sync Interval

Продолжительность времени между синхронизацией пользователей и групп. Минимально допустимое значение – 10 sec

30 mins

User Search Base

Базовое DN для поиска пользователей (например, ou=users,o=nifi). Требуется для поиска пользователей

 — 

User Object Class

Класс объекта для идентификации пользователей (например, person). Требуется при поиске пользователей

 — 

User Search Scope

Область для поиска пользователей

ONE_LEVEL

User Search Filter

Фильтр для поиска пользователей по базе поиска (например, (memberof=cn=team1,ou=groups,o=nifi))

 — 

User Identity Attribute

Атрибут для извлечения идентификатора пользователя (например, cn). Опционально. Если не установлено, используется все DN

 — 

User Group Name Attribute

Атрибут, используемый для определения членства в группе (например, memberof). Опционально. Если не задано, членство в группе не будет рассчитываться через пользователей

 — 

User Group Name Attribute - Referenced Group Attribute

Если параметр не установлен, значение атрибута в User Group Name Attribute будет полным dn группы. Если параметр установлен, значение атрибута в User Group Name Attribute будет определять атрибут записи групповой записи ldap пользователя, являясь ссылкой (например, name)

 — 

Group Search Base

Базовое DN для поиска групп (например, ou=groups,o=nifi). Требуется для поиска групп

 — 

Group Object Class

Класс объекта для идентификации групп (например, groupOfNames). Требуется при поиске групп

 — 

Group Search Scope

Область для поиска группы пользователей

ONE_LEVEL

Group Search Filter

Фильтр для поиска групп по базе поиска. Опционально

 — 

Group Name Attribute

Атрибут для извлечения имени группы (например, cn). Опционально. Если не установлено, используется все DN

 — 

Group Member Attribute

Атрибут, используемый для определения членства в группе (например, member). Опционально

 — 

Group Member Attribute - Referenced User Attribute

Если параметр установлен, значение атрибута в Group Member Attribute будет полным dn пользователя. Если параметр не установлен, значение атрибута в Group Member Attribute будет определять атрибут записи ldap пользователя, являясь ссылкой (например, uid)

 — 

Analytics Framework

 

Конфигурации платформы аналитики

Параметр Описание Значение по умолчанию

nifi.analytics.predict.interval

Интервал времени, в который должны быть сделаны аналитические прогнозы (например, насыщение очереди)

3 мин

nifi.analytics.query.interval

Интервал времени для запроса прошлых наблюдений (например, последние 3 минуты снапшотов). Значение должно быть как минимум в 3 раза больше, чем заданный nifi.components.status.snapshot.frequency

5 мин

nifi.analytics.connection.model.implementation

Класс реализации для модели анализа состояния, используемой для прогнозирований соединения

Ordinary Least Squares

nifi.analytics.connection.model.score.name

Имя типа скоринга, которое следует использовать для оценки модели

rSquared

nifi.analytics.connection.model.score.threshold

Порог для значения скоринга (модель score должна быть выше заданного порога)

.90

nifi-env.sh

 
Параметры, определяющие место для установки сервиса NiFi

Параметр Описание Значение по умолчанию

NIFI_HOME

Каталог для установки NiFi

/usr/lib/nifi-server

NIFI_PID_DIR

Каталог для хранения ID процесса NiFi

/var/run/nifi

NIFI_LOG_DIR

Каталог для хранения логов

/var/log/nifi

NIFI_ALLOW_EXPLICIT_KEYTAB

Предотвращение использования неактуальных свойств keytab произвольной формы, которые были оставлены для обратной совместимости

true

nifi.properties

 

Параметр Описание Значение по умолчанию

nifi.flow.configuration.file

Расположение файла конфигурации потока (содержащего то, что в текущий момент отображается на графике NiFi)

/etc/nifi/conf/flow.xml.gz

nifi.flow.configuration.archive.enabled

Включает автоматическое создание NiFi резервной копии потока при обновлении потока

ON

nifi.cluster.node.connection.timeout

Время ожидания при подключении к другому узлу в кластере для принятия решения о неудачном соединении

5 с

nifi.cluster.node.read.timeout

Время ожидания получения информации при связи с другим узлом в кластере для принятия решения об обрыве связи

5 с

nifi.zookeeper.connect.timeout

Время ожидания при подключении к ZooKeeper для принятия решения о неудачном подключении

3 с

nifi.zookeeper.session.timeout

Время ожидания после потери соединения с ZooKeeper до истечения сессии

3 с

nifi.variable.registry.properties

Путь расположения файлов для одного или нескольких файлов индивидуальных свойств. Для нескольких файлов пути разделяются запятыми

/etc/nifi/conf/extra-args.properties

nifi.remote.input.http.enabled

Указывает, следует ли включить HTTP Site-to-Site на этом узле

ВКЛ

nifi.remote.input.http.transaction.ttl

Указывает, как долго транзакция может оставаться на сервере

30 сек

nifi.remote.contents.cache.expiration

Указывает, как долго NiFi должен кешировать информацию об удаленном экземпляре NiFi при обмене данными через Site-to-Site

30 сек.

nifi.flow.configuration.archive.max.time

Срок жизни заархивированных файлов flow.xml

30 дней

nifi.flow.configuration.archive.max.storage

Общий размер данных, допустимый для заархивированных файлов flow.xml

500 МБ

nifi.flow.configuration.archive.max.count

Разрешенное количество архивных файлов

 — 

nifi.flowcontroller.autoResumeState

Указывает, должны ли после перезапуска компоненты на графике NiFi возвращаться в свое последнее состояние

 — 

nifi.flowcontroller.graceful.shutdown.period

Указывает период отключения

10 сек

nifi.flowservice.writedelay.interval

Если в файл flow.xml внесено много изменений, свойство указывает время ожидания перед записью изменений, чтобы объединить изменения в одну запись

500 мс

nifi.administrative.yield.duration

Если компонент допускает появление неожиданного исключения, это считается ошибкой. В результате фреймворк произведет остановку (или уступит права) для компонента на это время

30 сек

nifi.bored.yield.duration

Количество времени, которое компонент будет ждать перед проверкой, есть ли у него новые данные для работы

10 миллисекунд

nifi.ui.banner.text

Текст баннера, который можно настроить для отображения в верхней части пользовательского интерфейса

 — 

nifi.ui.autorefresh.interval

Интервал автоматического обновления пользовательского интерфейса

30 сек

nifi.state.management.provider.local

Идентификатор локального поставщика состояний для использования

local-provider

nifi.state.management.provider.cluster

Идентификатор используемого поставщика состояния кластера

zk-provider

nifi.state.management.embedded.zookeeper.start

Указывает, должен ли этот экземпляр NiFi запускать встроенный сервер ZooKeeper

 — 

nifi.h2.url.append

Свойство указывает дополнительные аргументы для добавления в строку подключения к базе данных H2

;LOCK_TIMEOUT=25000;WRITE_DELAY=0;AUTO_SERVER=FALSE

nifi.flowfile.repository.implementation

Реализация репозитория FlowFile. Чтобы хранить потоковые файлы в памяти, а не на диске (с учетом потери данных в случае сбоя питания/машины или перезапуска NiFi), установите для этого свойства значение org.apache.nifi.controller.repository.VolatileFlowFileRepository

org.apache.nifi.controller.repository.WriteAheadFlowFileRepository

nifi.flowfile.repository.wal.implementation

Если реализация репозитория настроена на использование WriteAheadFlowFileRepository, свойство можно использовать, чтобы указать, какую реализацию Write-Ahead Log следует использовать

org.apache.nifi.wali.SequentialAccessWriteAheadLog

nifi.flowfile.repository.partitions

Количество партиций

256

nifi.flowfile.repository.checkpoint.interval

Интервал контрольной точки репозитория FlowFile

2 мин.

nifi.flowfile.repository.always.sync

Если установлено значение true, любое изменение в репозитории будет синхронизировано с диском, а это означает, что NiFi попросит операционную систему не кешировать информацию. Это очень дорого и может значительно снизить производительность NiFi. Однако, если установлено значение false, может возникнуть вероятность потери данных

 — 

nifi.swap.manager.implementation

Реализация Swap Manager

org.apache.nifi.controller.FileSystemSwapManager

nifi.queue.swap.threshold

Порог очереди, при котором NiFi начинает swap информации FlowFile на диск

20000

nifi.swap.in.period

Swap in период

5 сек

nifi.swap.in.threads

Количество потоков, используемых для подкачки

1

nifi.swap.out.period

Swap out период

5 сек

nifi.swap.out.threads

Количество потоков, используемых для swapping out

4

nifi.content.repository.implementation

Реализация Content Repository. Значение по умолчанию следует изменять с осторожностью. Чтобы содержимое потокового файла сохранялось в памяти, а не на диске (с риском потери данных в случае сбоя питания/машины), установите для этого свойства значение org.apache.nifi.controller.repository

org.apache.nifi.controller.repository.FileSystemRepository

nifi.content.claim.max.appendable.size

Максимальный размер батча данных для сохранения на диск (content claim)

1 МБ

nifi.content.claim.max.flow.files

Максимальное количество FlowFiles для назначения одному батчу для сохранения на диск (content claim)

100

nifi.content.repository.archive.max.retention.period

Если архивирование включено, свойство указывает максимальное время хранения архивных данных

12 часов

nifi.content.repository.archive.max.usage.percentage

Если архивирование включено, свойство должно иметь значение, указывающее процент использования диска репозитория содержимого, при котором архивные данные начинают удаляться. Если архив пуст, а использование диска репозитория содержимого превышает этот процент, то архивирование временно отключается. Архивирование возобновится, когда использование диска станет ниже этого процента

50%

nifi.content.repository.archive.enabled

Чтобы включить архивирование содержимого, установите для этого параметра значение true. Архивация контента позволяет пользовательскому интерфейсу просматривать или воспроизводить контент, который больше не находится в очереди потока данных

 — 

nifi.content.repository.always.sync

Если установлено значение true, любое изменение в репозитории будет синхронизировано с диском, а это означает, что NiFi попросит операционную систему не кешировать информацию. Это очень дорого и может значительно снизить производительность NiFi. Однако, если установлено значение false, может возникнуть вероятность потери данных в случае внезапного отключения питания или сбоя операционной системы

 — 

nifi.content.viewer.url

URL-адрес веб-программы просмотра контента, если она доступна

../nifi-content-viewer/

nifi.provenance.repository.implementation

Реализация Provenance Repository. Возможные значения:

  • org.apache.nifi.provenance.WriteAheadProvenanceRepository

  • org.apache.nifi.provenance.VolatileProvenanceRepository

  • org.apache.nifi.provenance.PersistentProvenanceRepository

  • org.apache.nifi.provenance.EncryptedWriteAheadProvenanceRepository

org.apache.nifi.provenance.WriteAheadProvenanceRepository

nifi.provenance.repository.debug.частота

Контролирует количество событий, обрабатываемых между операторами DEBUG, которые документируют показатели производительности репозитория

1_000_000

nifi.provenance.repository.encryption.key.provider.implementation

Полное имя класса поставщика ключей (key provider)

 — 

nifi.provenance.repository.encryption.key.provider.location

Путь к ресурсу определения ключа

 — 

nifi.provenance.repository.encryption.key.id

Идентификатор активного ключа для шифрования (например, Key1)

 — 

nifi.provenance.repository.encryption.key

Ключ для StaticKeyProvider

 — 

nifi.provenance.repository.max.storage.time

Максимальное время хранения информации о происхождении данных

24 часа

nifi.provenance.repository.max.storage.size

Максимальный объем информации о происхождении данных, который можно хранить одновременно

1 ГБ

nifi.provenance.repository.rollover.time

Время ожидания перед обновлением последней информации о происхождении данных, чтобы она была доступна в пользовательском интерфейсе

30 сек

nifi.provenance.repository.rollover.size

Количество информации, которое нужно просматривать за раз

100 МБ

nifi.provenance.repository.query.threads

Количество потоков, используемых для запросов к репозиторию Provenance

2

nifi.provenance.repository.index.threads

Количество потоков, используемых для индексации событий Provenance, чтобы их можно было найти

2

nifi.provenance.repository.compress.on.rollover

Указывает, следует ли сжимать данные provenance при переносе

 — 

nifi.provenance.repository.always.sync

Если установлено значение true, любое изменение в репозитории будет синхронизировано с диском, а это означает, что NiFi попросит операционную систему не кешировать информацию

 — 

nifi.provenance.repository.indexed.fields

Разделенный запятыми список полей, которые следует проиндексировать и сделать доступными для поиска

EventType, FlowFileUUID, Имя файла, ProcessorID, Связь

nifi.provenance.repository.indexed.attributes

Разделенный запятыми список атрибутов FlowFile, которые должны быть проиндексированы и доступны для поиска

 — 

nifi.provenance.repository.index.shard.size

Большие значения размера сегмента приведут к большему использованию java heap при поиске в репозитории Provenance, но должны обеспечить более высокую производительность

500 МБ

nifi.provenance.repository.max.attribute.length

Указывает максимальную длину для атрибута FlowFile при извлечении Provenance Event из репозитория. Если длина любого атрибута превышает значение, оно будет усечено при извлечении события

65536

nifi.provenance.repository.concurrent.merge.threads

Свойство указывает максимальное количество потоков, которые разрешено использовать для каждого из каталогов хранения

2

nifi.provenance.repository.buffer.size

Размер буфера репозитория Provenance

100000

nifi.components.status.repository.implementation

Реализация репозитория состояния компонентов (Component Status Repository)

org.apache.nifi.controller.status.history.VolatileComponentStatusRepository

nifi.components.status.repository.buffer.size

Указывает размер буфера для репозитория состояния компонентов (Component Status Repository)

1440

nifi.components.status.snapshot.частота

Указывает, как часто предоставлять моментальный снимок истории состояния компонентов

1 мин

nifi.web.war.directory

Расположение каталога web.war

./lib

nifi.web.jetty.working.directory

Расположение рабочего каталога Jetty

./work/jetty

nifi.web.jetty.threads

Количество потоков Jetty

200

nifi.web.max.header.size

Максимально допустимый размер заголовков запроса и ответа

16 КБ

nifi.web.proxy.context.path

Список разделенных запятыми допустимых значений заголовка HTTP X-ProxyContextPath или X-Forwarded-Context. По умолчанию значение пусто, что означает, что все запросы, содержащие путь контекста прокси, отклоняются

 — 

nifi.web.proxy.host

Список разделенных запятыми разрешенных значений заголовка HTTP-хоста, которые следует учитывать, когда NiFi работает безопасно и будет получать запросы на другой хост [: порт], к которому он привязан. Например, при работе в контейнере Docker или за прокси-сервером (например, localhost:18443, proxyhost:443). По умолчанию значение пустое, что означает, что NiFi должен разрешать только запросы, отправляемые на хост [: порт], к которому привязан NiFi

 — 

nifi.sensitive.props.key

Пароль (исходная строка), из которого извлекается ключ шифрования для алгоритма, указанного в параметре nifi.sensitive.props.algorithm

mysensetivekey

nifi.sensitive.props.key.protected

Защищенный пароль (исходная строка), используемая для получения ключа шифрованиядля алгоритма, указанного в параметре nifi.sensitive.props.algorithm

 — 

nifi.sensitive.props.algorithm

Алгоритм, используемый для шифрования конфиденциальных свойств

PBEWITHMD5AND256BITAES-CBC-OPENSSL

nifi.sensitive.props.provider

Поставщик конфиденциальной свойств

BC

nifi.sensitive.props.additional.keys

Список свойств, разделенных запятыми, для шифрования в дополнение к конфиденциальным свойствам по умолчанию

 — 

nifi.security.user.authorizer

Указывает, какой из настроенных авторизаторов в файле authorizers.xml следует использовать. По умолчанию установлен файловый провайдер

managed-authorizer

nifi.security.ocsp.responder.url

URL responder Online Certificate Status Protocol (OCSP), если он используется

 — 

nifi.security.ocsp.responder.certificate

Расположение responder certificate OCSP, если он используется

 — 

nifi.security.user.oidc.discovery.url

URL-адрес обнаружения для нужного провайдера OpenId Connect

 — 

nifi.security.user.oidc.connect.timeout

Время ожидания подключения при обмене данными с провайдером OpenId Connect

5 сек

nifi.security.user.oidc.read.timeout

Тайм-аут чтения при обмене данными с провайдером OpenId Connect

5 сек

nifi.security.user.oidc.client.id

Идентификатор клиента для NiFi после регистрации в провайдере OpenId Connect

 — 

nifi.security.user.oidc.client.secret

Секрет клиента для NiFi после регистрации в провайдере OpenId Connect

 — 

nifi.security.user.oidc.preferred.jwsалгоритм

Предпочитаемый алгоритм проверки токенов идентификации. Если значение пустое, по умолчанию используется RS256, который должен поддерживаться провайдером OpenId Connect в соответствии со спецификацией. Если Значение равно HS256, HS384 или HS512, NiFi попытается проверить токены, защищенные HMAC, используя указанный секрет клиента. Если Значение равно нулю, NiFi попытается проверить незащищенные/обычные токены. Другие значения для этого алгоритма будут пытаться проанализировать как алгоритм RSA или EC для использования в сочетании с веб-ключом JSON (JWK), предоставленным через jwks_uri в метаданных, найденных по URL-адресу обнаружения

 — 

nifi.security.user.knox.url

URL-адрес страницы входа в Apache Knox

 — 

nifi.security.user.knox.publicKey

Путь к открытому ключу Apache Knox, который будет использоваться для проверки подписей маркеров аутентификации в файле cookie HTTP

 — 

nifi.security.user.knox.cookieName

Имя файла cookie HTTP, который Apache Knox сгенерирует после успешного входа в систему

hadoop-jwt

nifi.security.user.knox.audiences

Необязательно. Через запятую перечислены разрешенные audiences. Если установлено, audiences в токене должна присутствовать в этом списке. Audiences, указанная в токене, может быть настроена в Knox

 — 

nifi.cluster.protocol.heartbeat.interval

Интервал, с которым узлы должны посылать heartbeats координатору кластера

5 сек

nifi.cluster.node.protocol.port

Порт протокола узла

11433

nifi.cluster.node.protocol.threads

Количество потоков, которые следует использовать для связи с другими узлами в кластере

10

nifi.cluster.node.protocol.max.threads

Максимальное количество потоков, которые следует использовать для связи с другими узлами в кластере

50

nifi.cluster.node.event.history.size

При изменении состояния узла в кластере генерируется событие, которое можно просмотреть на странице Cluster. Значение указывает, сколько событий нужно хранить в памяти для каждого узла

25

nifi.cluster.node.max.concurrent.requests

Максимальное количество необработанных веб-запросов, которые можно реплицировать на узлы в кластере. Если это количество запросов превышено, встроенный сервер Jetty вернет ответ "409: Conflict"

100

nifi.cluster.firewall.file

Расположение файла брандмауэра узла. Это файл, который можно использовать для перечисления всех узлов, которым разрешено подключаться к кластеру. Он обеспечивает дополнительный уровень безопасности. По умолчанию значение пусто, что означает, что файл брандмауэра не используется

 — 

nifi.cluster.flow.election.max.wait.time

Указывает время ожидания перед выбором Flow в качестве "правильного" потока. Если количество проголосовавших узлов равно количеству, указанному в свойстве nifi.cluster.flow.election.max.candidates, кластер не будет ждать так долго

5 мин

nifi.cluster.load.balance.host

Указывает имя хоста для прослушивания входящих подключений для данных балансировки нагрузки в кластере. Если не указано, по умолчанию будет использоваться значение, указанное в свойстве nifi.cluster.node.address

 — 

nifi.cluster.load.balance.port

Указывает порт для прослушивания входящих подключений для данных балансировки нагрузки в кластере

6342

nifi.cluster.load.balance.connections.per.node

Максимальное количество соединений, которые можно создать между этим узлом и каждым другим узлом в кластере. Например, если в кластере 5 узлов и для этого значения установлено значение 4, для балансировки нагрузки будет установлено до 20 соединений сокетов (5 x 4 = 20)

4

nifi.cluster.load.balance.max.thread.count

Максимальное количество потоков, используемых для передачи данных с этого узла на другие узлы в кластере. В то время как данный поток может записывать только в один сокет за раз, один поток способен обслуживать несколько соединений одновременно, поскольку данное соединение может быть недоступно для чтения/записи в любой момент времени

8

nifi.cluster.load.balance.comms.timeout

При обмене данными с другим узлом, если в течение этого времени не происходит никакого прогресса при чтении или записи в сокет, будет выдано исключение TimeoutException. Это приведет к повторной попытке передачи данных или их отправке на другой узел в кластере, в зависимости от настроенной стратегии балансировки нагрузки

30 сек

nifi.remote.input.socket.port

Порт удаленного входного сокета для связи Site-to-Site

10443

nifi.remote.input.secure

Указывает, должна ли связь между этим экземпляром NiFi и удаленными экземплярами NiFi быть безопасной

 — 

nifi.security.keystore

Полный путь и имя хранилища keystore

 — 

nifi.security.keystoreType

Тип хранилища keystore

 — 

nifi.security.keystoreПароль

Пароль хранилища keystore

 — 

nifi.security.keyPasswd

Ключевой пароль

 — 

nifi.security.truststore

Полный путь и имя хранилища truststore

 — 

nifi.security.truststoreType

Тип хранилища truststore

 — 

nifi.security.truststorePasswd

Пароль хранилища truststore

 — 

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации nifi.properties

 — 

Nifi Server logback.xml

 
Настройка уровней логирования и log rotate для NiFi-Server

Параметр Описание Значение по умолчанию

app_file_max_history

Максимальное количество файлов для приложений

10

user_file_max_history

Максимальное количество файлов пользователя

10

boot_file_max_history

Максимальное количество файлов для Boot

5

root_level

Уровень события

INFO

Настройка структуры файла конфигурации логирования для NiFi-Server

Журнал (логгер) Имена пакетов по умолчанию Уровень события по умолчанию

app_loggers

org.apache.nifi

INFO

org.apache.nifi.processors

WARN

org.apache.nifi.processors.standard.LogAttribute

INFO

org.apache.nifi.processors.standard.LogMessage

INFO

org.apache.nifi.controller.repository.StandardProcessSession

WARN

org.wali

WARN

org.apache.nifi.cluster

INFO

org.apache.nifi.server.JettyServer

INFO

org.eclipse.jetty

INFO

user_events_loggers

org.apache.nifi.web.security

INFO

org.apache.nifi.web.api.config

INFO

org.apache.nifi.authorization

INFO

org.apache.nifi.cluster.authorization

INFO

org.apache.nifi.web.filter.RequestLogger

INFO

bootstrap_loggers

org.apache.nifi.bootstrap

INFO

org.apache.nifi.bootstrap.Command

INFO

org.apache.nifi.StdOut

INFO

org.apache.nifi.StdErr

INFO

custom_logger

 — 

 — 

nifi-registry.properties

 

Параметр Описание Значение по умолчанию

nifi.registry.web.war.directory

Место хранения каталога web.war

./lib

nifi.registry.web.jetty.working.directory

Место хранения каталога Jetty working

./work/jetty

nifi.registry.web.jetty.threads

Количество потоков Jetty

200

nifi.registry.security.needClientAuth

Это указывает, что подключающиеся клиенты должны проходить аутентификацию с помощью клиентского сертификата

OFF

nifi.registry.db.directory

Расположение каталога базы данных реестра

 — 

nifi.registry.db.url.append

Это свойство указывает дополнительные аргументы, которые необходимо добавить в строку подключения к базе данных реестра

 — 

nifi.registry.db.url

Полная строка подключения JBDC

jdbc:h2:/usr/lib/nifi-registry/database/nifi-registry-primary;AUTOCOMMIT=OFF;DB_CLOSE_ON_EXIT=FALSE;LOCK_MODE=3;LOCK_TIMEOUT=25000;WRITE_DELAY=0;AUTO_SERVER=FALSE

nifi.registry.db.driver.class

Имя класса драйвера JBDC

org.h2.Driver

nifi.registry.db.driver.directory

Необязательный каталог, содержащий один или несколько файлов JAR для добавления в путь к классам

 — 

nifi.registry.db.username

Имя пользователя для базы данных

nifireg

nifi.registry.db.password

Пароль для базы данных

 — 

nifi.registry.db.maxConnections

Максимальное количество соединений для пула соединений

5

nifi.registry.db.sql.debug

Включить или нет ведение журнала отладки для операторов SQL

OFF

nifi.registry.security.keystore

Полный путь и имя keystore

/tmp/keystore.jks

nifi.registry.security.keystoreType

Тип хранилища keystore

JKS

nifi.registry.security.keystorePasswd

Пароль хранилища ключей keystore

 — 

nifi.registry.security.keyPasswd

Ключевой пароль

 — 

nifi.registry.security.truststore

Полный путь и имя хранилища truststore

/tmp/truststore.jks

nifi.registry.security.truststoreType

Тип хранилища truststore

JKS

nifi.registry.security.truststorePasswd

Пароль хранилища truststore

 — 

nifi.registry.sensitive.props.additional.keys

Разделенный запятыми список свойств для шифрования в дополнение к конфиденциальным свойствам по умолчанию

nifi.registry.db.password

Параметр Описание Значение по умолчанию

Nifi-Registry Flow Provider

Провайдер Nifi-Registry Flow

FileSystemFlowPersistenceProvider

FileSystem Flow Provider Configuration

Параметр Описание Значение по умолчанию

Filesystem Flow Storage Directory

Каталог хранения файлов Flow

/usr/lib/nifi-registry/flow_storage

Git Flow Provider Configuration

 

Параметр Описание Значение по умолчанию

Git Flow Storage Directory

Путь файловой системы для каталога, в котором сохраняются файлы содержимого потока. Каталог должен существовать при запуске NiFi Registry. Также необходимо инициализировать как каталог Git

/usr/lib/nifi-registry/git_flow_storage

Remote To Push

При создании нового моментального снимка потока этот провайдер обновляет файлы в указанном каталоге Git, а затем создает фиксацию в локальном репозитории. Если определен Remote To Push, данные также отправляются в указанный удаленный репозиторий (например, источник). Чтобы определить более подробную удаленную спецификацию, например имена ветвей, используйте Refspec

 — 

Remote Access User

Имя пользователя используется для отправки push-запросов в удаленный репозиторий, когда включена функция Remote To Push, а доступ к удаленному репозиторию осуществляется по протоколу HTTP. Если используется SSH, аутентификация пользователя осуществляется с помощью ключей SSH

 — 

Remote Access Password

Пароль для пользователя удаленного доступа

 — 

Remote Clone Repository

URI удаленного репозитория, который будет использоваться для клонирования в каталог Flow Storage, если локальный репозиторий отсутствует в каталоге Flow Storage. Если оставить пустым, каталог Git необходимо настроить в соответствии с каталогом инициализации Git. Если указан URI, то также должны присутствовать Remote Access User и Remote Access Password. В настоящее время ветка удаленного управления по умолчанию будет клонирована

 — 

Параметр Описание Значение по умолчанию

Nifi-Registry Bundle Provider

Провайдер Nifi-Registry Bundle

FileSystemBundlePersistenceProvider

FileSystem Bundle Provider Configuration

Параметр Описание Значение по умолчанию

Extension Bundle Storage Directory

Каталог хранения пакетов расширений

/usr/lib/nifi-registry/extension_bundles

nifi-registry-env.sh

 
Параметры, определяющие место для установки сервиса NiFi-Registry

Параметр Значение по умолчанию

NIFI_REGISTRY_HOME

/usr/lib/nifi-registry

NIFI_REGISTRY_PID_DIR

/var/run/nifi-registry

NIFI_REGISTRY_LOG_DIR

/var/log/nifi-registry

Nifi-Registry logback.xml

 
Настройка уровней логирования и log rotate для NiFi-Registry

Параметр Описание Значение по умолчанию

app_file_max_history

Максимальное количество файлов для приложений

10

events_file_max_history

Максимальное количество файлов для событий

5

boot_file_max_history

Максимальное количество файлов для Boot

5

root_level

Уровень события

INFO

Настройка структуры файла конфигурации логирования для NiFi-Registry

Журнал (логгер) Имена пакетов по умолчанию Уровень события по умолчанию

app_loggers

org.apache.nifi.registry

INFO

org.hibernate.SQL

WARN

org.hibernate.type

INFO

events_loggers

org.apache.nifi.registry.provider.hook.LoggingEventHookProvider

INFO

bootstrap_loggers

org.apache.nifi.registry.bootstrap

INFO

org.apache.nifi.registry.bootstrap.Command

INFO

org.apache.nifi.registry.StdOut

INFO

org.apache.nifi.registry.StdErr

ERROR

Schema-Registry

Main

 

Параметр Описание Значение по умолчанию

listener port

Порт, который слушает Schema-Registry. Указывается в качестве параметра listeners в конфигурационном файле schema-registry.properties

8081

schema-registry-env.sh

 

Параметр Описание Значение по умолчанию

LOG_DIR

Каталог для хранения логов

/var/log/schema-registry

JMX_PORT

Порт, по которому Schema-Registry отдает JMX-метрики

9997

SCHEMA_REGISTRY_HEAP_OPTS

Размер heap, выделенный Schema-Registry

-Xmx1024M

SCHEMA_REGISTRY_JVM_PERFORMANCE_OPTS

Параметры JVM в части опций PERFORMANCE

-server

-XX:+UseG1G

-XX:MaxGCPauseMillis=20

-XX:InitiatingHeapOccupancyPercent=35

-XX:+ExplicitGCInvokesConcurrent

-Djava.awt.headless=true

Basic Auth properties

 

Параметр Описание Значение по умолчанию

authentication.method

Способ аутентификации

BASIC

authentication.roles

Список ролей пользователей, разделенных запятыми. Чтобы авторизоваться на сервере Schema-Registry, аутентифицированный пользователь должен принадлежать хотя бы к одной из этих ролей

admin

authentication.realm

Cоответствовует разделу в файле jaas_config.file, который определяет, как сервер аутентифицирует пользователей, и должен быть передан как параметр JVM во время запуска сервера

SchemaRegistry-Props

schema-registry.properties

 

Параметр Описание Значение по умолчанию

kafkastore.topic

Одиночная партиция топика, который является надежным логом для данных. Этот топик необходимо сжать, чтобы избежать потери данных из-за политики хранения

_schemas

debug

Логическое значение, указывающее генерировать ли дополнительную отладочную информацию при обработке ошибок

OFF

inter.instance.protocol

Протокол, используемый при совершении вызовов между экземплярами Schema Registry

 — 

ssl.keystore.location

Используется для HTTPS. Расположение файла хранилища ключей keystore для использования SSL

 — 

ssl.keystore.password

Используется для HTTPS. Пароль хранилища для файла keystore

 — 

ssl.key.password

Пароль ключа, содержащегося в keystore

 — 

ssl.truststore.location

Используется для HTTPS. Расположение truststore. Требуется только для аутентификации HTTPS-клиентов

 — 

ssl.truststore.password

Пароль для доступа к хранилищу truststore

 — 

kafkastore.ssl.keystore.location

Расположение файла хранилища keystore SSL

 — 

kafkastore.ssl.keystore.password

Пароль для доступа к хранилищу keystore SSL

 — 

kafkastore.ssl.key.password

Пароль ключа, содержащегося в хранилище keystore

 — 

kafkastore.ssl.keystore.type

Формат файла хранилища ключей keystore

 — 

kafkastore.ssl.truststore.location

Расположение файла хранилища сертификатов truststore SSL

 — 

kafkastore.ssl.truststore.password

Пароль для доступа к truststore

 — 

kafkastore.ssl.truststore.type

Формат файла хранилища truststore

 — 

kafkastore.ssl.endpoint.identification.algorithm

Алгоритм идентификации конечной точки для проверки имени хоста сервера с использованием сертификата сервера

 — 

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации schema-registry.properties

 — 

 
Конфигурационные параметры компонента Schema-Registry:

log4j properties configuration

 

Параметр Описание Значение по умолчанию

log4j.rootLogger

Настройка уровня ведения логов

INFO

log4j.logger.kafka

Настройка уровня ведения логов брокера Kafka (вывод в server.log и стандартный вывод). См. также log4j.logger.org.apache.kafka

ERROR

log4j.logger.org.apache.zookeeper

Настройка ведения логов клиента ZooKeeper

ERROR

log4j.logger.org.apache.kafka

Настройка уровня ведения логов брокера Kafka (вывод в server.log и стандартный вывод). См. также log4j.logger.kafka

ERROR

log4j.logger.org.I0Itec.zkclient

Настройка уровня ведения лога клиента ZooKeeper

ERROR

ZooKeeper

Main

 

Параметр Описание Значение по умолчанию

connect

Строка подключения ZooKeeper, которая будет использоваться другими службами или кластерами, генерируется автоматически

 — 

dataDir

Место, где ZooKeeper будет хранить моментальные снимки базы данных в памяти и, если не указано иное, журнал транзакций обновлений базы данных

/var/lib/zookeeper

admin.serverPort

Порт, который прослушивает встроенный сервер Jetty. Сервер Jetty предоставляет HTTP-интерфейс для команд из четырехбуквенных слов

58080

zoo.cfg

 

Параметр Описание Значение по умолчанию

clientPort

Порт для прослушивания клиентских подключений

2181

tickTime

Основная единица времени, используемая ZooKeeper (в мс). Минимальный тайм-аут сеанса будет в два раза больше, чем tickTime

2000

initLimit

Тайм-ауты, которые ZooKeeper использует для ограничения времени, в течение которого серверы ZooKeeper в Quorum должны подключаться к лидеру

5

syncLimit

Насколько каждый сервер может отставать от Лидера

2

maxClientCnxns

Это свойство ограничивает количество активных подключений с хоста, указанного по IP-адресу, к одному серверу ZooKeeper

0

autopurge.snapRetainCount

Когда функция автоматической очистки ZooKeeper включена, последние снапшоты в количестве autopurge.snapRetainCount и соответствующие им журналы транзакций в dataDir и dataLogDir сохраняются, а остальные удаляются. Минимальное значение 3

3

autopurge.purgeInterval

Интервал времени в часах, для которого должна быть запущена задача очистки. Установите положительное целое число (1 и выше), чтобы включить автоматическую очистку

24

Add key,value

В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации zoo.cfg

 — 

zookeeper-env.sh

 

Параметр Описание Значение по умолчанию

ZOO_LOG_DIR

Каталог для хранения логов

/var/log/zookeeper

ZOOPIDFILE

Каталог для хранения ID процесса ZooKeeper

/var/run/zookeeper/zookeeper_server.pid

SERVER_JVMFLAGS

Используется для установки различных параметров JVM, связанных, например, со сборкой мусора

-Xmx1024m

JAVA

Путь к Java

$JAVA_HOME/bin/java

ZOO_LOG4J_PROP

Используется для установки уровня ведения журнала LOG4J и указания того, какие приложения журнала следует включить. Эффект от включения приложения журнала CONSOLE заключается в том, что журналы отправляются на стандартный вывод. Эффект от включения ROLLINGFILE заключается в том, что файл zookeeper.log создается, ротируется и истекает

INFO, CONSOLE, ROLLINGFILE

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней