Конфигурационные параметры ADS
Статья описывает параметры, которые могу быть настроены для сервисов ADS через ADCM. Процесс настройки сервисов приведен в соответствующих статьях: Online-установка, Offline-установка.
ПРИМЕЧАНИЕ
Некоторые из перечисленных параметров становятся доступны в UI ADCM после установки флага Show advanced.
|
Kafka
Параметр | Описание | Значение по умолчанию |
---|---|---|
log.dirs |
Каталог для хранения логов |
/kafka-logs |
listeners |
Список URI (протокол, хост и порт, на котором поднят брокер). Если используется не протокол PLAINTEXT, то необходимо также указать Для привязки ко всем интерфейсам указать имя хоста как |
PLAINTEXT://:9092 |
default.replication.factor |
Коэффициенты репликации по умолчанию для автоматически создаваемых топиков |
1 |
num.partitions |
Количество партиций журнала каждого топика по умолчанию |
1 |
delete.topic.enable |
Параметр позволяет удалять топики. Если параметр выключен, то удаление топика через инструменты администрирования не приводит к фактическому удалению |
ON |
log.retention.hours |
Количество часов, в течение которых топики хранятся в Kafka |
168 |
log.roll.hours |
Количество часов, по истечении которых пояляется новый журнал сегмента, даже если старый журнал не переполнен |
168 |
Конфигурации очистки журналов
Параметр | Описание | Значение по умолчанию |
---|---|---|
log.cleanup.policy |
Политика очистки журналов |
delete |
log.cleanup.interval.mins |
Интервал, определяющий, как часто средство очистки журналов проверяет журналы, подлежащие удалению. Файл журнала подлежит удалению, если он не был изменен в течение времени, заданного параметром |
10 |
log.cleaner.min.compaction.lag.ms |
Минимальное время, в течение которого сообщение остается несжатым в журнале. Применяется только для журналов с функцией сжатия (в мс) |
0 |
log.cleaner.delete.retention.ms |
Время, в течение которого должны сохраняться маркеры удаленных записей в реплике для топиков в сжатых журналах (log compacted topics) (в мс) |
86400000 |
Параметры переменных окружения сервиса Kafka
Параметр | Описание | Значение по умолчанию |
---|---|---|
PID_DIR |
Каталог для хранения ID процесса Kafka |
/var/run/kafka |
LOG_DIR |
Каталог для хранения логов |
/var/log/kafka |
JMX_PORT |
Порт, по которому Kafka отдает JMX-метрики |
9999 |
Параметр | Описание | Значение по умолчанию |
---|---|---|
auto.create.topics.enable |
Включение автоматического создания топиков |
OFF |
auto.leader.rebalance.enable |
Включение автоматической балансировки лидера. Балансировка лидера в фоновом режиме через регулярные промежутки времени |
ON |
queued.max.requests |
Количество запросов в очереди до блокировки сетевых потоков |
500 |
num.network.threads |
Количество потоков, используемых сервером для получения запросов от сети и отправки ответов в сеть |
3 |
num.io.threads |
Число потоков, используемых сервером для обработки запросов, которые могут включать дисковые операции ввода-вывода |
8 |
unclean.leader.election.enable |
Указывает, следует ли включить не входящие в набор ISR-реплики и установка последнего средства в качестве лидера, даже если это может привести к потере данных |
OFF |
offsets.topic.replication.factor |
Коэффициент репликации для топика смещения (устанавливается выше с целью обеспечения доступности). Создание внутреннего топика невозможно, пока размер кластера не соответствует данному требованию коэффициента репликации |
1 |
transaction.state.log.min.isr |
Переопределение конфигурации |
1 |
transaction.state.log.replication.factor |
Коэффициент репликации для топика транзакции (задается выше для обеспечения доступности). Создание внутреннего топика завершается ошибкой, пока размер кластера не соответствует данному требованию к фактору репликации |
1 |
zookeeper.connection.timeout.ms |
Максимальное время ожидания клиентом установки соединения с ZooKeeper. Если параметр не задан, используется значение |
30000 |
zookeeper.session.timeout.ms |
Тайм-аут сессии ZooKeeper (в мс) |
30000 |
zookeeper.sync.time.ms |
Удаленность последователя ZooKeeper от лидера ZooKeeper (в мс) |
2000 |
security.inter.broker.protocol |
Протокол безопасности, используемый для связи между брокерами |
PLAINTEXT |
ssl.keystore.location |
Расположение файла хранилища ключей keystore. Это необязательно для клиента и может использоваться для двухэтапной аутентификации клиента |
— |
ssl.keystore.password |
Пароль хранилища для файла хранилища ключей keystore. Это необязательно для клиента и требуется только в том случае, если настроен параметр |
— |
ssl.key.password |
Пароль закрытого ключа в файле хранилища ключей keystore. Это необязательно для клиента |
— |
ssl.keystore.type |
Формат файла хранилища ключей keystore. Это необязательно для клиента |
— |
ssl.truststore.location |
Расположение файла хранилища truststore |
— |
ssl.truststore.password |
Пароль хранилища для файла хранилища truststore. Это необязательно для клиента и требуется только в том случае, если настроен параметр |
— |
ssl.truststore.type |
Формат файла хранилища truststore |
— |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации server.properties |
— |
Параметры Apache Ranger
Параметр | Описание | Значение по умолчанию |
---|---|---|
xasecure.audit.destination.solr.batch.filespool.dir |
Каталог для Solr audit spool |
/srv/ranger/kafka_plugin/audit_solr_spool |
xasecure.audit.destination.solr.urls |
Определяет Solr URL. Не устанавливается при использовании ZooKeeper для подключения к Solr |
— |
xasecure.audit.destination.solr.zookeepers |
Включает аудит в Solr для плагинов Ranger |
— |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-kafka-audit.xml |
— |
Параметры Apache Ranger
Параметр | Описание | Значение по умолчанию |
---|---|---|
ranger.plugin.kafka.policy.rest.url |
Путь (адрес, порт) для подключения к Ranger Admin Kafka |
— |
ranger.plugin.kafka.service.name |
Имя сервиса Ranger, содержащего политику для конкретного экземпляра Kafka |
— |
ranger.plugin.kafka.policy.cache.dir |
Каталог, в котором кешируется политика Ranger после успешного извлечения из источника |
/srv/ranger/kafka/policycache |
ranger.plugin.kafka.policy.pollIntervalMs |
Как часто проводить опрос на предмет изменений в политике (в мс) |
30000 |
ranger.plugin.kafka.policy.rest.client.connection.timeoutMs |
Тайм-аут соединения плагина Kafka RangerRestClient (в мс) |
120000 |
ranger.plugin.kafka.policy.rest.client.read.timeoutMs |
Тайм-аут чтения плагина Kafka RangerRestClient (в мс) |
30000 |
ranger.plugin.kafka.policy.rest.ssl.config.file |
Расположение файла, содержащего SSL-данные для соединения с Ranger Admin |
/etc/kafka/conf/ranger-policymgr-ssl.xml |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-kafka-security.xml |
— |
Apache Ranger options
Параметр | Описание | Значение по умолчанию |
---|---|---|
xasecure.policymgr.clientssl.keystore |
Расположение файла хранилища ключей keystore |
— |
xasecure.policymgr.clientssl.keystore.password |
Пароль хранилища ключей keystore |
— |
xasecure.policymgr.clientssl.truststore |
Расположение файла хранилища сертификатов truststore |
— |
xasecure.policymgr.clientssl.truststore.password |
Пароль хранилища truststore |
— |
xasecure.policymgr.clientssl.keystore.credential.file |
Расположение файла учетных записей keystore |
/etc/kafka/conf/keystore.jceks |
xasecure.policymgr.clientssl.truststore.credential.file |
Расположение файла учетных записей truststore |
/etc/kafka/conf/truststore.jceks |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-policymgr-ssl.xml |
— |
Включает аутентификацию для JMX в брокере Kafka (используется при необходимости защиты доступа к JMX-порту брокеров Kafka)
Параметр | Описание |
---|---|
Username |
Имя пользователя для аутентификации в JMX |
Password |
Пароль пользователя для аутентификации в JMX |
Конфигурационные параметры компонента Kafka Broker:
Параметр | Описание | Значение по умолчанию |
---|---|---|
log4j.rootLogger |
Настройка уровня ведения логов |
INFO |
log4j.logger.org.apache.zookeeper |
Настройка ведения логов клиента ZooKeeper |
INFO |
log4j.logger.kafka |
Настройка уровня ведения логов брокера Kafka (вывод в server.log и стандартный вывод). См. также |
INFO |
log4j.logger.org.apache.kafka |
Настройка уровня ведения логов брокера Kafka (вывод в server.log и стандартный вывод). См. также |
INFO |
log4j.logger.kafka.request.logger |
Настройка ведения лога запросов — измените на |
WARN |
log4j.logger.kafka.controller |
Настройка уровня ведения логов контроллера Kafka |
TRACE |
log4j.logger.kafka.log.LogCleaner |
Настройка уровня очистки логов Kafka |
INFO |
log4j.logger.state.change.logger |
Настройка изменения статуса логов |
INFO |
log4j.logger.kafka.authorizer.logger |
Настройка доступа к логам — отказы в доступе регистрируются на уровне |
INFO |
Параметр | Описание | Значение по умолчанию |
---|---|---|
log4j.rootLogger |
Настройка уровня ведения логов |
WARN |
Kafka Connect
Параметр | Описание | Значение по умолчанию |
---|---|---|
tasks.max |
Максимальное количество задач, которые могут быть созданы для этого коннектора |
10 |
offset-syncs.topic.replication.factor |
Фактор репликации для внутреннего топика |
1 |
checkpoint.topic.replication.factor: |
Фактор репликации для внутреннего топика |
1 |
sync.topic.acls.enabled |
Включение мониторинга исходного кластера на предмет изменений ACL |
OFF |
Параметр | Описание | Значение по умолчанию |
---|---|---|
KAFKA_HEAP_OPTS |
Размер heap, выделенный серверному процессу KAFKA |
-Xms256M -Xmx2G |
LOG_DIR |
Каталог для хранения логов |
/var/log/kafka |
KAFKA_LOG4J_OPTS |
Переменная окружения для конфигурации ведения журнала LOG4J |
-Dlog4j.configuration=file:/etc/kafka/conf/connect-distributed-log4j.properties |
Параметр | Описание | Значение по умолчанию |
---|---|---|
group.id |
Уникальная строка, идентифицирующая группу Kafka Connect, которой принадлежит этот коннектор |
mm-connect |
rest.port |
Порт для работы Kafka Connect REST API |
8083 |
plugin.path |
Путь к плагину Kafka Connect |
— |
config.storage.replication.factor |
Фактор репликации для |
1 |
offset.storage.replication.factor |
Фактор репликации для |
1 |
status.storage.replication.factor |
Фактор репликации для |
1 |
offset.flush.interval.ms |
Интервал, через который можно попытаться зафиксировать смещения для задач (в мс) |
1 |
key.converter |
Преобразователь класса для ключевых данных Connect |
org.apache.kafka.connect.converters.ByteArrayConverter |
value.converter |
Преобразователь класса для значения Connect data |
org.apache.kafka.connect.converters.ByteArrayConverter |
connector.client.config.override.policy |
Имя класса или псевдоним реализации ConnectorClientConfigOverridePolicy |
None |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации connect-distributed.properties |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
rootLogger |
Уровень ведения логов |
INFO |
MaxBackupIndex |
Максимальное количество сохраненых файлов |
10 |
MaxFileSize |
Максимальный размер файла |
100MB |
Настройка структуры файла конфигурации ведения журнала для Kafka Connect
Журнал (логгер) | Имена пакетов по умолчанию | Уровень события по умолчанию |
---|---|---|
loggers |
org.apache.zookeeper |
ERROR |
org.I0Itec.zkclient |
ERROR |
|
org.reflections |
ERROR |
Параметр | Описание | Значение по умолчанию |
---|---|---|
ssl.keystore.location |
Расположение файла хранилища ключей keystore. Это необязательно для клиента и может использоваться для двухэтапной аутентификации клиента |
— |
ssl.keystore.password |
Пароль хранилища для файла хранилища ключей keystore. Это необязательно для клиента и требуется только в том случае, если настроен параметр |
— |
ssl.key.password |
Пароль закрытого ключа в файле хранилища ключей keystore. Это необязательно для клиента |
— |
ssl.keystore.type |
Формат файла хранилища ключей keystore. Это необязательно для клиента |
— |
ssl.truststore.location |
Расположение файла хранилища truststore |
— |
ssl.truststore.password |
Пароль хранилища для файла хранилища truststore. Это необязательно для клиента и требуется только в том случае, если настроен параметр |
— |
ssl.truststore.type |
Формат файла хранилища truststore |
— |
Kafka-Manager
Параметр | Описание | Значение по умолчанию |
---|---|---|
Kafka-Manager port |
Порт, на котором поднимается Kafka-Manager. Указывается как |
9000 |
Параметр | Описание | Значение по умолчанию |
---|---|---|
ssl_active |
Опция для включения SSL |
OFF |
play.server.https.keyStore.path |
Расположение файла keyStore |
/tmp/keystore.jks |
play.server.https.keyStore.password |
Пароль хранилища для файла keyStore |
— |
play.server.https.keyStore.type |
Формат файла keyStore |
JKS |
kafka-manager.consumer.properties.file |
Формат файла хранилища truststore |
/cmak/conf/consumer.properties |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации application.conf |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
Kafka Manager env |
Пользовательские параметры переменных среды |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
key.deserializer |
Класс API, использующийся для десериализации ключа записи |
org.apache.kafka.common.serialization.ByteArrayDeserializer |
value.deserializer |
Класс API, использующийся для десериализации значения записи |
org.apache.kafka.common.serialization.ByteArrayDeserializer |
ssl.keystore.location |
Местоположение файла keystore. Опционально для клиента и может использоваться для двусторонней аутентификации |
/tmp/keystore.jks |
ssl.keystore.password |
Пароль хранилища для файла keystore. Опционально для клиента и необходимо только в том случае, если настроен ssl.keystore.location. |
— |
ssl.key.password |
Пароль закрытого ключа в файле keystore. Опционально для клиента |
— |
ssl.keystore.type |
Формат файла keystore. Опционально для клиента |
JKS |
ssl.truststore.location |
Расположение файла truststore |
/tmp/truststore.jks |
ssl.truststore.password |
Пароль для доступа к хранилищу truststore |
— |
ssl.truststore.type |
Формат файла хранилища truststore |
JKS |
Параметры, которые используются для добавления Kafka-кластера в сервис Kafka-Manager
Параметр | Описание | Значение по умолчанию |
---|---|---|
Enable JMX Polling |
Включает или отключает поток опроса для JMX |
ON |
JMX Auth Username |
Добавление нового имени пользователя для авторизации JMX |
— |
JMX Auth Password |
Добавление нового пароля пользователя для авторизации JMX |
— |
JMX with SSL |
Включение и выключение активации JMX идентификацией SSL |
OFF |
Poll consumer information |
Oпрос информации о потребителях |
ON |
Filter out inactive consumers |
Фильтр неактивных потребителей |
ON |
Enable Logkafka |
Включение и выключение Logkafka |
OFF |
Enable Active OffsetCache |
Включение кеширования смещения тем |
ON |
Display Broker and Topic Size |
Показывать брокера и размер топика |
Выключен |
brokerViewUpdatePeriodSeconds |
Время / цикл обновления цикла просмотра брокера |
30 |
clusterManagerThreadPoolSize |
Размер пула потоков управления кластером |
10 |
clusterManagerThreadPoolQueueSize |
Размер очереди пула потоков управления кластером |
100 |
kafkaCommandThreadPoolSize |
Размер пула потоков команд Kafka |
10 |
kafkaCommandThreadPoolQueueSize |
Размер очереди пула командных потоков Kafka |
100 |
logkafkaCommandThreadPoolSize |
Размер пула потоков команд Logkafka |
10 |
logkafkaCommandThreadPoolQueueSize |
Размер очереди пула командных потоков Logkafka |
100 |
logkafkaUpdatePeriodSeconds |
Время цикла обновления Logkafka (в с) |
30 |
partitionOffsetCacheTimeoutSecs |
Время цикла обновления Logkafka (в с) |
5 |
brokerViewThreadPoolSize |
Размер пула потоков представления брокера |
10 |
brokerViewThreadPoolQueueSize |
Размер очереди пула потоков представления брокера |
1000 |
offsetCacheThreadPoolSize |
Размер пула потоков смещения кеша |
10 |
offsetCacheThreadPoolQueueSize |
Размер очереди пула потоков смещенного кеша |
1000 |
kafkaAdminClientThreadPoolSize |
Размер пула потоков клиента управления Kafka |
10 |
kafkaAdminClientThreadPoolQueueSize |
Размер очереди пула потоков клиента управления Kafka |
1000 |
kafkaManagedOffsetMetadataCheckMillis |
Время проверки смещения метаданных |
30000 |
kafkaManagedOffsetGroupCacheSize |
Размер кеша смещенной группы |
1000000 |
kafkaManagedOffsetGroupExpireDays |
Время хранения кеша смещенной группы |
7 |
Security Protocol |
Протокол безопасности |
PLAINTEXT |
SASL Mechanism |
Выбор механизма аутентификации SASL |
DEFAULT |
jaasConfig |
Конфигурации для аутентификации JAAS |
— |
Конфигурационные параметры компонента Kafka-Manager:
Параметр | Описание | Значение по умолчанию |
---|---|---|
log4j_properties_template |
Шаблон для настройки библиотеки логирования log4j |
|
Kafka REST Proxy
Параметр | Описание | Значение по умолчанию |
---|---|---|
rest_listener_port |
Порт, который слушает REST Proxy. Указывается в качестве параметра |
8082 |
Параметр | Описание | Значение по умолчанию |
---|---|---|
LOG_DIR |
Каталог для хранения логов |
/var/log/kafka-rest |
JMX_PORT |
Порт, по которому Kafka REST Proxy отдает JMX-метрики |
9998 |
KAFKAREST_HEAP_OPTS |
Размер heap, выделенный процессу Kafka REST Proxy |
-Xmx1024M |
KAFKAREST_JMX_OPTS |
Параметры JVM в части опций JMX (авторизация, подключение, ssl) |
-Dcom.sun.management.jmxremote -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.ssl=false |
KAFKAREST_OPTS |
Имя переменной окружения Kafka REST Proxy |
-Djava.security.auth.login.config=/etc/kafka-rest/jaas_config.conf |
Параметр | Описание | Значение по умолчанию |
---|---|---|
authentication.method |
Способ аутентификации |
BASIC |
authentication.roles |
Список ролей пользователей, разделенных запятыми. Чтобы авторизоваться на сервере Kafka REST Proxy, аутентифицированный пользователь должен принадлежать хотя бы к одной из этих ролей |
admin |
authentication.realm |
Cоответствовует разделу в файле jaas_config.file, который определяет, как сервер аутентифицирует пользователей, и должен быть передан как параметр JVM во время запуска сервера |
KafkaRest |
Параметр | Описание | Значение по умолчанию |
---|---|---|
id |
Уникальный идентификатор для этого экземпляра сервера REST |
kafka-rest-server |
consumer.threads |
Минимальное количество потоков для выполнения потребительского запроса. Параметр следует установить выше, чем максимальное количество потребителей в одной группе потребителей |
50 |
consumer.request.timeout.ms |
Максимальное общее время ожидания сообщений для запроса, если максимальный размер запроса еще не достигнут (в мс) |
100 |
consumer.request.max.bytes: |
Максимальное количество байтов в ключах сообщений и значениях, возвращаемых одним запросом |
67108864 |
fetch.min.bytes |
Минимальное количество байтов в ключах сообщений и значениях, возвращаемых одним запросом |
-1 |
ssl.endpoint.identification.algorithm |
Алгоритм идентификации конечной точки для проверки сервера c использованием сертификата сервера |
— |
ssl.keystore.location |
Используется для HTTPS. Расположение файла хранилища keystore SSL |
— |
ssl.keystore.type |
Формат файла хранилища keystore |
— |
ssl.keystore.password |
Используется для HTTPS. Пароль для доступа к keystore |
— |
ssl.key.password |
Используется для HTTPS. Пароль ключа, содержащегося в keystore |
— |
ssl.truststore.location |
Используется для HTTPS. Расположение truststore. Требуется только для аутентификации HTTPS-клиентов |
— |
ssl.truststore.type |
Формат файла хранилища truststore |
— |
ssl.truststore.password |
Используется для HTTPS. Пароль для доступа к хранилищу truststore |
— |
client.ssl.keystore.location |
Расположение файла хранилища keystore для использования SSL |
— |
client.ssl.keystore.password |
Пароль для доступа к keystore |
— |
client.ssl.key.password |
Пароль ключа, содержащегося в keystore |
— |
client.ssl.keystore.type |
Формат файла keystore |
— |
client.ssl.truststore.location |
Расположение файла хранилища truststore SSL |
— |
client.ssl.truststore.password |
Пароль для доступа к хранилищу truststore |
— |
client.ssl.truststore.type |
Формат файла хранилища truststore |
— |
client.ssl.endpoint.identification.algorithm |
Алгоритм идентификации конечной точки для проверки сервера |
— |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации kafka-rest.properties |
— |
ksqlDB
Параметр | Описание | Значение по умолчанию |
---|---|---|
Listener port |
Порт, который слушает ksqlDB-server. Указывается в качестве параметра |
8088 |
Параметр | Описание | Значение по умолчанию |
---|---|---|
LOG_DIR |
Каталог для хранения логов |
/var/log/ksql |
JMX_PORT |
Порт, по которому ksqlDB-server отдает JMX-метрики |
10099 |
KSQL_HEAP_OPTS |
Размер heap, выделенный процессу ksqlDB-server |
-Xmx3g |
KSQL_JVM_PERFORMANCE_OPTS |
Параметры JVM в части опций PERFORMANCE |
-server -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+CMSScavengeBeforeRemark -XX:+ExplicitGCInvokesConcurrent -XX:NewRatio=1 -Djava.awt.headless=true |
CLASSPATH |
Параметр виртуальной машины Java или компилятора Java, который указывает расположение пользовательских классов и пакетов |
/usr/lib/ksql/libs/* |
KSQL_CLASSPATH |
Путь к Java-развертыванию ksqlDB Server и связанных классов Java |
${CLASSPATH} |
KSQL_OPTS |
Переменная среды, указывает параметры конфигурации сервера ksqlDB. Свойства, установленные с помощью |
-Djava.security.auth.login.config=/etc/ksqldb/jaas_config.conf |
Параметр | Описание | Значение по умолчанию |
---|---|---|
authentication.method |
Способ аутентификации |
BASIC |
authentication.roles |
Список ролей пользователей, разделенных запятыми. Чтобы авторизоваться на сервере ksqlDB, аутентифицированный пользователь должен принадлежать хотя бы к одной из этих ролей |
admin |
authentication.realm |
Cоответствовует разделу в файле jaas_config.file, который определяет, как сервер аутентифицирует пользователей, и должен быть передан как параметр JVM во время запуска сервера |
KsqlServer-Props |
Path to password.properties |
Путь к password.properties |
/etc/ksqldb/password.properties |
Параметр | Описание | Значение по умолчанию |
---|---|---|
application.id |
Идентификатор приложения |
ksql-server |
ksql.internal.topic.replicas |
Фактор репликации для внутренних топиков ksqlDB Servers |
1 |
ksql.streams.state.dir |
Каталог хранилища для работы с отслеживанием состояния |
/usr/lib/ksql/state |
ksql.streams.replication.factor |
Основные внутренние топики Kafka Streams |
1 |
ksql.streams.topic.min.insync.replicas |
Минимальное количество брокеров, которые должны иметь данные, записанные в синхронизированные реплики |
2 |
ksql.streams.num.standby.replicas |
Количество реплик для операций с состоянием |
1 |
ksql.streams.producer.acks |
Количество брокеров, которым необходимо подтвердить получение сообщения, прежде чем оно будет считаться успешной записью |
all |
ksql.streams.producer.delivery.timeout.ms |
Срок годности пакетного файла (batch) (в мс) |
2147483647 |
ksql.streams.producer.max.block.ms |
Максимально допустимое время для блокировки производителем (в мс) |
9223372036854775000 |
ssl.endpoint.identification.algorithm |
Алгоритм идентификации конечной точки для проверки сервера |
— |
ssl.keystore.location |
Используется для HTTPS. Расположение файла хранилища ключей для использования SSL |
— |
ssl.keystore.type |
Формат файла keystore |
— |
ssl.keystore.пароль |
Используется для HTTPS. Пароль хранилища для файла |
— |
ssl.key.password |
Используется для HTTPS. Пароль закрытого ключа в файле keystore |
— |
ssl.truststore.location |
Расположение файла truststore |
— |
ssl.truststore.type |
Формат файла хранилища truststore |
— |
ssl.truststore.пароль |
Используется для HTTPS. Пароль хранилища для файла хранилища truststore |
— |
ksql.schema.registry.ssl.keystore.location |
Расположение файла хранилища ключей SSL |
— |
ksql.schema.registry.ssl.keystore.password |
Пароль для доступа к keystore |
— |
ksql.schema.registry.ssl.key.password |
Пароль ключа, содержащегося в keystore |
— |
ksql.schema.registry.ssl.keystore.type |
Формат файла keystore |
— |
ksql.schema.registry.ssl.truststore.location |
Расположение файла хранилища сертификатов SSL truststore |
— |
ksql.schema.registry.ssl.truststore.password |
Пароль для доступа к хранилищу truststore |
— |
ksql.schema.registry.ssl.truststore.type |
Формат файла хранилища truststore |
— |
Add key, value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации server.properties |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
group.id |
Уникальный идентификатор группы |
ksql-connect-cluster |
key.converter |
Определяет формат данных в Kafka и способ их преобразования в данные Connect |
org.apache.kafka.connect.storage.StringConverter |
key.converter.schema.registry.url |
Расположение ключевых данных ksqlDB |
|
value.converter |
Преобразователь класса для значений ksqlDB data |
io.confluent.connect.avro.AvroConverter |
value.converter.schema.registry.url |
Расположение значений ksqlDB data |
|
config.storage.topic |
Имя внутреннего топика для хранения конфигураций |
ksql-connect-configs |
offset.storage.topic |
Имя внутреннего топика для хранения статистики подключения |
ksql-connect-offsets |
status.storage.topic |
Имя внутреннего топика для хранения статистики состояния подключения |
ksql-connect-statuses |
config.storage.replication.factor |
Фактор репликации для |
1 |
offset.storage.replication.factor |
Фактор репликации для |
1 |
status.storage.replication.factor |
Фактор репликации для |
1 |
internal.key.converter |
Класс преобразователя для внутренних значений с записями соединения |
org.apache.kafka.connect.json.JsonConverter |
internal.value.converter |
Класс преобразователя внутренних значений с записями соединения |
org.apache.kafka.connect.json.JsonConverter |
internal.key.converter.schemas.enable |
Конфигурация схемы для внутренней статистики подключения данных |
OFF |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации connect.properties |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
interceptor.classes |
Установка нового элемента в объект свойств Java, который вы используете для создания нового источника при отсутствии каких-либо "перехватчиков" (interceptors) |
io.confluent.monitoring.clients.interceptor.MonitoringProducerInterceptor |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации datagen.properties |
— |
Конфигурационные параметры компонента ksqlDB Server:
Параметр | Описание | Значение по умолчанию |
---|---|---|
log4j.rootLogger |
Настройка уровня ведения логов |
INFO |
log4j.logger.org.reflections |
Настройка уровня вывода предупреждений Reflections |
ERROR |
log4j.logger.org.apache.kafka.streams |
Настройка уровня ведения логов Kafka Streams |
INFO |
log4j.logger.kafka |
Настройка уровня ведения логов брокера Kafka (вывод в server.log и стандартный вывод). См. также |
WARN |
log4j.logger.org.apache.zookeeper |
Настройка ведения логов клиента ZooKeeper |
WARN |
log4j.logger.org.apache.kafka |
Настройка уровня ведения логов брокера Kafka (вывод в server.log и стандартный вывод). См. также |
WARN |
log4j.logger.org.I0Itec.zkclient |
Настройка уровня ведения лога клиента ZooKeeper |
WARN |
Параметр | Описание | Значение по умолчанию |
---|---|---|
log4j.logger.io.confluent.ksql.rest.server.resources.KsqlResource |
Запрет ksqlDB выходить из каждого получаемого запроса |
WARN |
Параметр | Описание | Значение по умолчанию |
---|---|---|
log4j.logger.io.confluent.ksql.util.KsqlConfig |
Включите во избежание спама журналов значениями KsqlConfig |
WARN |
MiNiFi
Параметр | Описание | Значение по умолчанию |
---|---|---|
MiNiFi C2 Server port |
HTTP-порт, на котором поднимается веб-интерфейс сервиса MiNiFi |
10080 |
nifi.minifi.notifier.ingestors.pull.http.query |
Cтрока запроса для извлечения конфигураций |
minifi |
Параметр | Описание | Значение по умолчанию |
---|---|---|
MINIFI_HOME |
Каталог для установки MiNiFi |
/usr/lib/minifi |
MINIFI_PID_DIR |
Каталог для хранения ID процесса MiNiFi |
/var/run/minifi |
MINIFI_LOG_DIR |
Каталог для хранения логов |
/var/log/minifi |
Параметр | Описание | Значение по умолчанию |
---|---|---|
MiNiFi Agent Heap size |
Heap-размер агента |
256m |
nifi.minifi.notifier.ingestors.pull.http.period.ms |
Период проверки обновлений (в мс) |
300000 |
nifi.minifi.status.reporter.log.query |
Запрос состояния экземпляра MiNiFi:
|
instance:
|
nifi.minifi.status.reporter.log.level |
Уровень журнала, на котором регистрируется статус |
INFO |
nifi.minifi.status.reporter.log.period |
Задержка между запросами (в мс) |
60000 |
nifi.minifi.security.keystore |
Полный путь и имя хранилища keystore |
— |
nifi.minifi.security.keystoreType |
Тип хранилища keystore |
— |
nifi.minifi.security.keystoreПароль |
Пароль хранилища keystore |
— |
nifi.minifi.security.keyPasswd |
Ключевой пароль |
— |
nifi.minifi.security.truststore |
Полный путь и имя хранилища truststore |
— |
nifi.minifi.security.truststoreType |
Тип хранилища truststore |
— |
nifi.minifi.security.truststorePasswd |
Пароль хранилища truststore |
— |
nifi.minifi.security.ssl.протокол |
Протокол безопасности |
— |
nifi.minifi.notifier.ingestors.pull.http.keystore.location |
Полный путь и имя хранилища keystore |
— |
nifi.minifi.notifier.ingestors.pull.http.keystore.type |
Тип хранилища keystore |
— |
nifi.minifi.notifier.ingestors.pull.http.keystore.password |
Пароль хранилища keystore |
— |
nifi.minifi.notifier.ingestors.pull.http.truststore.location |
Полный путь и имя хранилища truststore |
— |
nifi.minifi.notifier.ingestors.pull.http.truststore.type |
Тип хранилища truststore |
— |
nifi.minifi.notifier.ingestors.pull.http.truststore.password |
Пароль хранилища truststore |
— |
Настройка уровней логирования и log rotate для MiNiFi
Параметр | Описание | Значение по умолчанию |
---|---|---|
app_file_max_history |
Максимальное количество файлов для приложений |
10 |
boot_file_max_history |
Максимальное количество файлов для Boot |
5 |
status_file_max_history |
Максимальное количество файлов для статусов |
5 |
root_level |
Уровень события |
INFO |
Настройка структуры файла конфигурации логирования для MiNiFi
Журнал (логгер) | Имена пакетов по умолчанию | Уровень события по умолчанию |
---|---|---|
app_loggers |
org.apache.nifi |
INFO |
org.apache.nifi.processors |
WARN |
|
org.apache.nifi.processors.standard.LogAttribute |
INFO |
|
org.apache.nifi.controller.repository.StandardProcessSession |
WARN |
|
bootstrap_loggers |
org.apache.nifi.bootstrap |
INFO |
org.apache.nifi.bootstrap.Command |
INFO |
|
org.apache.nifi.StdOut |
INFO |
|
org.apache.nifi.StdErr |
ERROR |
|
status_loggers |
org.apache.nifi.minifi.bootstrap.status.reporters.StatusLogger |
INFO |
Параметр | Описание | Значение по умолчанию |
---|---|---|
minifi.c2.server.secure |
MiNiFi C2 безопасен |
— |
minifi.c2.server.keystore |
Полный путь и имя хранилища ключей keystore |
|
minifi.c2.server.keystoreType |
Тип хранилища ключей keystore |
— |
minifi.c2.server.keystorePasswd |
Пароль хранилища ключей keystore |
— |
minifi.c2.server.keyPasswd |
Ключевой пароль |
— |
minifi.c2.server.truststore |
Полный путь и имя хранилища truststore |
— |
minifi.c2.server.truststoreType |
Тип хранилища truststore |
— |
minifi.c2.server.truststorePasswd |
Пароль хранилища truststore |
— |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации MiNiFi C2 Server c2.properties |
— |
Настройка уровней логирования и ротации логов для MiNiFi C2 Server
Параметр | Описание | Значение по умолчанию |
---|---|---|
log_file_max_history |
Максимальное количество файлов для приложений |
10 |
root_level |
Уровень события |
INFO |
Настройка структуры файла конфигурации логирования для MiNiFi C2 Server
Журнал (логгер) | Имена пакетов по умолчанию | Уровень события по умолчанию |
---|---|---|
log_file_loggers |
org.apache.nifi.minifi.c2 |
DEBUG |
Monitoring Clients
Параметр | Описание | Значение по умолчанию |
---|---|---|
Protocol |
Протокол, используемый для отправки метрик в кластер мониторинга. Возможные значения: |
TCP |
NiFi
Параметр | Описание | Значение по умолчанию |
---|---|---|
Nifi config encryption password |
Пароль, из которого можно получить ключ для шифрования конфиденциальных свойств. Должен быть длиной не менее 12 символов |
0123456789ABC |
Параметр | Описание | Значение по умолчанию |
---|---|---|
Nifi UI port |
HTTP-порт, на котором поднимается веб-интерфейс сервиса NiFi, указывается в качестве параметра |
9090 |
Nifi server Heap size |
Размер heap, выделенный процессу сервиса NiFi, указывается в конфигурационном файле bootstrap.conf |
1024m |
Nifi Registry UI port |
HTTP-порт реестра Nifi, указывается в качестве параметра |
18080 |
Nifi Registry Heap size |
Размер heap, выделенный реестру Nifi, указывается в конфигурационном файле bootstrap.conf |
512m |
nifi.queue.backpressure.count |
Значение по умолчанию для количества файлов FlowFile (базовый объект обработки NiFi), которые могут находиться в очереди до того, как будет применено backpressure, то есть прекращение отправки данных источником. Значение должно быть целым числом (integer) |
10000 |
nifi.queue.backpressure.size |
Значение по умолчанию для максимального объема данных, которые должны быть поставлены в очередь перед применением backpressure. Значение должно быть размером данных, включая единицу измерения |
1 GB |
Параметры расположения репозиториев сервиса NiFi
Параметр | Описание | Значение по умолчанию |
---|---|---|
nifi.flowfile.repository.directory |
Расположение репозитория FlowFile |
/usr/lib/nifi-server/flowfile_repository |
nifi.content.repository.directory |
Расположение репозитория Content |
/usr/lib/nifi-server/content_repository |
nifi.provenance.repository.directory |
Расположение репозитория Provenance |
/usr/lib/nifi-server/provenance_repository |
nifi.database.directory |
Расположение директории H2 database |
/usr/lib/nifi-server/database_repository |
nifi.registry.db.directory |
Расположение директории Registry database |
/usr/lib/nifi-registry/database |
nifi.nar.library.directory.lib |
Параметр следует использовать в случае добавления custom nars |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
xasecure.audit.destination.solr.batch.filespool.dir |
Каталог для Solr audit spool |
/srv/ranger/nifi_plugin/audit_solr_spool |
xasecure.audit.destination.solr.urls |
Указывает URL-адрес Solr. Не устанавливается при использовании ZooKeeper для подключения к Solr |
— |
xasecure.audit.destination.solr.zookeepers |
Включает аудит в Solr для плагинов Ranger |
— |
xasecure.audit.destination.solr.force.use.inmemory.jaas.config |
Подключение Zookeeper к Solr с использованием конфигурации в JAAS-файле |
ON |
xasecure.audit.jaas.Client.loginModuleControlFlag |
Указывает, является ли успех модуля обязательным, необходимым, достаточным или необязательным |
— |
xasecure.audit.jaas.Client.loginModuleName |
Имя класса используемой технологии аутентификации |
— |
xasecure.audit.jaas.Client.option.keyTab |
Имя файла keytab для получения секретного ключа принципала |
— |
xasecure.audit.jaas.Client.option.serviceName |
Имя сервиса |
— |
xasecure.audit.jaas.Client.option.storeKey |
Включите, если хотите, чтобы keytab или ключ субъекта сохранялись в личных учетных данных субъекта |
ON |
xasecure.audit.jaas.Client.option.useKeyTab |
Включите, если хотите, чтобы модуль получал ключ принципала из таблицы ключей keystore |
ON |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-nifi-audit.xml |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
ranger.plugin.nifi.policy.rest.url |
Путь (адрес, порт) для подключения к Ranger Admin NiFi |
— |
ranger.plugin.nifi.service.name |
Имя сервиса Ranger, содержащего политику для конкретного экземпляра NiFi |
— |
ranger.plugin.nifi.policy.source.impl |
Класс для получения политик из источника |
org.apache.ranger.admin.client.RangerAdminRESTClient |
ranger.plugin.nifi.policy.cache.dir |
Каталог, в котором кешируется политика Ranger после успешного извлечения из источника |
/srv/ranger/nifi/policycache |
ranger.plugin.nifi.policy.pollIntervalMs |
Как часто проводить опрос на предмет изменений в политике (в мс) |
30000 |
ranger.plugin.nifi.policy.rest.client.connection.timeoutMs |
Тайм-аут соединения плагина NiFi RangerRestClient (в мс) |
120000 |
ranger.plugin.nifi.policy.rest.client.read.timeoutMs |
Тайм-аут чтения плагина NiFi RangerRestClient (в мс) |
30000 |
ranger.plugin.nifi.policy.rest.ssl.config.file |
Путь к файлу, содержащему данные SSL для связи с Ranger Admin |
/etc/nifi/conf/ranger-nifi-policymgr-ssl.xml |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-nifi-security.xml |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
xasecure.policymgr.clientssl.keystore |
Расположение файла хранилища ключей keystore |
— |
xasecure.policymgr.clientssl.keystore.password |
Пароль хранилища ключей keystore |
— |
xasecure.policymgr.clientssl.truststore |
Расположение файла хранилища сертификатов truststore |
— |
xasecure.policymgr.clientssl.truststore.password |
Пароль хранилища truststore |
— |
xasecure.policymgr.clientssl.keystore.credential.file |
Расположение файла учетных записей keystore |
/etc/nifi/conf/keystore.jceks |
xasecure.policymgr.clientssl.truststore.credential.file |
Расположение файла учетных записей truststore |
/etc/nifi/conf/truststore.jceks |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-nifi-policymgr-ssl.xml |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
xasecure.audit.destination.solr.batch.filespool.dir |
Каталог для Solr audit spool |
/srv/ranger/nifi_registry_plugin/audit_solr_spool |
xasecure.audit.destination.solr.urls |
Определяет Solr URL. Не устанавливается при использовании ZooKeeper для подключения к Solr |
— |
xasecure.audit.destination.solr.zookeepers |
Включает аудит в Solr для плагинов Ranger |
— |
xasecure.audit.destination.solr.force.use.inmemory.jaas.config |
Подключение ZooKeeper к Solr с использованием конфигурации в JAAS-файле |
— |
xasecure.audit.jaas.Client.loginModuleControlFlag |
Указывает, является ли успех модуля обязательным, необходимым, достаточным или необязательным |
— |
xasecure.audit.jaas.Client.loginModuleName |
Имя класса используемой технологии аутентификации |
— |
xasecure.audit.jaas.Client.option.keyTab |
Имя файла keytab для получения секретного ключа принципала |
— |
xasecure.audit.jaas.Client.option.serviceName |
Имя сервиса |
— |
xasecure.audit.jaas.Client.option.storeKey |
Установите для этого параметра значение |
— |
xasecure.audit.jaas.Client.option.useKeyTab |
Установите для этого параметра значение |
— |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-nifi-registry-audit.xml |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
ranger.plugin.nifi-registry.policy.rest.url |
Путь к переменной NiFi-registry для службы Ranger |
— |
ranger.plugin.nifi-registry.service.name |
Имя службы Ranger, содержащей политики для этого экземпляра реестра NiFi-registry |
— |
ranger.plugin.nifi-registry.policy.source.impl |
Класс для получения политик из источника |
org.apache.ranger.admin.client.RangerAdminRESTClient |
ranger.plugin.nifi-registry.policy.cache.dir |
Каталог, в котором кешируются политики Ranger после успешного извлечения из источника |
/srv/ranger/nifi-registry/policycache |
ranger.plugin.nifi-registry.policy.pollIntervalMs |
Как часто опрашивать изменения политик (в мс) |
30000 |
ranger.plugin.nifi-registry.policy.rest.client.connection.timeoutMs |
Время ожидания соединения RangerRestClient (в мс) |
120000 |
ranger.plugin.nifi-registry.policy.rest.client.read.timeoutMs |
Таймаут чтения RangerRestClient (в мс) |
30000 |
ranger.plugin.nifi-registry.policy.rest.ssl.config.file |
Путь к файлу, содержащему данные SSL для связи с Ranger Admin |
/etc/nifi-registry/conf/ranger-policymgr-ssl.xml |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-nifi-registry-security.xml |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
xasecure.policymgr.clientssl.keystore |
Расположение файла хранилища ключей keystore |
— |
xasecure.policymgr.clientssl.keystore.password |
Пароль хранилища ключей keystore |
— |
xasecure.policymgr.clientssl.truststore |
Расположение файла хранилища сертификатов truststore |
— |
xasecure.policymgr.clientssl.truststore.password |
Пароль хранилища truststore |
— |
xasecure.policymgr.clientssl.keystore.credential.file |
Расположение файла учетных записей keystore |
/etc/nifi-registry/conf/keystore.jceks |
xasecure.policymgr.clientssl.truststore.credential.file |
Расположение файла учетных записей truststore |
/etc/nifi-registry/conf/truststore.jceks |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации ranger-nifi-registry-policymgr-ssl.xml |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
DN NiFi’s nodes list |
Список идентификаторов пользователей и систем для заполнения пользовательского файла. Это обязательные поля для включения SSL в первый раз.
Должен включать в себя не только DName компонента NiFi Server, но и DName NiFi Registry, а также DName для компонентов сервиса MiNiFi. Например, для кластера с включенным SSL, состоящего только из NiFi Server, при добавлении сервиса MiNiFi или расширения Schema Registry необходимо дополнить этот список новыми DName
. Пример для узлов — |
— |
NiFi Initial Admin |
Идентификатор первичного пользователя-администратора, которому будет предоставлен доступ к пользовательскому интерфейсу и возможность создавать дополнительных пользователей, группы и политики. Значением этого свойства может быть:
|
— |
NiFi Initial Admin password |
Начальный пароль администратора — пароль пользователя, назначенного NiFi Initial Admin |
— |
Ranger Admin Identitity |
DN сертификата, который Ranger будет использовать для связи с Nifi. Требуется сгенерированное хранилище ключей keystore SSL и хранилище truststore на хосте Ranger. Применимо только для плагина NiFi Ranger |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
Authentication Strategy |
Как аутентифицируется подключение к серверу LDAP |
ANONYMOUS |
Manager DN |
DN пользователя, имеющего запись в каталоге Active Directory с правами поиска пользователей и групп. Будет использован для привязки к серверу LDAP для поиска пользователей |
— |
Manager Password |
Пароль менеджера, который используется для привязки к серверу LDAP для поиска пользователей |
— |
TLS - Keystore |
Путь к хранилищу ключей keystore, который используется при подключении к LDAP с помощью LDAPS или START_TLS |
— |
TLS - Keystore Password |
Пароль для хранилища ключей keystore, который используется при подключении к LDAP с помощью LDAPS или START_TLS |
— |
TLS - Keystore Type |
Тип хранилища ключей keystore, которое используется при подключении к LDAP с помощью LDAPS или START_TLS (например, JKS или PKCS12) |
— |
TLS - Truststore |
Путь к хранилищу truststore, которое используется при подключении к LDAP с помощью LDAPS или START_TLS |
— |
TLS - Truststore Password |
Пароль для truststore, который используется при подключении к LDAP с помощью LDAPS или START_TLS |
— |
TLS - Truststore Type |
Тип хранилища truststore, который используется при подключении к LDAP с помощью LDAPS или START_TLS (например, JKS или PKCS12) |
— |
TLS - Client Auth |
Политика аутентификации клиента при подключении к LDAP с помощью LDAPS или START_TLS. Возможные значения: |
NONE |
TLS - Protocol |
Протокол для использования при подключении к LDAP с помощью LDAPS или START_TLS (например, TLS, TLSv1.1, TLSv1.2 и т. д.) |
— |
TLS - Shutdown Gracefully |
Указывает, должен ли TLS корректно завершать работу перед закрытием целевого контекста |
False |
Referral Strategy |
Стратегия работы с referrals |
FOLLOW |
Connect Timeout |
Продолжительность тайм-аута подключения |
10 secs |
Read Timeout |
Продолжительность тайм-аута чтения |
10 secs |
LDAP URL |
Разделенный пробелами список URL-адресов серверов LDAP (например, |
— |
User Search Base |
Базовое DN для поиска пользователей (например, |
— |
User Search Filter |
Фильтр для поиска пользователей по базе поиска (например, |
— |
Identity Strategy |
Стратегия идентификации пользователей. Возможные значения: |
USE_DN |
Authentication Expiration |
Продолжительность действия аутентификации пользователя. Если пользователь никогда не выходит из системы, ему потребуется снова войти в систему по истечении этого времени |
12 hours |
Параметр | Описание | Значение по умолчанию |
---|---|---|
Authentication Strategy |
Как аутентифицируется подключение к серверу LDAP |
ANONYMOUS |
Manager DN |
DN пользователя, имеющего запись в каталоге Active Directory, обладающий правами поиска пользователей и групп. Будет использован для привязки к серверу LDAP для поиска пользователей |
— |
Manager Password |
Пароль менеджера, который используется для привязки к серверу LDAP для поиска пользователей |
— |
TLS - Keystore |
Путь к хранилищу ключей, который используется при подключении к LDAP с помощью LDAPS или START_TLS |
— |
TLS - Keystore Password |
Пароль для хранилища ключей keystore, который используется при подключении к LDAP с помощью LDAPS или START_TLS |
— |
TLS - Keystore Type |
Тип хранилища ключей keystore, которое используется при подключении к LDAP с помощью LDAPS или START_TLS (например, JKS или PKCS12) |
— |
TLS - Truststore |
Путь к хранилищу truststore, которое используется при подключении к LDAP с помощью LDAPS или START_TLS |
— |
TLS - Truststore Password |
Пароль для truststore, который используется при подключении к LDAP с помощью LDAPS или START_TLS |
— |
TLS - Truststore Type |
Тип хранилища truststore, который используется при подключении к LDAP с помощью LDAPS или START_TLS (например, JKS или PKCS12) |
— |
TLS - Client Auth |
Политика аутентификации клиента при подключении к LDAP с помощью LDAPS или START_TLS. Возможные значения: |
NONE |
TLS - Protocol |
Протокол для использования при подключении к LDAP с помощью LDAPS или START_TLS (например, TLS, TLSv1.1, TLSv1.2 и т. д.) |
— |
TLS - Shutdown Gracefully |
Указывает, должен ли TLS корректно завершать работу перед закрытием целевого контекста |
— |
Referral Strategy |
Стратегия работы с referrals |
FOLLOW |
Connect Timeout |
Продолжительность тайм-аута подключения |
10 secs |
Read Timeout |
Продолжительность тайм-аута чтения |
10 secs |
LDAP URL |
Разделенный пробелами список URL-адресов серверов LDAP (например, |
— |
Page Size |
Устанавливает размер страницы при получении пользователей и групп. Если не указано, пейджинг не выполняется |
— |
Sync Interval |
Продолжительность времени между синхронизацией пользователей и групп. Минимально допустимое значение – |
30 mins |
User Search Base |
Базовое DN для поиска пользователей (например, |
— |
User Object Class |
Класс объекта для идентификации пользователей (например, |
— |
User Search Scope |
Область для поиска пользователей |
ONE_LEVEL |
User Search Filter |
Фильтр для поиска пользователей по базе поиска (например, |
— |
User Identity Attribute |
Атрибут для извлечения идентификатора пользователя (например, |
— |
User Group Name Attribute |
Атрибут, используемый для определения членства в группе (например, |
— |
User Group Name Attribute - Referenced Group Attribute |
Если параметр не установлен, значение атрибута в |
— |
Group Search Base |
Базовое DN для поиска групп (например, |
— |
Group Object Class |
Класс объекта для идентификации групп (например, |
— |
Group Search Scope |
Область для поиска группы пользователей |
ONE_LEVEL |
Group Search Filter |
Фильтр для поиска групп по базе поиска. Опционально |
— |
Group Name Attribute |
Атрибут для извлечения имени группы (например, |
— |
Group Member Attribute |
Атрибут, используемый для определения членства в группе (например, |
— |
Group Member Attribute - Referenced User Attribute |
Если параметр установлен, значение атрибута в |
— |
Конфигурации платформы аналитики
Параметр | Описание | Значение по умолчанию |
---|---|---|
nifi.analytics.predict.interval |
Интервал времени, в который должны быть сделаны аналитические прогнозы (например, насыщение очереди) |
3 мин |
nifi.analytics.query.interval |
Интервал времени для запроса прошлых наблюдений (например, последние 3 минуты снапшотов). Значение должно быть как минимум в 3 раза больше, чем заданный |
5 мин |
nifi.analytics.connection.model.implementation |
Класс реализации для модели анализа состояния, используемой для прогнозирований соединения |
Ordinary Least Squares |
nifi.analytics.connection.model.score.name |
Имя типа скоринга, которое следует использовать для оценки модели |
rSquared |
nifi.analytics.connection.model.score.threshold |
Порог для значения скоринга (модель score должна быть выше заданного порога) |
.90 |
Параметры, определяющие место для установки сервиса NiFi
Параметр | Описание | Значение по умолчанию |
---|---|---|
NIFI_HOME |
Каталог для установки NiFi |
/usr/lib/nifi-server |
NIFI_PID_DIR |
Каталог для хранения ID процесса NiFi |
/var/run/nifi |
NIFI_LOG_DIR |
Каталог для хранения логов |
/var/log/nifi |
NIFI_ALLOW_EXPLICIT_KEYTAB |
Предотвращение использования неактуальных свойств keytab произвольной формы, которые были оставлены для обратной совместимости |
true |
Параметр | Описание | Значение по умолчанию |
---|---|---|
nifi.flow.configuration.file |
Расположение файла конфигурации потока (содержащего то, что в текущий момент отображается на графике NiFi) |
/etc/nifi/conf/flow.xml.gz |
nifi.flow.configuration.archive.enabled |
Включает автоматическое создание NiFi резервной копии потока при обновлении потока |
ON |
nifi.cluster.node.connection.timeout |
Время ожидания при подключении к другому узлу в кластере для принятия решения о неудачном соединении |
5 с |
nifi.cluster.node.read.timeout |
Время ожидания получения информации при связи с другим узлом в кластере для принятия решения об обрыве связи |
5 с |
nifi.zookeeper.connect.timeout |
Время ожидания при подключении к ZooKeeper для принятия решения о неудачном подключении |
3 с |
nifi.zookeeper.session.timeout |
Время ожидания после потери соединения с ZooKeeper до истечения сессии |
3 с |
nifi.variable.registry.properties |
Путь расположения файлов для одного или нескольких файлов индивидуальных свойств. Для нескольких файлов пути разделяются запятыми |
/etc/nifi/conf/extra-args.properties |
nifi.remote.input.http.enabled |
Указывает, следует ли включить HTTP Site-to-Site на этом узле |
ВКЛ |
nifi.remote.input.http.transaction.ttl |
Указывает, как долго транзакция может оставаться на сервере |
30 сек |
nifi.remote.contents.cache.expiration |
Указывает, как долго NiFi должен кешировать информацию об удаленном экземпляре NiFi при обмене данными через Site-to-Site |
30 сек. |
nifi.flow.configuration.archive.max.time |
Срок жизни заархивированных файлов flow.xml |
30 дней |
nifi.flow.configuration.archive.max.storage |
Общий размер данных, допустимый для заархивированных файлов flow.xml |
500 МБ |
nifi.flow.configuration.archive.max.count |
Разрешенное количество архивных файлов |
— |
nifi.flowcontroller.autoResumeState |
Указывает, должны ли после перезапуска компоненты на графике NiFi возвращаться в свое последнее состояние |
— |
nifi.flowcontroller.graceful.shutdown.period |
Указывает период отключения |
10 сек |
nifi.flowservice.writedelay.interval |
Если в файл flow.xml внесено много изменений, свойство указывает время ожидания перед записью изменений, чтобы объединить изменения в одну запись |
500 мс |
nifi.administrative.yield.duration |
Если компонент допускает появление неожиданного исключения, это считается ошибкой. В результате фреймворк произведет остановку (или уступит права) для компонента на это время |
30 сек |
nifi.bored.yield.duration |
Количество времени, которое компонент будет ждать перед проверкой, есть ли у него новые данные для работы |
10 миллисекунд |
nifi.ui.banner.text |
Текст баннера, который можно настроить для отображения в верхней части пользовательского интерфейса |
— |
nifi.ui.autorefresh.interval |
Интервал автоматического обновления пользовательского интерфейса |
30 сек |
nifi.state.management.provider.local |
Идентификатор локального поставщика состояний для использования |
local-provider |
nifi.state.management.provider.cluster |
Идентификатор используемого поставщика состояния кластера |
zk-provider |
nifi.state.management.embedded.zookeeper.start |
Указывает, должен ли этот экземпляр NiFi запускать встроенный сервер ZooKeeper |
— |
nifi.h2.url.append |
Свойство указывает дополнительные аргументы для добавления в строку подключения к базе данных H2 |
;LOCK_TIMEOUT=25000;WRITE_DELAY=0;AUTO_SERVER=FALSE |
nifi.flowfile.repository.implementation |
Реализация репозитория FlowFile. Чтобы хранить потоковые файлы в памяти, а не на диске (с учетом потери данных в случае сбоя питания/машины или перезапуска NiFi), установите для этого свойства значение |
org.apache.nifi.controller.repository.WriteAheadFlowFileRepository |
nifi.flowfile.repository.wal.implementation |
Если реализация репозитория настроена на использование WriteAheadFlowFileRepository, свойство можно использовать, чтобы указать, какую реализацию Write-Ahead Log следует использовать |
org.apache.nifi.wali.SequentialAccessWriteAheadLog |
nifi.flowfile.repository.partitions |
Количество партиций |
256 |
nifi.flowfile.repository.checkpoint.interval |
Интервал контрольной точки репозитория FlowFile |
2 мин. |
nifi.flowfile.repository.always.sync |
Если установлено значение |
— |
nifi.swap.manager.implementation |
Реализация Swap Manager |
org.apache.nifi.controller.FileSystemSwapManager |
nifi.queue.swap.threshold |
Порог очереди, при котором NiFi начинает swap информации FlowFile на диск |
20000 |
nifi.swap.in.period |
Swap in период |
5 сек |
nifi.swap.in.threads |
Количество потоков, используемых для подкачки |
1 |
nifi.swap.out.period |
Swap out период |
5 сек |
nifi.swap.out.threads |
Количество потоков, используемых для swapping out |
4 |
nifi.content.repository.implementation |
Реализация Content Repository. Значение по умолчанию следует изменять с осторожностью. Чтобы содержимое потокового файла сохранялось в памяти, а не на диске (с риском потери данных в случае сбоя питания/машины), установите для этого свойства значение |
org.apache.nifi.controller.repository.FileSystemRepository |
nifi.content.claim.max.appendable.size |
Максимальный размер батча данных для сохранения на диск (content claim) |
1 МБ |
nifi.content.claim.max.flow.files |
Максимальное количество FlowFiles для назначения одному батчу для сохранения на диск (content claim) |
100 |
nifi.content.repository.archive.max.retention.period |
Если архивирование включено, свойство указывает максимальное время хранения архивных данных |
12 часов |
nifi.content.repository.archive.max.usage.percentage |
Если архивирование включено, свойство должно иметь значение, указывающее процент использования диска репозитория содержимого, при котором архивные данные начинают удаляться. Если архив пуст, а использование диска репозитория содержимого превышает этот процент, то архивирование временно отключается. Архивирование возобновится, когда использование диска станет ниже этого процента |
50% |
nifi.content.repository.archive.enabled |
Чтобы включить архивирование содержимого, установите для этого параметра значение |
— |
nifi.content.repository.always.sync |
Если установлено значение |
— |
nifi.content.viewer.url |
URL-адрес веб-программы просмотра контента, если она доступна |
../nifi-content-viewer/ |
nifi.provenance.repository.implementation |
Реализация Provenance Repository. Возможные значения:
|
org.apache.nifi.provenance.WriteAheadProvenanceRepository |
nifi.provenance.repository.debug.частота |
Контролирует количество событий, обрабатываемых между операторами |
1_000_000 |
nifi.provenance.repository.encryption.key.provider.implementation |
Полное имя класса поставщика ключей (key provider) |
— |
nifi.provenance.repository.encryption.key.provider.location |
Путь к ресурсу определения ключа |
— |
nifi.provenance.repository.encryption.key.id |
Идентификатор активного ключа для шифрования (например, |
— |
nifi.provenance.repository.encryption.key |
Ключ для StaticKeyProvider |
— |
nifi.provenance.repository.max.storage.time |
Максимальное время хранения информации о происхождении данных |
24 часа |
nifi.provenance.repository.max.storage.size |
Максимальный объем информации о происхождении данных, который можно хранить одновременно |
1 ГБ |
nifi.provenance.repository.rollover.time |
Время ожидания перед обновлением последней информации о происхождении данных, чтобы она была доступна в пользовательском интерфейсе |
30 сек |
nifi.provenance.repository.rollover.size |
Количество информации, которое нужно просматривать за раз |
100 МБ |
nifi.provenance.repository.query.threads |
Количество потоков, используемых для запросов к репозиторию Provenance |
2 |
nifi.provenance.repository.index.threads |
Количество потоков, используемых для индексации событий Provenance, чтобы их можно было найти |
2 |
nifi.provenance.repository.compress.on.rollover |
Указывает, следует ли сжимать данные provenance при переносе |
— |
nifi.provenance.repository.always.sync |
Если установлено значение |
— |
nifi.provenance.repository.indexed.fields |
Разделенный запятыми список полей, которые следует проиндексировать и сделать доступными для поиска |
EventType, FlowFileUUID, Имя файла, ProcessorID, Связь |
nifi.provenance.repository.indexed.attributes |
Разделенный запятыми список атрибутов FlowFile, которые должны быть проиндексированы и доступны для поиска |
— |
nifi.provenance.repository.index.shard.size |
Большие значения размера сегмента приведут к большему использованию java heap при поиске в репозитории Provenance, но должны обеспечить более высокую производительность |
500 МБ |
nifi.provenance.repository.max.attribute.length |
Указывает максимальную длину для атрибута FlowFile при извлечении Provenance Event из репозитория. Если длина любого атрибута превышает значение, оно будет усечено при извлечении события |
65536 |
nifi.provenance.repository.concurrent.merge.threads |
Свойство указывает максимальное количество потоков, которые разрешено использовать для каждого из каталогов хранения |
2 |
nifi.provenance.repository.buffer.size |
Размер буфера репозитория Provenance |
100000 |
nifi.components.status.repository.implementation |
Реализация репозитория состояния компонентов (Component Status Repository) |
org.apache.nifi.controller.status.history.VolatileComponentStatusRepository |
nifi.components.status.repository.buffer.size |
Указывает размер буфера для репозитория состояния компонентов (Component Status Repository) |
1440 |
nifi.components.status.snapshot.частота |
Указывает, как часто предоставлять моментальный снимок истории состояния компонентов |
1 мин |
nifi.web.war.directory |
Расположение каталога web.war |
./lib |
nifi.web.jetty.working.directory |
Расположение рабочего каталога Jetty |
./work/jetty |
nifi.web.jetty.threads |
Количество потоков Jetty |
200 |
nifi.web.max.header.size |
Максимально допустимый размер заголовков запроса и ответа |
16 КБ |
nifi.web.proxy.context.path |
Список разделенных запятыми допустимых значений заголовка HTTP X-ProxyContextPath или X-Forwarded-Context. По умолчанию значение пусто, что означает, что все запросы, содержащие путь контекста прокси, отклоняются |
— |
nifi.web.proxy.host |
Список разделенных запятыми разрешенных значений заголовка HTTP-хоста, которые следует учитывать, когда NiFi работает безопасно и будет получать запросы на другой хост [: порт], к которому он привязан. Например, при работе в контейнере Docker или за прокси-сервером (например, |
— |
nifi.sensitive.props.key |
Пароль (исходная строка), из которого извлекается ключ шифрования для алгоритма, указанного в параметре |
mysensetivekey |
nifi.sensitive.props.key.protected |
Защищенный пароль (исходная строка), используемая для получения ключа шифрованиядля алгоритма, указанного в параметре |
— |
nifi.sensitive.props.algorithm |
Алгоритм, используемый для шифрования конфиденциальных свойств |
PBEWITHMD5AND256BITAES-CBC-OPENSSL |
nifi.sensitive.props.provider |
Поставщик конфиденциальной свойств |
BC |
nifi.sensitive.props.additional.keys |
Список свойств, разделенных запятыми, для шифрования в дополнение к конфиденциальным свойствам по умолчанию |
— |
nifi.security.user.authorizer |
Указывает, какой из настроенных авторизаторов в файле authorizers.xml следует использовать. По умолчанию установлен файловый провайдер |
managed-authorizer |
nifi.security.ocsp.responder.url |
URL responder Online Certificate Status Protocol (OCSP), если он используется |
— |
nifi.security.ocsp.responder.certificate |
Расположение responder certificate OCSP, если он используется |
— |
nifi.security.user.oidc.discovery.url |
URL-адрес обнаружения для нужного провайдера OpenId Connect |
— |
nifi.security.user.oidc.connect.timeout |
Время ожидания подключения при обмене данными с провайдером OpenId Connect |
5 сек |
nifi.security.user.oidc.read.timeout |
Тайм-аут чтения при обмене данными с провайдером OpenId Connect |
5 сек |
nifi.security.user.oidc.client.id |
Идентификатор клиента для NiFi после регистрации в провайдере OpenId Connect |
— |
nifi.security.user.oidc.client.secret |
Секрет клиента для NiFi после регистрации в провайдере OpenId Connect |
— |
nifi.security.user.oidc.preferred.jwsалгоритм |
Предпочитаемый алгоритм проверки токенов идентификации. Если значение пустое, по умолчанию используется RS256, который должен поддерживаться провайдером OpenId Connect в соответствии со спецификацией. Если Значение равно HS256, HS384 или HS512, NiFi попытается проверить токены, защищенные HMAC, используя указанный секрет клиента. Если Значение равно нулю, NiFi попытается проверить незащищенные/обычные токены. Другие значения для этого алгоритма будут пытаться проанализировать как алгоритм RSA или EC для использования в сочетании с веб-ключом JSON (JWK), предоставленным через jwks_uri в метаданных, найденных по URL-адресу обнаружения |
— |
nifi.security.user.knox.url |
URL-адрес страницы входа в Apache Knox |
— |
nifi.security.user.knox.publicKey |
Путь к открытому ключу Apache Knox, который будет использоваться для проверки подписей маркеров аутентификации в файле cookie HTTP |
— |
nifi.security.user.knox.cookieName |
Имя файла cookie HTTP, который Apache Knox сгенерирует после успешного входа в систему |
hadoop-jwt |
nifi.security.user.knox.audiences |
Необязательно. Через запятую перечислены разрешенные audiences. Если установлено, audiences в токене должна присутствовать в этом списке. Audiences, указанная в токене, может быть настроена в Knox |
— |
nifi.cluster.protocol.heartbeat.interval |
Интервал, с которым узлы должны посылать heartbeats координатору кластера |
5 сек |
nifi.cluster.node.protocol.port |
Порт протокола узла |
11433 |
nifi.cluster.node.protocol.threads |
Количество потоков, которые следует использовать для связи с другими узлами в кластере |
10 |
nifi.cluster.node.protocol.max.threads |
Максимальное количество потоков, которые следует использовать для связи с другими узлами в кластере |
50 |
nifi.cluster.node.event.history.size |
При изменении состояния узла в кластере генерируется событие, которое можно просмотреть на странице Cluster. Значение указывает, сколько событий нужно хранить в памяти для каждого узла |
25 |
nifi.cluster.node.max.concurrent.requests |
Максимальное количество необработанных веб-запросов, которые можно реплицировать на узлы в кластере. Если это количество запросов превышено, встроенный сервер Jetty вернет ответ "409: Conflict" |
100 |
nifi.cluster.firewall.file |
Расположение файла брандмауэра узла. Это файл, который можно использовать для перечисления всех узлов, которым разрешено подключаться к кластеру. Он обеспечивает дополнительный уровень безопасности. По умолчанию значение пусто, что означает, что файл брандмауэра не используется |
— |
nifi.cluster.flow.election.max.wait.time |
Указывает время ожидания перед выбором Flow в качестве "правильного" потока. Если количество проголосовавших узлов равно количеству, указанному в свойстве |
5 мин |
nifi.cluster.load.balance.host |
Указывает имя хоста для прослушивания входящих подключений для данных балансировки нагрузки в кластере. Если не указано, по умолчанию будет использоваться значение, указанное в свойстве |
— |
nifi.cluster.load.balance.port |
Указывает порт для прослушивания входящих подключений для данных балансировки нагрузки в кластере |
6342 |
nifi.cluster.load.balance.connections.per.node |
Максимальное количество соединений, которые можно создать между этим узлом и каждым другим узлом в кластере. Например, если в кластере 5 узлов и для этого значения установлено значение 4, для балансировки нагрузки будет установлено до 20 соединений сокетов (5 x 4 = 20) |
4 |
nifi.cluster.load.balance.max.thread.count |
Максимальное количество потоков, используемых для передачи данных с этого узла на другие узлы в кластере. В то время как данный поток может записывать только в один сокет за раз, один поток способен обслуживать несколько соединений одновременно, поскольку данное соединение может быть недоступно для чтения/записи в любой момент времени |
8 |
nifi.cluster.load.balance.comms.timeout |
При обмене данными с другим узлом, если в течение этого времени не происходит никакого прогресса при чтении или записи в сокет, будет выдано исключение TimeoutException. Это приведет к повторной попытке передачи данных или их отправке на другой узел в кластере, в зависимости от настроенной стратегии балансировки нагрузки |
30 сек |
nifi.remote.input.socket.port |
Порт удаленного входного сокета для связи Site-to-Site |
10443 |
nifi.remote.input.secure |
Указывает, должна ли связь между этим экземпляром NiFi и удаленными экземплярами NiFi быть безопасной |
— |
nifi.security.keystore |
Полный путь и имя хранилища keystore |
— |
nifi.security.keystoreType |
Тип хранилища keystore |
— |
nifi.security.keystoreПароль |
Пароль хранилища keystore |
— |
nifi.security.keyPasswd |
Ключевой пароль |
— |
nifi.security.truststore |
Полный путь и имя хранилища truststore |
— |
nifi.security.truststoreType |
Тип хранилища truststore |
— |
nifi.security.truststorePasswd |
Пароль хранилища truststore |
— |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации nifi.properties |
— |
Настройка уровней логирования и log rotate для NiFi-Server
Параметр | Описание | Значение по умолчанию |
---|---|---|
app_file_max_history |
Максимальное количество файлов для приложений |
10 |
user_file_max_history |
Максимальное количество файлов пользователя |
10 |
boot_file_max_history |
Максимальное количество файлов для Boot |
5 |
root_level |
Уровень события |
INFO |
Настройка структуры файла конфигурации логирования для NiFi-Server
Журнал (логгер) | Имена пакетов по умолчанию | Уровень события по умолчанию |
---|---|---|
app_loggers |
org.apache.nifi |
INFO |
org.apache.nifi.processors |
WARN |
|
org.apache.nifi.processors.standard.LogAttribute |
INFO |
|
org.apache.nifi.processors.standard.LogMessage |
INFO |
|
org.apache.nifi.controller.repository.StandardProcessSession |
WARN |
|
org.wali |
WARN |
|
org.apache.nifi.cluster |
INFO |
|
org.apache.nifi.server.JettyServer |
INFO |
|
org.eclipse.jetty |
INFO |
|
user_events_loggers |
org.apache.nifi.web.security |
INFO |
org.apache.nifi.web.api.config |
INFO |
|
org.apache.nifi.authorization |
INFO |
|
org.apache.nifi.cluster.authorization |
INFO |
|
org.apache.nifi.web.filter.RequestLogger |
INFO |
|
bootstrap_loggers |
org.apache.nifi.bootstrap |
INFO |
org.apache.nifi.bootstrap.Command |
INFO |
|
org.apache.nifi.StdOut |
INFO |
|
org.apache.nifi.StdErr |
INFO |
|
custom_logger |
— |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
nifi.registry.web.war.directory |
Место хранения каталога web.war |
./lib |
nifi.registry.web.jetty.working.directory |
Место хранения каталога Jetty working |
./work/jetty |
nifi.registry.web.jetty.threads |
Количество потоков Jetty |
200 |
nifi.registry.security.needClientAuth |
Это указывает, что подключающиеся клиенты должны проходить аутентификацию с помощью клиентского сертификата |
OFF |
nifi.registry.db.directory |
Расположение каталога базы данных реестра |
— |
nifi.registry.db.url.append |
Это свойство указывает дополнительные аргументы, которые необходимо добавить в строку подключения к базе данных реестра |
— |
nifi.registry.db.url |
Полная строка подключения JBDC |
jdbc:h2:/usr/lib/nifi-registry/database/nifi-registry-primary;AUTOCOMMIT=OFF;DB_CLOSE_ON_EXIT=FALSE;LOCK_MODE=3;LOCK_TIMEOUT=25000;WRITE_DELAY=0;AUTO_SERVER=FALSE |
nifi.registry.db.driver.class |
Имя класса драйвера JBDC |
org.h2.Driver |
nifi.registry.db.driver.directory |
Необязательный каталог, содержащий один или несколько файлов JAR для добавления в путь к классам |
— |
nifi.registry.db.username |
Имя пользователя для базы данных |
nifireg |
nifi.registry.db.password |
Пароль для базы данных |
— |
nifi.registry.db.maxConnections |
Максимальное количество соединений для пула соединений |
5 |
nifi.registry.db.sql.debug |
Включить или нет ведение журнала отладки для операторов SQL |
OFF |
nifi.registry.security.keystore |
Полный путь и имя keystore |
/tmp/keystore.jks |
nifi.registry.security.keystoreType |
Тип хранилища keystore |
JKS |
nifi.registry.security.keystorePasswd |
Пароль хранилища ключей keystore |
— |
nifi.registry.security.keyPasswd |
Ключевой пароль |
— |
nifi.registry.security.truststore |
Полный путь и имя хранилища truststore |
/tmp/truststore.jks |
nifi.registry.security.truststoreType |
Тип хранилища truststore |
JKS |
nifi.registry.security.truststorePasswd |
Пароль хранилища truststore |
— |
nifi.registry.sensitive.props.additional.keys |
Разделенный запятыми список свойств для шифрования в дополнение к конфиденциальным свойствам по умолчанию |
nifi.registry.db.password |
Параметр | Описание | Значение по умолчанию |
---|---|---|
Nifi-Registry Flow Provider |
Провайдер Nifi-Registry Flow |
FileSystemFlowPersistenceProvider |
FileSystem Flow Provider Configuration
Параметр | Описание | Значение по умолчанию |
---|---|---|
Filesystem Flow Storage Directory |
Каталог хранения файлов Flow |
/usr/lib/nifi-registry/flow_storage |
Параметр | Описание | Значение по умолчанию |
---|---|---|
Git Flow Storage Directory |
Путь файловой системы для каталога, в котором сохраняются файлы содержимого потока. Каталог должен существовать при запуске NiFi Registry. Также необходимо инициализировать как каталог Git |
/usr/lib/nifi-registry/git_flow_storage |
Remote To Push |
При создании нового моментального снимка потока этот провайдер обновляет файлы в указанном каталоге Git, а затем создает фиксацию в локальном репозитории. Если определен Remote To Push, данные также отправляются в указанный удаленный репозиторий (например, источник). Чтобы определить более подробную удаленную спецификацию, например имена ветвей, используйте Refspec |
— |
Remote Access User |
Имя пользователя используется для отправки push-запросов в удаленный репозиторий, когда включена функция Remote To Push, а доступ к удаленному репозиторию осуществляется по протоколу HTTP. Если используется SSH, аутентификация пользователя осуществляется с помощью ключей SSH |
— |
Remote Access Password |
Пароль для пользователя удаленного доступа |
— |
Remote Clone Repository |
URI удаленного репозитория, который будет использоваться для клонирования в каталог Flow Storage, если локальный репозиторий отсутствует в каталоге Flow Storage. Если оставить пустым, каталог Git необходимо настроить в соответствии с каталогом инициализации Git. Если указан URI, то также должны присутствовать Remote Access User и Remote Access Password. В настоящее время ветка удаленного управления по умолчанию будет клонирована |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
Nifi-Registry Bundle Provider |
Провайдер Nifi-Registry Bundle |
FileSystemBundlePersistenceProvider |
FileSystem Bundle Provider Configuration
Параметр | Описание | Значение по умолчанию |
---|---|---|
Extension Bundle Storage Directory |
Каталог хранения пакетов расширений |
/usr/lib/nifi-registry/extension_bundles |
Параметры, определяющие место для установки сервиса NiFi-Registry
Параметр | Значение по умолчанию |
---|---|
NIFI_REGISTRY_HOME |
/usr/lib/nifi-registry |
NIFI_REGISTRY_PID_DIR |
/var/run/nifi-registry |
NIFI_REGISTRY_LOG_DIR |
/var/log/nifi-registry |
Настройка уровней логирования и log rotate для NiFi-Registry
Параметр | Описание | Значение по умолчанию |
---|---|---|
app_file_max_history |
Максимальное количество файлов для приложений |
10 |
events_file_max_history |
Максимальное количество файлов для событий |
5 |
boot_file_max_history |
Максимальное количество файлов для Boot |
5 |
root_level |
Уровень события |
INFO |
Настройка структуры файла конфигурации логирования для NiFi-Registry
Журнал (логгер) | Имена пакетов по умолчанию | Уровень события по умолчанию |
---|---|---|
app_loggers |
org.apache.nifi.registry |
INFO |
org.hibernate.SQL |
WARN |
|
org.hibernate.type |
INFO |
|
events_loggers |
org.apache.nifi.registry.provider.hook.LoggingEventHookProvider |
INFO |
bootstrap_loggers |
org.apache.nifi.registry.bootstrap |
INFO |
org.apache.nifi.registry.bootstrap.Command |
INFO |
|
org.apache.nifi.registry.StdOut |
INFO |
|
org.apache.nifi.registry.StdErr |
ERROR |
Schema-Registry
Параметр | Описание | Значение по умолчанию |
---|---|---|
listener port |
Порт, который слушает Schema-Registry. Указывается в качестве параметра |
8081 |
Параметр | Описание | Значение по умолчанию |
---|---|---|
LOG_DIR |
Каталог для хранения логов |
/var/log/schema-registry |
JMX_PORT |
Порт, по которому Schema-Registry отдает JMX-метрики |
9997 |
SCHEMA_REGISTRY_HEAP_OPTS |
Размер heap, выделенный Schema-Registry |
-Xmx1024M |
SCHEMA_REGISTRY_JVM_PERFORMANCE_OPTS |
Параметры JVM в части опций PERFORMANCE |
-server -XX:+UseG1G -XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:+ExplicitGCInvokesConcurrent -Djava.awt.headless=true |
Параметр | Описание | Значение по умолчанию |
---|---|---|
authentication.method |
Способ аутентификации |
BASIC |
authentication.roles |
Список ролей пользователей, разделенных запятыми. Чтобы авторизоваться на сервере Schema-Registry, аутентифицированный пользователь должен принадлежать хотя бы к одной из этих ролей |
admin |
authentication.realm |
Cоответствовует разделу в файле jaas_config.file, который определяет, как сервер аутентифицирует пользователей, и должен быть передан как параметр JVM во время запуска сервера |
SchemaRegistry-Props |
Параметр | Описание | Значение по умолчанию |
---|---|---|
kafkastore.topic |
Одиночная партиция топика, который является надежным логом для данных. Этот топик необходимо сжать, чтобы избежать потери данных из-за политики хранения |
_schemas |
debug |
Логическое значение, указывающее генерировать ли дополнительную отладочную информацию при обработке ошибок |
OFF |
inter.instance.protocol |
Протокол, используемый при совершении вызовов между экземплярами Schema Registry |
— |
ssl.keystore.location |
Используется для HTTPS. Расположение файла хранилища ключей keystore для использования SSL |
— |
ssl.keystore.password |
Используется для HTTPS. Пароль хранилища для файла keystore |
— |
ssl.key.password |
Пароль ключа, содержащегося в keystore |
— |
ssl.truststore.location |
Используется для HTTPS. Расположение truststore. Требуется только для аутентификации HTTPS-клиентов |
— |
ssl.truststore.password |
Пароль для доступа к хранилищу truststore |
— |
kafkastore.ssl.keystore.location |
Расположение файла хранилища keystore SSL |
— |
kafkastore.ssl.keystore.password |
Пароль для доступа к хранилищу keystore SSL |
— |
kafkastore.ssl.key.password |
Пароль ключа, содержащегося в хранилище keystore |
— |
kafkastore.ssl.keystore.type |
Формат файла хранилища ключей keystore |
— |
kafkastore.ssl.truststore.location |
Расположение файла хранилища сертификатов truststore SSL |
— |
kafkastore.ssl.truststore.password |
Пароль для доступа к truststore |
— |
kafkastore.ssl.truststore.type |
Формат файла хранилища truststore |
— |
kafkastore.ssl.endpoint.identification.algorithm |
Алгоритм идентификации конечной точки для проверки имени хоста сервера с использованием сертификата сервера |
— |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации schema-registry.properties |
— |
Конфигурационные параметры компонента Schema-Registry:
Параметр | Описание | Значение по умолчанию |
---|---|---|
log4j.rootLogger |
Настройка уровня ведения логов |
INFO |
log4j.logger.kafka |
Настройка уровня ведения логов брокера Kafka (вывод в server.log и стандартный вывод). См. также |
ERROR |
log4j.logger.org.apache.zookeeper |
Настройка ведения логов клиента ZooKeeper |
ERROR |
log4j.logger.org.apache.kafka |
Настройка уровня ведения логов брокера Kafka (вывод в server.log и стандартный вывод). См. также |
ERROR |
log4j.logger.org.I0Itec.zkclient |
Настройка уровня ведения лога клиента ZooKeeper |
ERROR |
ZooKeeper
Параметр | Описание | Значение по умолчанию |
---|---|---|
connect |
Строка подключения ZooKeeper, которая будет использоваться другими службами или кластерами, генерируется автоматически |
— |
dataDir |
Место, где ZooKeeper будет хранить моментальные снимки базы данных в памяти и, если не указано иное, журнал транзакций обновлений базы данных |
/var/lib/zookeeper |
admin.serverPort |
Порт, который прослушивает встроенный сервер Jetty. Сервер Jetty предоставляет HTTP-интерфейс для команд из четырехбуквенных слов |
58080 |
Параметр | Описание | Значение по умолчанию |
---|---|---|
clientPort |
Порт для прослушивания клиентских подключений |
2181 |
tickTime |
Основная единица времени, используемая ZooKeeper (в мс). Минимальный тайм-аут сеанса будет в два раза больше, чем |
2000 |
initLimit |
Тайм-ауты, которые ZooKeeper использует для ограничения времени, в течение которого серверы ZooKeeper в Quorum должны подключаться к лидеру |
5 |
syncLimit |
Насколько каждый сервер может отставать от Лидера |
2 |
maxClientCnxns |
Это свойство ограничивает количество активных подключений с хоста, указанного по IP-адресу, к одному серверу ZooKeeper |
0 |
autopurge.snapRetainCount |
Когда функция автоматической очистки ZooKeeper включена, последние снапшоты в количестве |
3 |
autopurge.purgeInterval |
Интервал времени в часах, для которого должна быть запущена задача очистки. Установите положительное целое число ( |
24 |
Add key,value |
В этом разделе есть возможность задать значения для пользовательских параметров, которые не отображаются в пользовательском интерфейсе ADCM, но разрешены в файле конфигурации zoo.cfg |
— |
Параметр | Описание | Значение по умолчанию |
---|---|---|
ZOO_LOG_DIR |
Каталог для хранения логов |
/var/log/zookeeper |
ZOOPIDFILE |
Каталог для хранения ID процесса ZooKeeper |
/var/run/zookeeper/zookeeper_server.pid |
SERVER_JVMFLAGS |
Используется для установки различных параметров JVM, связанных, например, со сборкой мусора |
-Xmx1024m |
JAVA |
Путь к Java |
$JAVA_HOME/bin/java |
ZOO_LOG4J_PROP |
Используется для установки уровня ведения журнала LOG4J и указания того, какие приложения журнала следует включить. Эффект от включения приложения журнала |
INFO, CONSOLE, ROLLINGFILE |