Конфигурационные параметры ADS Control

Ольга Семме

Свернуть контент Развернуть контент

Статья описывает параметры, которые могут быть настроены для сервиса ADS Control через ADCM. Процесс настройки сервиса приведен в статье Настройка сервисов.

ПРИМЕЧАНИЕ

Некоторые из перечисленных параметров становятся доступны в UI ADCM после установки флага Show advanced.

В описаниях конфигурации используются понятия, относящиеся к фреймворку Eclipse Vert.x:

Вертикль (verticle) — фрагмент кода, являющийся циклом обработки событий (Event Loop), который может быть развернут в среде Vert.x.
Рабочий вертикль (worker verticle) — вертикль, который выполняется с использованием потока из пула уже созданных рабочих потоков Vert.x, а не с использованием цикла новых событий.

General

Параметр

Описание

Значение по умолчанию

server.http.port

Порт для подключения к UI ADS Control

8888

server.vertx.pools.eventLoopPoolSize

Максимальное количество вертиклей Event Loop в пуле

server.vertx.pools.workerPoolSize

Максимальное количество рабочих вертиклей в пуле

server.vertx.config.clusterResponseTimeoutMs

Интервал времени для запроса получения метрик от кластера Kafka (в мс)

500

server.vertx.event-bus.requestTimeoutMs

Интервал времени для запроса шине событий (Event bus) сервера Vert.x (в мс)

30000

server.vertx.event-bus.consumer.circuitBreaker.maxRetries

Максимальное количество попыток запросов потребителя по шине событий (Event bus) до разрыва соединения паттерном circuit breaker

server.vertx.event-bus.consumer.deliveryOptions.timeout

Интервал времени параметров доставки запросов потребителя шине событий (Event bus) (в мс)

7200000

server.vertx.event-bus.producer.circuitBreaker.maxRetries

Максимальное количество попыток запросов производителя по шине событий (Event bus) до разрыва соединения паттерном circuit breaker

server.vertx.event-bus.producer.deliveryOptions.timeout

Интервал времени параметров доставки запросов производителя шине событий (Event bus) (в мс)

7200000

server.file-extensions

Возможные расширения серверных файлов

json,js,css,ico,png

server.session-consumer-cache.enabled

Включает кеширование для сессии потребителей

true

server.session-consumer-cache.capacity

Объем данных кеша сессии потребителей

1000

server.session-consumer-cache.expireTime

Время истечения срока хранения кеша сессии потребителя (в мс)

20000

server.session-consumer-cache.clearDelay

Время задержки очистки кеша сесии потребителей (в мс)

10000

server.producer-cache.capacity

Объем данных кеша данных производителя

1000

server.producer-cache.expireTime

Время истечения срока хранения кеша данных производителя (в мс)

60000

server.streaming.consumer.group.idPrefix

Префикс, который добавляется к идентификатору группы потребителей Kafka

adscc

server.streaming.consumer.group.inactivityTimeout

Время, в течение которого группа потребителей Kafka может оставаться неактивной (т.е. без сигналов от потребителей), прежде чем брокер инициирует ребалансировку (в мс)

600000

server.streaming.consumer.group.inactiveGroupsCheckInterval

Интервал между проверками активности группы потребителей (в мс)

120000

server.streaming.consumer.messagePollTimeout

Тайм-аут между опросами новых сообщений сервера Kafka (в мс)

1000

server.streaming.consumer.maxPollRecords

Максимальное количество записей, которые потребитель будет извлекать за один вызов poll

Kafka Workers

Параметр Описание Значение по умолчанию

server.vertx.verticle.kafka-commit-offset-info-producer.instances

Количество экземпляров вертиклей kafka-commit-offset-info-producer, которые получают данные о последнем смещении топика __consumer_offsets (данные о последнем прочитанном сообщении потребителем)

server.vertx.verticle.application-state-verticle.instances

Количество экземпляров вертиклей application-state, собирающих данные о состоянии приложения

server.vertx.verticle.application-state-verticle.updatePeriodMilliseconds

Период между запросами данных о состоянии приложения (в мс)

5000

server.vertx.verticle.application-state-verticle.updatePeriodOffsetsMilliseconds

Период между запросами данных о последних смещениях (в мс)

30000

Kafka Consumer

Параметр Описание Значение по умолчанию

server.vertx.kafka.lastOffsetPollTimeoutMs

Тайм-аут последнего опроса смещения топика __consumer_offsets (данные о последнем прочитанном сообщении потребителем) (в мс)

200

Kafka Settings

Параметр

Описание

Значение по умолчанию

server.kafka.timeout

Тайм-аут ожидания ответа на запрос к серверу Kafka (в мс)

300000

server.kafka.describeTopicsTimeout

Тайм-аут ожидания ответа на запрос про описание топика к серверу Kafka (в мс)

10000

server.kafka.messagePollTimeout

Тайм-аут между опросами новых сообщений сервера Kafka (в мс)

2000

server.kafka.systemGroupId

GroupId для подключения к серверу Kafkа

adscc

Basic authentication

Параметр

Описание

Значение по умолчанию

Admin Password

Пароль администратора ADS Control

—

Basic authentication users

Форма для заполнения данных новых пользователей:

Enter field name — ввод имени пользователя;
Enter secret — ввод пароля для пользователя;
Confirm — подтверждение пароля.

Подробнее см. Управление пользователями

—

LDAP Authentication

Параметр

Описание

Значение по умолчанию

LDAP URL

URL-адрес сервера LDAP для включения синхронизации пользователей при аутентификации

—

Authentication Query

Запрос для поиска пользователей в LDAP-каталоге для включения синхронизации пользователей при аутентификации

—

Logging

Параметр logback_template — определяет шаблон лога.

Значение по умолчанию:

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <property name="LOG_PATH" value="logs/app.log"/>

    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n
            </pattern>
        </encoder>
    </appender>

    <appender name="FILE-ROLLING" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <file>${LOG_PATH}</file>

        <rollingPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedRollingPolicy">
            <fileNamePattern>logs/archived/app.%d{yyyy-MM-dd}.%i.log.gz</fileNamePattern>
            <!-- each archived file, size max 10MB -->
            <maxFileSize>10MB</maxFileSize>
            <!-- total size of all archive files, if total size > 20GB, it will delete old archived file -->
            <totalSizeCap>20GB</totalSizeCap>
            <!-- 60 days to keep -->
            <maxHistory>60</maxHistory>
        </rollingPolicy>

        <encoder>
            <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>
    <root level="INFO">
        <appender-ref ref="STDOUT"/>
    </root>
    <logger name="io.arenadata.adscc" level="DEBUG">
        <appender-ref ref="FILE-ROLLING"/>
    </logger>
    <logger name="io.arenadata.adscc" level="DEBUG">
        <appender-ref ref="STDOUT"/>
    </logger>
    <logger name="org.apache.kafka" level="ERROR">
        <appender-ref ref="STDOUT"/>
    </logger>
</configuration>

Monitoring

Параметр

Описание

Значение по умолчанию

server.monitoring.openTelemetry.enable

Включение системы мониторинга "OpenTelemetry"

true

server.monitoring.prometheus.enable

Включение системы мониторинга "Prometheus"

true

Client

Параметр

Описание

Значение по умолчанию

client.http.webClientOptions.maxPoolSize

Максимальный размер пула для подключений

100

client.http.webClientOptions.verifyHost

Включение проверки хоста клиента

false

client.http.circuitbreaker.maxFailures

Количество отказов, при котором паттерн Circuit Breaker отключает выполнение операции

client.http.circuitbreaker.timeout

Значение, при превышении которого запрос увеличивает значение количества отказов (в мс)

500

client.http.circuitbreaker.fallbackOnFailure

Устанавливает, выполняются ли резервные действия при отказе, даже если цепь замкнута

false

client.http.circuitbreaker.resetTimeout

Время, после которого паттерн circuit breaker попытается повторно замкнуть цепь (в мс)

100

Kafka Clusters

После нажатия на Set появляется поле clusters для интеграции с внешними Kafka Clusters.

Группа

Параметр

Описание

—

name

Имя кластера Kafka

—

bootstrapServers

Bootstrap-серверы кластера Kafka

—

schemaRegistryUrl

URL подключения к Schema Registry

—

jmxClientProperties

JMX-порт

kafkaConnectClusters

name

Имя кластера Kafka Connect

url

URL подключения к Kafka Connect

jmxClientProperties

JMX-порт

JAAS template file

Шаблон пользовательского файла jaas.conf предназначен для указания пользовательских данных подключения клиентов других сервисов к текущему сервису (пути к keytab-файлам, параметр useTicketCache и другие). Подробнее см. Настройка пользовательского jaas.conf.

Значение по умолчанию:

{% if cluster.config.kerberos_client and cluster.config.kerberos_client.enable_kerberos %}
KafkaClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    useTicketCache=false
    serviceName="kafka"
    keyTab="{{ cluster.config.kerberos_client.keytab_dir }}/adscc.service.keytab"
    principal="adscc/{{ ansible_fqdn }}@{{ cluster.config.kerberos_client.realm }}";
};
{%- endif %}

Advanced docker settings

Параметр

Описание

Значение по умолчанию

Install docker package

Включает установку пакета Docker при установке сервиса

true

Disable seccomp

Отключает механизм seccomp при установке сервиса

false

Параметр

Описание

Значение по умолчанию

ADS Control Ranger plugin enabled

Указывает, включен ли плагин Ranger ADS Control (заполняется автоматически)

false

ranger-adscc-security.xml

Параметры Apache Ranger

Параметр

Описание

Значение по умолчанию

ranger.plugin.adscc.policy.rest.url

Путь (адрес, порт) для подключения к Ranger Admin

—

ranger.plugin.adscc.service.name

Имя сервиса Ranger, содержащего политику для конкретного экземпляра ADS Control

—

ranger.plugin.adscc.policy.rest.ssl.config.file:

Расположение файла, содержащего SSL-данные для соединения с Ranger Admin

—

ranger.plugin.adscc.policy.cache.dir:

Каталог, в котором кешируется политика Ranger после успешного извлечения из источника

/tmp

ranger.plugin.adscc.policy.pollIntervalMs

Интервал между опросами изменений в политике (в мс)

—

ranger.plugin.adscc.policy.rest.client.connection.timeoutMs:

Тайм-аут соединения плагина ADS Control RangerRestClient (в мс)

—

ranger.plugin.adscc.policy.rest.client.read.timeoutMs:

Тайм-аут чтения плагина ADS Control RangerRestClient (в мс)

—

ranger.plugin.adscc.use.rangerGroups

Включает использование информации о группе при оценке разрешений пользователя

true

Add key, value

Введенные в этом поле параметры и их значения перезаписывают параметры, указанные в пользовательском интерфейсе ADCM. В этом поле также есть возможность определить значения для всех пользовательских параметров, которые не отображаются в интерфейсе, но разрешены в файле конфигурации ranger-adscc-security.xml

—

ranger-adscc-audit.xml

Параметр

Описание

Значение по умолчанию

xasecure.audit.is.enabled

Включает аудит для плагинов Ranger

true

xasecure.audit.destination.solr

Включает аудит в Solr для плагинов Ranger

true

xasecure.audit.destination.solr.urls

Определяет Solr URL

xasecure.audit.destination.solr.batch.filespool.dir

Каталог для Solr audit spool

/tmp

Add key, value

ranger-policymgr-ssl.xml

Параметр

Описание

Значение по умолчанию

xasecure.policymgr.clientssl.keystore

Расположение файла хранилища ключей keystore

—

xasecure.policymgr.clientssl.keystore.password

Пароль хранилища ключей keystore

—

xasecure.policymgr.clientssl.truststore

Расположение файла хранилища сертификатов truststore

—

xasecure.policymgr.clientssl.truststore.password

Пароль хранилища truststore

—

xasecure.policymgr.clientssl.keystore.credential.file

Расположение файла учетных записей keystore

/etc/adscc/certs/jceks/keystore.jceks

xasecure.policymgr.clientssl.truststore.credential.file

Расположение файла учетных записей truststore

/etc/adscc/certs/jceks/truststore.jceks

Add key, value

—

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней