Конфигурационные параметры

Сергей Тихомиров

Свернуть контент Развернуть контент

Содержание

Knox
MariaDB
Ranger
Solr
ZooKeeper

Данный раздел содержит описание параметров сервисов ADPS, которые вы можете настроить с помощью ADCM. Больше информации о процессе настройки сервисов доступно в соответствующих разделах: Online-установка, Offline-установка.

ПРИМЕЧАНИЕ

Некоторые из перечисленных параметров становятся доступны в UI ADCM после установки флага Advanced.
Значения, установленные в Custom-параметрах, перепишут текущие значения параметров, даже если они read-only.

Knox

gateway-site.xml

Параметр Описание Значение по умолчанию

Knox gateway port

HTTP-порт для Knox

8443

Gateway whitelist

Список разделенных символом ; регулярных выражений, который определяет доступные системные конечные точки (endpoints) для пакетов и перенаправлений Knox

^https?:\/\/(.*|localhost|127\.0\.0\.1|0:0:0:0:0:0:0:1|::1):[0-9].*$

knox-env.sh

Параметр

Описание

Значение по умолчанию

KNOX_GATEWAY_MEM_OPTS

Плейсхолдер, позволяющий менять настройки JVM-памяти сервера шлюза

—

KNOX_GATEWAY_LOG_DIR

Путь, по которому Gateway будет сохранять свой стандартный вывод и ошибки

/var/log/knox

Configure SSL Knox Gateway

Параметр Описание Значение по умолчанию

gateway.truststore.password.alias

Алиас для пароля к truststore-файлу, содержащему доверенные сертификаты клиента. Чтобы задать пароль, алиас следует создавать с использованием команды knoxcli.sh create-alias, иначе будет использован Master Secret

gateway-truststore-password

gateway.truststore.path

Путь к truststore-файлу, содержащему доверенные сертификаты клиента

—

gateway.truststore.type

Тип truststore-файла, лежащего по пути, указанному в gateway.truststore.path

JKS

gateway.tls.keystore.password.alias

Алиас для пароля к keystore-файлу, содержащему TLS-сертификат и пару ключей шлюза. Чтобы задать пароль, алиас следует создавать с использованием команды knoxcli.sh create-alias, иначе будет использован Master Secret

gateway-identity-keystore-password

gateway.tls.keystore.path

Путь к keystore-файлу, содержащему TLS-сертификат и пару ключей шлюза

—

gateway.tls.keystore.type

Тип keystore-файла, лежащего по пути, указанному в gateway.tls.keystore.path

JKS

gateway.tls.key.alias

Алиас для TSL-сертификата и пары ключей шлюза, указанных в keystore-файле

gateway-identity

key_passphrase

Ключевая фраза для приватного TLS-ключа шлюза, указанного в keystore-файле. Если поле пусто, то используется пароль для keystore

—

gateway.tls.key.passphrase.alias

Алиас для ключевой фразы для приватного TLS-ключа шлюза, указанного в keystore-файле. Чтобы задать пароль, алиас следует создавать с использованием команды knoxcli.sh create-alias, иначе будет использован Master Secret или пароль keystore

gateway-identity-passphrase

ssl.exclude.protocols

Список недопустимых протоколов, разделенных запятой(,) или вертикальной чертой (|). Если таковых нет, то указывается none

SSLv2,SSLv3,TLSv1,TLSv1.1

External LDAP authentication

Параметр Описание Значение по умолчанию

main.ldapRealm.contextFactory.url

URL-адрес хоста с номером порта, на котором находится LDAP-сервер. Также включает в себя схему протокола (ldap, или ldaps при коммуникации по LDAP через SSL)

ldap://example.com:389

main.ldapRealm.contextFactory.systemUsername

Полное отличительное имя (DN) учетной записи пользвателя AD с правами поиска

—

main.ldapRealm.contextFactory.systemPassword

Пароль для учетной записи с именем пользователя, указанным в main.ldapRealm.contextFactory.systemUsername

—

main.ldapRealm.searchBase

Отличительное имя начальной точки для поиска по директориям сервера

—

main.ldapRealm.userObjectClass

ObjectClass LDAP-пользователя

Person

main.ldapRealm.userSearchAttributeName

Имя атрибута для упрощенного фильтра поиска

sAMAccountName

main.ldapRealm.groupSearchBase

Отличительное имя начальной точки для поиска групп по директориям сервера

—

main.ldapRealm.groupObjectClass

ObjectClass LDAP-группы

group

main.ldapRealm.groupIdAttribute

Атрибут уникальной идентификации группы

sAMAccountName

sessionTimeout

Тайм-аут сессии в минутах

main.ldapRealm

Имя класса, имплементирующего Knox Shiro Realm

org.apache.hadoop.gateway.shirorealm.KnoxLdapRealm

main.ldapContextFactory

Имя класса, имплементирующего Knox Shire LdapContextFactory

org.apache.hadoop.gateway.shirorealm.KnoxLdapContextFactory

main.ldapRealm.contextFactory

Context factory в realm

$ldapContextFactory

main.ldapRealm.userSearchBase

Заменяет main.ldapRealm.searchBase

—

main.ldapRealm.memberAttribute

Предоставляет пользователей группы

member

security

Параметр

Описание

Значение по умолчанию

Master Secret

Master Secret, используемый для keystore-, truststore- и CredentialStore-файлов инстанса шлюза

—

Ranger plugin credstore password

Пароль для credstore-провайдера плагина Ranger

—

ranger-knox-audit.xml

Параметр

Описание

Значение по умолчанию

xasecure.audit.destination.solr.batch.filespool.dir

Директория для spool-файлов

/srv/ranger/knox/audit_solr_spool

ranger-knox-security.xml

Параметр

Описание

Значение по умолчанию

ranger.plugin.knox.policy.cache.dir

Директория для хранения политик Ranger после их получения

/srv/ranger/knox/policycache

ranger.plugin.knox.policy.pollIntervalMs

Интервал для проверки изменений политики

30000

ranger.plugin.knox.policy.rest.client.connection.timeoutMs

Тайм-аут соединения в миллисекундах

120000

ranger.plugin.knox.policy.rest.client.read.timeoutMs

Тайм-аут на чтение в миллисекундах

30000

ranger.plugin.knox.policy.source.impl

Класс, используемый для получения политик

org.apache.ranger.admin.client.RangerAdminJersey2RESTClient

ranger-knox-policymgr-ssl.xml

Параметр

Описание

Значение по умолчанию

xasecure.policymgr.clientssl.keystore

Путь к keystore-файлу, созданному ранее

—

xasecure.policymgr.clientssl.keystore.credential.file

Путь к файлу с учетными данными для пароля keystore

/etc/knox/conf/rangerusersync.jceks

xasecure.policymgr.clientssl.truststore.credential.file

Путь к файлу с учетными данными для пароля truststore

/etc/knox/conf/rangerusersync.jceks

xasecure.policymgr.clientssl.truststore

Путь к truststore-файлу, созданному ранее

—

xasecure.policymgr.clientssl.keystore.password

Пароль для JKS truststore-файла на сервере Ranger KMS

—

xasecure.policymgr.clientssl.truststore.password

Пароль для JKS truststore-файла на сервере Knox

—

Другие параметры

Параметр

Описание

Значение по умолчанию

Custom gateway-site.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле gateway-site.xml

—

Custom knox-env.sh

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле knox-env.sh

—

Custom ranger-knox-audit.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле ranger-knox-audit.xml

—

Custom ranger-knox-security.xml

—

Custom ranger-knox-policymgr-ssl.xml

—

Компонент Knox Gateway содержит в себе настройки логирования, описанные ниже.

gateway-log4j2.xml template

<?xml version="1.0" encoding="UTF-8"?>
<!--
  Licensed to the Apache Software Foundation (ASF) under one or more
  contributor license agreements.  See the NOTICE file distributed with
  this work for additional information regarding copyright ownership.
  The ASF licenses this file to You under the Apache License, Version 2.0
  (the "License"); you may not use this file except in compliance with
  the License.  You may obtain a copy of the License at

      http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License.
-->
<Configuration>
    <Properties>
        <Property name="app.log.dir">${env:KNOX_GATEWAY_LOG_DIR}</Property>
        <Property name="app.log.file">${sys:launcher.name}.log</Property>
        <Property name="app.audit.file">${sys:launcher.name}-audit.log</Property>
    </Properties>

    <Appenders>
        <RollingFile name="auditfile" fileName="${app.log.dir}/${app.audit.file}" filePattern="${app.log.dir}/${app.audit.file}.%d{yyyy-MM-dd}">
            <AuditLayout />
            <TimeBasedTriggeringPolicy />
        </RollingFile>
        <Console name="stdout" target="SYSTEM_OUT">
            <PatternLayout pattern="%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n" />
        </Console>
        <RollingFile name="drfa" fileName="${app.log.dir}/${app.log.file}" filePattern="${app.log.dir}/${app.log.file}.%d{yyyy-MM-dd}">
            <!-- Same as ISO8601 format but without the 'T' (log4j1 compatible) -->
            <PatternLayout pattern="%d{yyyy-MM-dd' 'HH:mm:ss,SSS} %X{trace_id} %-5p %c{2} (%F:%M(%L)) - %m%n" />
            <TimeBasedTriggeringPolicy />
        </RollingFile>
<!--        <RollingFile name="httpclient" fileName="${app.log.dir}/${launcher.name}-http-client.log" filePattern="${app.log.dir}/${launcher.name}-http-client.log.%d{yyyy-MM-dd}">-->
<!--            <PatternLayout pattern="%d{ISO8601}|%t|%m%n" />-->
<!--            <TimeBasedTriggeringPolicy />-->
<!--        </RollingFile>-->
<!--        <RollingFile name="httpaccess" fileName="${app.log.dir}/${launcher.name}-http-access.log" filePattern="${app.log.dir}/${launcher.name}-http-access.log.%d{yyyy-MM-dd}">-->
<!--            <PatternLayout pattern="%d{ISO8601}|%t|%m%n" />-->
<!--            <TimeBasedTriggeringPolicy />-->
<!--        </RollingFile>-->
<!--        <RollingFile name="httpserver" fileName="${app.log.dir}/${launcher.name}-http-server.log" filePattern="${app.log.dir}/${launcher.name}-http-server.log.%d{yyyy-MM-dd}">-->
<!--            <PatternLayout pattern="%d{ISO8601}|%t|%m%n" />-->
<!--            <TimeBasedTriggeringPolicy />-->
<!--        </RollingFile>-->
    </Appenders>
    <Loggers>
        <Logger name="audit" level="INFO">
            <AppenderRef ref="auditfile" />
        </Logger>
        <Logger name="org.apache.knox.gateway" level="INFO" />
        <Root level="ERROR">
            <AppenderRef ref="drfa" />
        </Root>
<!--        <Logger name="org.apache.knox.gateway.websockets" level="DEBUG" />-->
<!--        <Logger name="org.springframework" level="DEBUG" />-->
<!--        <Logger name="org.apache.knox.gateway.http.request.body" level="OFF" />-->
<!--        <Logger name="org.apache.knox.gateway.http" level="TRACE">-->
<!--            <AppenderRef ref="httpserver" />-->
<!--        </Logger>-->
<!--        <Logger name="org.apache.shiro" level="DEBUG" />-->
<!--        <Logger name="org.apache.knox.gateway.http.response.body" level="OFF" />-->
<!--        <Logger name="org.apache.http.client" level="DEBUG" />-->
<!--        <Logger name="org.apache.knox.gateway.http.request.headers" level="OFF" />-->
<!--        <Logger name="org.apache.http.wire" level="DEBUG">-->
<!--            <AppenderRef ref="httpclient" />-->
<!--        </Logger>-->
<!--        <Logger name="org.apache.knox.gateway.http.response.headers" level="OFF" />-->
<!--        <Logger name="net.sf.ehcache" level="DEBUG" />-->
<!--        <Logger name="org.apache.http" level="DEBUG" />-->
<!--        <Logger name="org.apache.http.headers" level="DEBUG" />-->
<!--        <Logger name="org.apache.shiro.util.ThreadContext" level="DEBUG" />-->
<!--        <Logger name="org.apache.knox.gateway" level="DEBUG" />-->
<!--        <Logger name="org.eclipse.jetty" level="DEBUG" />-->
<!--        <Logger name="org.apache.knox.gateway.access" level="TRACE">-->
<!--            <AppenderRef ref="httpaccess" />-->
<!--        </Logger>-->
    </Loggers>
</Configuration>

knoxshell-log4j2.xml

<?xml version="1.0" encoding="utf-8"?>
<!--
  Licensed to the Apache Software Foundation (ASF) under one or more
  contributor license agreements.  See the NOTICE file distributed with
  this work for additional information regarding copyright ownership.
  The ASF licenses this file to You under the Apache License, Version 2.0
  (the "License"); you may not use this file except in compliance with
  the License.  You may obtain a copy of the License at

      http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License.
-->
<?xml version="1.0" encoding="utf-8"?>
<Configuration>
    <Properties>
        <Property name="app.log.dir">${env:KNOX_GATEWAY_LOG_DIR}</Property>
        <Property name="app.log.file">${sys:launcher.name}.log</Property>
    </Properties>
    <Appenders>
        <Console name="stdout" target="SYSTEM_OUT">
            <PatternLayout pattern="%d{yy/MM/dd HH:mm:ss} %p %c{2}: %m%n" />
        </Console>
        <RollingFile name="drfa" fileName="${app.log.dir}/${app.log.file}" filePattern="${app.log.dir}/${app.log.file}.%d{yyyy-MM-dd}">
            <PatternLayout pattern="%d{ISO8601} %-5p %c{2} (%F:%M(%L)) - %m%n" />
            <TimeBasedTriggeringPolicy />
        </RollingFile>
    </Appenders>
    <Loggers>
        <Logger name="org.apache.http.impl.client" level="INFO" />
        <Logger name="org.apache.http.client" level="INFO" />
        <Logger name="org.apache.http.impl.conn" level="INFO" />
        <Root level="ERROR">
            <AppenderRef ref="drfa" />
        </Root>
    </Loggers>
</Configuration>

MariaDB

root user

Параметр

Описание

Значение по умолчанию

Password

Пароль пользователя БД

—

Компонент MariaDB Master Server имеет свои параметры конфигурации, описанные ниже.

Enable custom ulimits

[Manager]
DefaultLimitCPU=
DefaultLimitFSIZE=
DefaultLimitDATA=
DefaultLimitSTACK=
DefaultLimitCORE=
DefaultLimitRSS=
DefaultLimitNOFILE=
DefaultLimitAS=
DefaultLimitNPROC=
DefaultLimitMEMLOCK=
DefaultLimitLOCKS=
DefaultLimitSIGPENDING=
DefaultLimitMSGQUEUE=
DefaultLimitNICE=
DefaultLimitRTPRIO=
DefaultLimitRTTIME=

Ranger

Credentials

Параметр

Описание

Значение по умолчанию

Password for admin user

Пароль для администратора Ranger

—

Password for keyadmin user

Пароль для администратора Ranger KMS

—

Password for rangerusersync user

Пароль для пользователя с правами добавления пользователей и групп в Ranger Admin как часть механизма синхронизации с LDAP/AD или UNIX

—

Credstore password opts

Определяет, нужен ли пароль для credstore

password-file

dbks-site.xml

Параметр

Описание

Значение по умолчанию

ranger.db.encrypt.key.password

Пароль мастер-ключа шифрования

—

ranger.ks.jpa.jdbc.password

Пароль пользователя базы данных

—

ranger.ks.jpa.jdbc.url

Строка подключения JDBC для БД Ranger KMS. Оставьте поле пустым для автозаполнения при следующей реконфигурации

jdbc:mysql://{{ groups['mysql.master'][0] | d(omit) }}:3306/rangerkms

ranger.ks.jpa.jdbc.driver

Имя класса JDBC-драйвера для БД Ranger KMS

com.mysql.jdbc.Driver

ranger.ks.jdbc.sqlconnectorjar

Путь к JAR-файлу JDBC-драйвера для БД Ranger KMS

/usr/share/java/jdbc-mysql-connector.jar

ranger.ks.jpa.jdbc.user

Имя пользователя базы данных для запросов

rangerkms

ranger.ks.kerberos.keytab

Kerberos keytab-файл для Ranger KMS

—

ranger.ks.kerberos.principal

Kerberos-принципал для Ranger KMS

—

Ranger KMS install.properties

Параметр

Описание

Значение по умолчанию

DB_FLAVOR

СУБД, используемая для управления БД с метаданными Ranger KMS

MYSQL

Custom install.properties

Дополнительные параметры для установки

install.properties

ranger-admin-site.xml

Параметр Описание Значение по умолчанию

ranger.audit.solr.urls

Используется для подключения Ranger Admin к Solr для аудита

—

ranger.audit.solr.zookeepers

Используется для подключения Ranger Admin к инстансу Zookeeper для Solr для аудита

—

ranger.audit.source.type

Хранилище данных аудита. На данный момент поддерживается только Solr

solr

ranger.authentication.method

Методы аутентификации (ACTIVE DIRECTORY, LDAP, NONE), используемые для входа в Ranger Admin

NONE

ranger.jpa.jdbc.driver

Имя класса JDBC-драйвера для БД Ranger Admin

com.mysql.jdbc.Driver

ranger.jdbc.sqlconnectorjar

Путь к JAR-файлу JDBC-драйвера для БД Ranger Admin

/usr/share/java/jdbc-mysql-connector.jar

ranger.jpa.jdbc.password

Пароль для базы данных Ranger Admin

—

ranger.jpa.jdbc.url

Строка подключения JDBC для БД Ranger Admin. Оставьте поле пустым для автозаполнения при следующей реконфигурации

jdbc:mysql://{{ groups['mysql.master'][0] | d(omit) }}:3306/ranger

ranger.jpa.jdbc.user

Имя пользователя для базы данных Ranger Admin

rangeradmin

ranger.service.http.port

HTTP-порт для Ranger Admin

6080

ranger.service.https.port

HTTPS-порт для Ranger Admin

6182

ranger.service.shutdown.port

HTTP-порт, который будет использоваться для корректного выключения службы

6085

ranger.solr.audit.user

Имя пользователя для подключения к Solr для аудита

rangeraudit

ranger.solr.audit.user.password

Пароль для пользователя Solr

—

ranger.admin.balancer.host

URL хоста с установленным балансировщиком

—

ranger.admin.balancer.port

Порт, на котором слушает балансировщик

—

ranger.admin.kerberos.token.valid.seconds

Время (в секундах) для валидации токена Kerberos

—

Ranger Admin install.properties

Параметр

Описание

Значение по умолчанию

DB_FLAVOR

СУБД, используемая для управления БД с метаданными Ranger Admin

MYSQL

Custom install.properties

Дополнительные параметры для установки

install.properties

core-site.xml

Параметр Описание Значение по умолчанию

hadoop.security.key.provider.path

Провайдер ключей для взаимодействия с ключами шифрования при чтении/записи в зашифрованной области

kms://http@<ranger-kms-host>:9292/kms

User managed hadoop.security.auth_to_local

Определяет, использовать ли пользовательское значение параметра hadoop.security.auth_to_local

false

hadoop.security.auth_to_local

Сопоставляет принципалов Kerberos с локальными пользователями

RULE:[1:$1@$0](.*@AD.RANGER-TEST)s/@.*//RULE:[2:$1@$0](hbase@AD.RANGER-TEST)s/.*/hbase/RULE:[2:$1@$0](hdfs-namenode@AD.RANGER-TEST)s/.*/hdfs/RULE:[2:$1@$0](hdfs-datanode@AD.RANGER-TEST)s/.*/hdfs/RULE:[2:$1@$0](rangeradmin@AD.RANGER-TEST)s/.*/ranger/RULE:[2:$1@$0](rangerkms@AD.RANGER-TEST)s/.*/keyadmin/RULE:[2:$1@$0](rangertagsync@AD.RANGER-TEST)s/.*/rangertagsync/RULE:[2:$1@$0](rangerusersync@AD.RANGER-TEST)s/.*/rangerusersync/RULE:[2:$1@$0](hive@AD.RANGER-TEST)s/.*/hive/RULE:[2:$1/$2@$0](yarn-resourcemanager/.*@AD.RANGER-TEST)s/.*/yarn/RULE:[2:$1/$2@$0](yarn-nodemanager/.*@AD.RANGER-TEST)s/.*/yarn/RULE:[2:$1/$2@$0](yarn/.*@AD.RANGER-TEST)s/.*/yarn/RULE:[2:$1/$2@$0](mapreduce-historyserver/.*@AD.RANGER-TEST)s/.*/mapred/DEFAULT

ranger-kms-audit.xml

Параметр

Описание

Значение по умолчанию

xasecure.audit.destination.solr.batch.filespool.dir

Каталог, в котором хранятся spool-файлы, когда буфер в памяти переполнен

/srv/ranger/kms/audit_solr_spool

ranger-kms-security.xml

Параметр

Описание

Значение по умолчанию

ranger.plugin.kms.policy.cache.dir

Директория, где хранятся политики Ranger после успешного извлечения из источника

/srv/ranger/kms/policycache

ranger-kms-site.xml

Параметр

Описание

Значение по умолчанию

ranger.service.http.port

HTTP-порт для Ranger Admin

9292

ranger.service.https.port

HTTPS-порт для Ranger Admin

9393

ranger.service.shutdown.port

HTTP-порт, который будет использоваться для корректного выключения службы

7085

ranger.contextName

Веб-контекст Ranger

/kms

ranger.service.host

Хост сервиса Ranger

localhost

Configure SSL KMS

Параметр Описание Значение по умолчанию

ranger.https.attrib.keystore.file

Путь к keystore-файлу

—

ranger.service.https.attrib.keystore.pass

Пароль от keystore-файла

—

ranger.https.attrib.truststore.file

Путь к truststore-файлу

—

ranger.service.https.attrib.truststore.pass

Пароль от truststore-файла

—

ranger.service.https.attrib.client.auth

Определяет возможность аутентификации для клиентов. Возможные значения:

want — активирует двустороннюю аутентификацию SSL (требуются сертификаты на клиентских машинах). Происходит валидация клиентских сертификатов от всех агентов, но не при запросах от веб-приложений.
false — активирует одностороннюю аутентификацию SSL.

false

ranger.service.https.attrib.ssl.protocol

Активный протокол SSL

TLSv1.2

Configure SSL Admin

Параметр Описание Значение по умолчанию

ranger.https.attrib.keystore.file

Путь к keystore-файлу

—

ranger.service.https.attrib.keystore.pass

Пароль от keystore-файла

—

ranger.service.https.attrib.clientAuth

Определяет необходимость аутентификации для клиентов. Возможные значения:

want — активирует двустороннюю аутентификацию SSL (требуются сертификаты на клиентских машинах). Происходит валидация клиентских сертификатов от всех агентов, но не при запросах от веб-приложений.
false — активирует одностороннюю аутентификацию SSL.

—

ranger.service.https.attrib.client.auth

Определяет возможность аутентификации для клиентов. Возможные значения:

want — активирует двустороннюю аутентификацию SSL (требуются сертификаты на клиентских машинах). Происходит валидация клиентских сертификатов от всех агентов, но не при запросах от веб-приложений.
false — активирует одностороннюю аутентификацию SSL.

false

ranger.service.https.attrib.ssl.protocol

Активный протокол SSL

TLSv1.2

Configure SSL UGSINK

Параметр

Описание

Значение по умолчанию

ranger.usersync.truststore.file

Путь к truststore-файлу

—

ranger.usersync.truststore.password

Пароль от truststore-файла

—

ranger.usersync.keystore.file

Путь к keystore-файлу

—

ranger.usersync.keystore.password

Пароль от keystore-файла

—

ranger.usersync.https.ssl.enabled.protocols

Поддерживаемые протоколы SSL

TLSv1.2

kms-site.xml

Параметр Описание Значение по умолчанию

hadoop.kms.authentication.kerberos.name.rules

Правила для разрешения имен принципалов Kerberos

hadoop.kms.authentication.zk-dt-secret-manager.enable

Определяет, использовать ли ZKDelegationTokenSecretManager для сохранения TokenIdentifiers и DelegationKeys в ZooKeeper

false

hadoop.kms.authentication.zk-dt-secret-manager.zkConnectionString

Строка подключения к ZooKeeper: перечисленные через запятую хосты и порты

—

hadoop.kms.authentication.zk-dt-secret-manager.znodeWorkingPath

Путь к znode сервиса ZooKeeper, где инстансы KMS будут хранить секрет. Все инстансы KMS, которым требуется координация, должны указывать на один путь

—

hadoop.kms.authentication.zk-dt-secret-manager.zkAuthType

Тип аутентификации ZooKeeper. Возможные значения: none (по умолчанию) или sasl (Kerberos)

none

hadoop.kms.authentication.zk-dt-secret-manager.kerberos.keytab

Абсолютный путь к keytab Kerberos с данными для подключения к ZooKeeper. Используется только если параметр hadoop.kms.authentication.zk-dt-secret-manager.zkAuthType имеет значение sasl

—

hadoop.kms.authentication.signer.secret.provider

Тип хранения секрета для подписи аутентификационных cookies. Возможные значения: random (по умолчанию), string и zookeeper. Если в системе находится несколько инстансов KMS, следует использовать zookeeper

random

hadoop.kms.authentication.signer.secret.provider.zookeeper.connection.string

Строка подключения к ZooKeeper: перечисленные через запятую хосты и порты

—

hadoop.kms.authentication.signer.secret.provider.zookeeper.path

—

ranger-ugsync-site.xml

Параметр

Описание

Значение по умолчанию

ranger.usersync.port

Порт для службы аутентификации Unix

5151

ranger.usersync.role.assignment.list.delimiter

Разделитель при синхронизации ролей с пользователями, группами и ролями в Ranger Admin

ranger.usersync.sleeptimeinmillisbetweensynccycle

Тайм-аут (в миллисекундах) между операциями синхронизации пользователя операции

—

ranger.usersync.unix.minGroupId

Минимальный идентификатор группы для начала синхронизации. Этот параметр используется для того, чтобы избежать синхронизации пользователей уровня системы UNIX в Ranger Admin

500

ranger.usersync.unix.minUserId

Минимальный идентификатор пользователя для начала синхронизации. Этот параметр используется для того, чтобы избежать синхронизации пользователей уровня системы UNIX в Ranger Admin

500

ranger.usersync.username.groupname.assignment.list.delimiter

Разделитель при синхронизации пользователей и групп в Ranger Admin

ranger.usersync.users.groups.assignment.list.delimiter

Разделитель при синхронизации пользователей и групп с указанными ролями в Ranger Admin. Этот разделитель отделяет пользователей и группы от соответствующих ролей

Примечание

Все разделители не должны содержать символов, которые не допускаются в имени пользователя или группы.

Параметр ranger.usersync.role.assignment.list.delimiter используется в качестве разделителя для ролей, например:

ROLE_SYS_ADMIN:u:username01,username02&ROLE_KEY_ADMIN:g:groupname01

В этом примере роли ROLE_SYS_ADMIN и ROLE_KEY_ADMIN в Ranger Admin разделены разделителем &.

Параметр ranger.usersync.username.groupname.assignment.list.delimiter используется в качестве разделителя для разграничения двух или более пользователей и групп, например:

ROLE_SYS_ADMIN:u:username01,username02

В этом примере пользователи username1 и username2 разделены разделителем ,.

Параметр ranger.usersync.users.groups.assignment.list.delimiter используется в качестве разделителя для разграничения пользователей и групп от соответствующих ролей, например:

ROLE_SYS_ADMIN:u:username01,username02&ROLE_SYS_ADMIN:g:groupname01,groupname02

В этом примере ROLE_SYS_ADMIN — это роль, а u обозначает список пользователей, за которым следуют фактические имена пользователей, а именно username01 и username02. Символ g используется для обозначения списка групп, за которым следуют фактические имена групп, а именно groupname01 и groupname02.

ranger-ugsync-default.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
	<property>
		<name>ranger.usersync.port</name>
                <value>5151</value>
	</property>
	<property>
		<name>ranger.usersync.ssl</name>
		<value>true</value>
	</property>
	<property>
		<name>ranger.usersync.https.ssl.enabled.protocols</name>
		<value>SSLv2Hello, TLSv1, TLSv1.1, TLSv1.2</value>
	</property>
	<property>
		<name>ranger.usersync.passwordvalidator.path</name>
		<value>./native/credValidator.uexe</value>
	</property>
	<property>
		<name>ranger.usersync.enabled</name>
		<value>true</value>
	</property>
	<property>
		<name>ranger.usersync.policymanager.maxrecordsperapicall</name>
		<value>1000</value>
	</property>
	<property>
		<name>ranger.usersync.policymanager.mockrun</name>
		<value>false</value>
	</property>
	<property>
		<name>ranger.usersync.unix.minUserId</name>
		<value>500</value>
	</property>
	<property>
		<name>ranger.usersync.unix.minGroupId</name>
		<value>0</value>
	</property>
	<property>
		<name>ranger.usersync.ldap.username.caseconversion</name>
		<value>none</value>
	</property>
	<property>
		<name>ranger.usersync.ldap.groupname.caseconversion</name>
		<value>none</value>
	</property>
	<property>
		<name>ranger.usersync.logdir</name>
		<value>./log</value>
	</property>
	<property>
		<name>ranger.usersync.cookie.enabled</name>
		<value>true</value>
	</property>
</configuration>

LDAP sync source for User synchronizer

Параметр Описание Значение по умолчанию

ranger.usersync.ldap.binddn

Полное отличительное имя (DN)

—

ranger.usersync.ldap.deltasync

Определяет, следует ли синхронизировать пользователей и группы, основываясь на обновлениях сервера

true

ranger.usersync.ldap.groupname.caseconversion

Определяет, в какой регистр конвертировать названия групп. Возможные значения: lower, upper и none

lower

LDAP bind password

Пароль для пользователя привязки LDAP

—

ranger.usersync.ldap.referral

Указывает, как обрабатывать отсылки LDAP. Возможные значения параметра:

follow — используется, если несколько серверов LDAP настроены на возврат отсылок для результатов.
ignore — используется при отсутствии отсылок.

ignore

ranger.usersync.ldap.searchBase

База поиска пользователей и групп

rangerkms

ranger.usersync.ldap.url

URL-адрес сервера LDAP

ranger

ranger.usersync.ldap.user.groupnameattribute

Атрибут имени группы пользователей LDAP

memberof,ismemberof

ranger.usersync.ldap.user.nameattribute

Атрибут имени пользователя LDAP

ranger.usersync.ldap.user.objectclass

Класс объекта пользователя LDAP

person

ranger.usersync.ldap.user.searchbase

Поисковая база для пользователей

—

ranger.usersync.ldap.user.searchfilter

Необязательный дополнительный фильтр, ограничивающий пользователей, выбранных для синхронизации

—

ranger.usersync.ldap.user.searchscope

Область поиска для пользователей. Возможные значения параметра:

base — следует рассматривать только запись, указанную в качестве базы поиска в ranger.usersync.ldap.user.searchbase.
one — должны рассматриваться только непосредственные дочерние элементы записи, указанной в качестве базы поиска в ranger.usersync.ldap.user.searchbase.
sub — запись, указанная в качестве базы поиска в ranger.usersync.ldap.user.searchbase, и все вложенные на любую глубину записи должны быть рассмотрены.

—

ranger.usersync.ldap.username.caseconversion

Определяет, в какой регистр конвертировать имена пользователей. Возможные значения: lower, upper и none

lower

ranger.usersync.group.searchenabled

Должен ли Usersync использовать ldapsearch для поиска групп вместо того, чтобы полагаться на атрибуты входа пользователя

—

ranger.usersync.group.search.first.enabled

Определяет, следует ли получать пользователей через атрибут группы 'member'

true

ranger.usersync.group.usermapsyncenabled

Определяет, следует ли выполнять ldapsearch для поиска групп вместо того, чтобы полагаться на атрибуты пользователей и синхронизацию членства в этих группах

false

ranger.usersync.group.memberattributename

Имя атрибута члена группы LDAP

member

ranger.usersync.group.nameattribute

Атрибут имени группы LDAP

ranger.usersync.group.objectclass

Класс объекта LDAP Group

groupofnames

ranger.usersync.group.searchbase

Поисковая база для групп

—

ranger.usersync.group.searchfilter

Необязательный дополнительный фильтр, ограничивающий группы, выбранные для синхронизации

—

ranger.usersync.group.searchscope

Область поиска для групп. Возможные значения параметра:

base — следует рассматривать только запись, указанную в качестве базы поиска в ranger.usersync.group.searchbase.
one — должны рассматриваться только непосредственные дочерние элементы записи, указанной в качестве базы поиска в ranger.usersync.group.searchbase.
sub — запись, указанная в качестве базы поиска в ranger.usersync.group.searchbase, и все ее подчиненные записи любой глубины должны быть рассмотрены.

—

Параметр ranger.usersync.ldap.binddn используется для установки DN, включая общее имя (CN) учетной записи пользователя LDAP, имеющего привилегии для поиска пользователей. Это может быть пользователь LDAP только для чтения, например:

cn=admin,dc=example,dc=com

Параметр ranger.usersync.ldap.searchBase используется для установки базы поиска для пользователей и групп. Несколько значений могут быть настроены с разделителем ; (точка с запятой), например:

dc=hadoop,dc=arenadata,dc=tech

Параметр ranger.usersync.ldap.url используется для установки URL для LDAP-сервера, например:

ldaps://localhost:8000
ldap://localhost:8080

Параметр ranger.usersync.ldap.user.groupnameattribute аналогичен атрибуту имени пользователя, например:

memberOf в AD, memberof,ismemberof в OpenLDAP

Параметр ranger.usersync.ldap.user.nameattribute используется для установки атрибута имени пользователя LDAP, например:

sAMAccountName в AD, uid или cn в OpenLDAP

ПРИМЕЧАНИЕ

sAMAccountName — логин, использующийся для совместимости с системами до Windows 2000. cn — общее имя пользователя, состоящее из имени, отчества и фамилии.

Параметр ranger.usersync.ldap.user.searchbase используется для установки PATH для базы поиска пользователей. Несколько значений могут быть заданы с разделителем ; (точка с запятой), например:

ou=users,dc=hadoop,dc=arenadata,dc=tech
cn=users,dc=example,dc=com;ou=example1,ou=example2

ВНИМАНИЕ

Значение параметра ranger.usersync.ldap.user.searchbase переопределяет значение, указанное в ranger.usersync.ldap.searchBase.

Параметр ranger.usersync.ldap.user.searchscope используется для указания области поиска пользователя. Параметр имеет три значения:

Параметр ranger.usersync.group.searchbase используется для указания поисковой базы группы. Несколько значений могут быть заданы с разделением ; (точка с запятой). Если значение не указано, принимается значение ranger.usersync.ldap.searchBase. Если ranger.usersync.ldap.searchBase также не указано, принимается значение ranger.usersync.ldap.user.searchbase.

ВНИМАНИЕ

Значение параметра ranger.usersync.group.searchbase переопределяет значения, указанные в ranger.usersync.ldap.searchBase и ranger.usersync.ldap.user.searchbase.

Пример:

ou=groups,dc=hadoop,dc=apache,dc=org
ou=groups,DC=example,DC=com;ou=group1,ou=group2

LDAP sync source for Ranger Admin authentication

Параметр Описание Значение по умолчанию

ranger.ldap.url

URL-адрес сервера LDAP

—

ranger.ldap.bind.dn

Полное отличительное имя (DN) пользователя LDAP для привязки

—

ranger.ldap.bind.password

Пароль пользователя LDAP для привязки

—

ranger.ldap.base.dn

Отличительное имя запуска для поиска на сервере каталогов

—

ranger.ldap.group.searchbase

База поиска групп LDAP

—

ranger.ldap.group.searchfilter

Фильтр поиска групп LDAP

—

ranger.ldap.group.roleattribute

Атрибут роли группы LDAP

—

ranger.ldap.user.searchfilter

Фильтр поиска пользователей LDAP

—

ranger.ldap.user.dnpattern

DN пользователя LDAP

—

ranger.ldap.referral

Указывает, как обрабатывать отсылки LDAP. Возможные значения параметра:

follow — используется, если несколько серверов LDAP настроены на возврат отсылок для результатов.
ignore — используется при отсутствии отсылок.
throw — используется, если все стандартные записи сначала возвращаются в перечисление, прежде чем будет вызвано исключение ReferralException.

ignore

Active Directory sync source for Ranger Admin authentication

Параметр Описание Значение по умолчанию

ranger.ldap.ad.url

Адрес сервера Active Directory

—

ranger.ldap.ad.bind.dn

Полное отличительное имя (DN) пользователя AD для привязки

—

ranger.ldap.ad.bind.password

Пароль пользователя AD для привязки

—

ranger.ldap.ad.base.dn

Отличительное имя запуска для поиска на сервере каталогов

—

ranger.ldap.ad.domain

Доменное имя сервера (или IP-адрес), на котором запущен модуль ranger-usersync (наряду с AD Authentication Service)

—

ranger.ldap.ad.user.searchfilter

Фильтр поиска пользователей

sAMAccountName={0}

ranger.ldap.ad.referral

Указывает, как обрабатывать отсылки AD. Возможные значения параметра:

follow — используется, если несколько серверов AD настроены на возврат отсылок для результатов.
ignore — используется при отсутствии отсылок. Если во время обработки результатов обнаруживаются отсылки, то возвращается PartialResultException.
throw — используется, если все стандартные записи сначала возвращаются в перечисление, прежде чем будет вызвано исключение ReferralException.

ignore

Другие параметры

Параметр

Описание

Значение по умолчанию

Custom ranger-knox-security.xml

—

Custom ranger-admin-site.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле ranger-admin-site.xml

—

Custom core-site.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле core-site.xml

—

Custom ranger-kms-audit.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле ranger-kms-audit.xml

—

Custom ranger-kms-security.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле ranger-kms-security.xml

—

Custom ranger-kms-site.xml

—

Custom kms-site.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле kms-site.xml

—

Custom ranger-kms-policymgr-ssl.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле ranger-kms-policymgr-ssl.xml

—

Custom ranger-ugsync-site.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле ranger-ugsync-site.xml

—

Каждый компонент Ranger имеет свои настройки логирования, описанные ниже.

Ranger Admin

Параметр Описание Значение по умолчанию

logback.xml

Файл с настройками логирования Ranger Admin

logback.xml

ranger-admin-env.sh

Команда, устанавливающая переменную среды RANGER_ADMIN_LOGBACK_CONF_FILE

export RANGER_ADMIN_LOGBACK_CONF_FILE="/etc/ranger/admin/conf/logback.xml"

Ranger KMS

Параметр

Описание

Значение по умолчанию

logback.xml

Файл с настройками логирования Ranger KMS

logback.xml

Ranger User synchronizer

Параметр

Описание

Значение по умолчанию

logback.xml

Файл с настройками логирования Ranger User synchronizer

logback.xml

Solr

solr-env.sh

Параметр

Описание

Значение по умолчанию

SOLR_HOME

Расположение индексных данных и конфигураций

/srv/solr/server

SOLR_AUTH_TYPE

Тип аутентификации для Solr

—

SOLR_AUTHENTICATION_OPTS

Параметры аутентификации Solr

—

SOLR_AUTHENTICATION_OPTS_CUSTOM

Пользовательские параметры аутентификации в Solr

—

GC_TUNE

JVM-параметры для Solr

-XX:-UseLargePages

SOLR_SSL_KEY_STORE:

Путь к keystore-файлу Solr (.jks)

—

SOLR_SSL_KEY_STORE_TYPE:

Тип keystore-файла Solr

JKS

SOLR_SSL_KEY_STORE_PASSWORD

Пароль к keystore-файлу Solr

—

SOLR_SSL_TRUST_STORE

Путь к truststore-файлу Solr (.jks)

—

SOLR_SSL_TRUST_STORE_TYPE

Тип truststore-файла Solr

JKS

SOLR_SSL_TRUST_STORE_PASSWORD

Пароль к truststore-файлу Solr

—

SOLR_SSL_NEED_CLIENT_AUTH

Определяет, включена ли клиентская аутентификация

False

SOLR_SSL_WANT_CLIENT_AUTH

Позволяет клиентам выполнять клиентскую аутентификацию (но не требует этого)

false

SOLR_SSL_CLIENT_HOSTNAME_VERIFICATION

Определяет, включена ли проверка имен хостов

False

SOLR_HOST

Указывает имя хоста Solr-сервера

host_fqdn

LOG4J_PROPS

Путь к кастомному файлу конфигурации для log4j

/etc/solr/conf/log4j2.xml,/etc/solr/conf/log4j2-console.xml

solr.xml

<solr>

  <solrcloud>
    <str name="host">${host:}</str>
    <int name="hostPort">${jetty.port:}</int>
    <str name="hostContext">${hostContext:solr}</str>
    <bool name="genericCoreNodeNames">${genericCoreNodeNames:true}</bool>
    <int name="zkClientTimeout">${zkClientTimeout:30000}</int>
    <int name="distribUpdateSoTimeout">${distribUpdateSoTimeout:600000}</int>
    <int name="distribUpdateConnTimeout">${distribUpdateConnTimeout:60000}</int>
    <str name="zkCredentialsProvider">${zkCredentialsProvider:org.apache.solr.common.cloud.DefaultZkCredentialsProvider}</str>
    <str name="zkACLProvider">${zkACLProvider:org.apache.solr.common.cloud.DefaultZkACLProvider}</str>
  </solrcloud>

  <shardHandlerFactory name="shardHandlerFactory"
    class="HttpShardHandlerFactory">
    <int name="socketTimeout">${socketTimeout:600000}</int>
    <int name="connTimeout">${connTimeout:60000}</int>
  </shardHandlerFactory>

</solr>

External zookeeper

Параметр Описание Значение по умолчанию

ZK_HOST

Список всех серверов в Ensemble, включая порты, по которым они взаимодействуют. Вы можете добавить путь ZooKeeper chroot в конец строки подключения ZK_HOST. Например, host1.mydomain.com:2181,host2.mydomain.com:2181,host3.mydomain.com:2181/solr

—

The external zookeeper is kerberized

Указывает, керберизован ли внешний ZooKeeper

false

Solr server heap memory settings

Параметр

Описание

Значение по умолчанию

Solr Server Heap Memory

Устанавливает начальный (-Xms) и максимальный (-Xmx) размер Java heap для Solr Server

-Xms512m -Xmx512m

Solr collections ttl settings

Параметр

Описание

Значение по умолчанию

collection_name

Название коллекции Solr

ranger_audits

ttl

Время жизни записей

+90DAYS

auto_delete_period

Период автоматического удаления записей, которые находятся в коллекции дольше, чем TTL

86400

Credential encryption

Параметр Описание Значение по умолчанию

Credstore password

Пароль провайдера шифрования

—

Credstore options

Способ хранения пароля шифрования. Возможные значения: no password и password in the environment

password in the environment

Credential provider path

Путь к JCEKS-файлу сервиса

jceks://file/etc/solr/conf/solr.jceks

Ranger plugin credential provider path

Путь к JCEKS-файлу плагина Ranger Solr

jceks://file/etc/solr/conf/ranger-solr.jceks

Custom jceks

Указывает, использовать ли пользовательские JCEKS-файлы вместо автоматически сгенерированных

false

ranger-solr-audit.xml

Параметр

Описание

Значение по умолчанию

xasecure.audit.solr.solr_url

Путь к Solr-коллекции для сохранения аудит-логов

—

xasecure.audit.solr.async.max.queue.size

Максимальный размер внутренней очереди для хранения аудит-логов

xasecure.audit.solr.async.max.flush.interval.ms

Максимальный временной интервал между сбросом лог-данных на диск (в миллисекундах)

100

ranger.solr.plugin.audit.excluded.users

Список пользователей, которым будет запрещен доступ к логам аудита Ranger

HTTP,rangeradmin,rangerkms

ranger-solr-security.xml

Параметр

Описание

Значение по умолчанию

ranger.plugin.solr.policy.rest.url

URL для Ranger Admin

—

ranger.plugin.solr.service.name

Имя Ranger-сервиса, который содержит политики для этого экземпляра

—

ranger.plugin.solr.policy.cache.dir

Каталог, в котором кешируются политики Ranger после успешного извлечения из источника

/srv/ranger/yarn/policycache

ranger.plugin.solr.policy.pollIntervalMs

Определяет, как часто проверять политики на предмет изменения

30000

ranger.plugin.solr.policy.rest.client.connection.timeoutMs

Время ожидания подключения Solr-плагина RangerRestClient (в миллисекундах)

120000

ranger.plugin.solr.policy.rest.client.read.timeoutMs

Тайм-аут на чтение для Solr-плагина RangerRestClient (в миллисекундах)

30000

ranger-sorl-policymgr-ssl.xml

Параметр

Описание

Значение по умолчанию

xasecure.policymgr.clientssl.keystore

Путь к keystore-файлу, который использует Ranger

—

xasecure.policymgr.clientssl.keystore.credential.file

Путь к файлу с учетными данными для keystore

/usr/lib/solr/server/resources/ranger-solr.jceks

xasecure.policymgr.clientssl.truststore.credential.file

Путь к файлу с учетными данными для truststore

/usr/lib/solr/server/resources/ranger-solr.jceks

xasecure.policymgr.clientssl.truststore

Путь к truststore-файлу, который использует Ranger

—

xasecure.policymgr.clientssl.keystore.password

Пароль для keystore-файла

—

xasecure.policymgr.clientssl.truststore.password

Пароль для truststore-файла

—

Другие параметры

Параметр

Описание

Значение по умолчанию

Ranger plugin enabled

Включает Ranger-плагин

false

Custom solr-env.sh

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле solr-env.sh

—

Настройки логирования Solr являются частью конфигурации компонента Solr Server, представленной ниже.

log4j2.xml

<?xml version="1.0" encoding="UTF-8"?>
<!--
  Licensed to the Apache Software Foundation (ASF) under one or more
  contributor license agreements.  See the NOTICE file distributed with
  this work for additional information regarding copyright ownership.
  The ASF licenses this file to You under the Apache License, Version 2.0
  (the "License"); you may not use this file except in compliance with
  the License.  You may obtain a copy of the License at

      http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License.
-->

<!-- Configuration for asynchronous logging -->
<Configuration>
  <Appenders>

    <Console name="STDOUT" target="SYSTEM_OUT">
      <PatternLayout>
        <Pattern>
          %maxLen{%d{yyyy-MM-dd HH:mm:ss.SSS} %-5p (%t) [%X{collection} %X{shard} %X{replica} %X{core}] %c{1.} %m%notEmpty{ =>%ex{short}}}{10240}%n
        </Pattern>
      </PatternLayout>
    </Console>

    <RollingRandomAccessFile
        name="MainLogFile"
        fileName="/var/log/solr/solr.log"
        filePattern="/var/log/solr/solr.log.%i" >
      <PatternLayout>
        <Pattern>
          %maxLen{%d{yyyy-MM-dd HH:mm:ss.SSS} %-5p (%t) [%X{collection} %X{shard} %X{replica} %X{core}] %c{1.} %m%notEmpty{ =>%ex{short}}}{10240}%n
        </Pattern>
      </PatternLayout>
      <Policies>
        <OnStartupTriggeringPolicy />
        <SizeBasedTriggeringPolicy size="32 MB"/>
      </Policies>
      <DefaultRolloverStrategy max="10"/>
    </RollingRandomAccessFile>

    <RollingRandomAccessFile
        name="SlowLogFile"
        fileName="/var/log/solr/solr_slow_requests.log"
        filePattern="/var/log/solr/solr_slow_requests.log.%i" >
      <PatternLayout>
        <Pattern>
          %maxLen{%d{yyyy-MM-dd HH:mm:ss.SSS} %-5p (%t) [%X{collection} %X{shard} %X{replica} %X{core}] %c{1.} %m%notEmpty{ =>%ex{short}}}{10240}%n
        </Pattern>
      </PatternLayout>
      <Policies>
        <OnStartupTriggeringPolicy />
        <SizeBasedTriggeringPolicy size="32 MB"/>
      </Policies>
      <DefaultRolloverStrategy max="10"/>
    </RollingRandomAccessFile>

  </Appenders>
  <Loggers>
    <AsyncLogger name="org.apache.hadoop" level="warn"/>
    <AsyncLogger name="org.apache.solr.update.LoggingInfoStream" level="off"/>
    <AsyncLogger name="org.apache.zookeeper" level="warn"/>
    <AsyncLogger name="org.apache.solr.core.SolrCore.SlowRequest" level="info" additivity="false">
      <AppenderRef ref="SlowLogFile"/>
    </AsyncLogger>

    <AsyncRoot level="info">
      <AppenderRef ref="MainLogFile"/>
      <AppenderRef ref="STDOUT"/>
    </AsyncRoot>
  </Loggers>
</Configuration>

<!-- Configuration for synchronous logging
     there _may_ be a very small window where log messages will not be flushed
     to the log file on abnormal shutdown. If even this risk is unacceptable, use
     the configuration below
-->
<!--Configuration>
  <Appenders>

    <Console name="STDOUT" target="SYSTEM_OUT">
      <PatternLayout>
        <Pattern>
          %d{yyyy-MM-dd HH:mm:ss.SSS} %-5p (%t) [%X{collection} %X{shard} %X{replica} %X{core}] %c{1.} %m%n
        </Pattern>
      </PatternLayout>
    </Console>

    <RollingFile
        name="RollingFile"
        fileName="${sys:solr.log.dir}/solr.log"
        filePattern="${sys:solr.log.dir}/solr.log.%i" >
      <PatternLayout>
        <Pattern>
          %d{yyyy-MM-dd HH:mm:ss.SSS} %-5p (%t) [%X{collection} %X{shard} %X{replica} %X{core}] %c{1.} %m%n
        </Pattern>
      </PatternLayout>
      <Policies>
        <OnStartupTriggeringPolicy />
        <SizeBasedTriggeringPolicy size="32 MB"/>
      </Policies>
      <DefaultRolloverStrategy max="10"/>
    </RollingFile>

    <RollingFile
        name="SlowFile"
        fileName="${sys:solr.log.dir}/solr_slow_requests.log"
        filePattern="${sys:solr.log.dir}/solr_slow_requests.log.%i" >
      <PatternLayout>
        <Pattern>
          %d{yyyy-MM-dd HH:mm:ss.SSS} %-5p (%t) [%X{collection} %X{shard} %X{replica} %X{core}] %c{1.} %m%n
        </Pattern>
      </PatternLayout>
      <Policies>
        <OnStartupTriggeringPolicy />
        <SizeBasedTriggeringPolicy size="32 MB"/>
      </Policies>
      <DefaultRolloverStrategy max="10"/>
    </RollingFile>

  </Appenders>
  <Loggers>
    <Logger name="org.apache.hadoop" level="warn"/>
    <Logger name="org.apache.solr.update.LoggingInfoStream" level="off"/>
    <Logger name="org.apache.zookeeper" level="warn"/>
    <Logger name="org.apache.solr.core.SolrCore.SlowRequest" level="info" additivity="false">
      <AppenderRef ref="SlowFile"/>
    </Logger>

    <Root level="info">
      <AppenderRef ref="RollingFile"/>
      <AppenderRef ref="STDOUT"/>
    </Root>
  </Loggers>
</Configuration-->

log4j2-console.xml

<?xml version="1.0" encoding="UTF-8"?>
<!--
  Licensed to the Apache Software Foundation (ASF) under one or more
  contributor license agreements.  See the NOTICE file distributed with
  this work for additional information regarding copyright ownership.
  The ASF licenses this file to You under the Apache License, Version 2.0
  (the "License"); you may not use this file except in compliance with
  the License.  You may obtain a copy of the License at

      http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License.
-->

<!-- Use this file for logging exlusively to the console, useful for
     some development tasks. Should not be used for production -->
<!-- Default production configuration is asnychronous logging -->
<Configuration>
  <Appenders>
    <Console name="STDERR" target="SYSTEM_ERR">
      <PatternLayout>
        <Pattern>
          %maxLen{%-5p - %d{yyyy-MM-dd HH:mm:ss.SSS}; %c; %m%notEmpty{ =>%ex{short}}}{10240}%n
        </Pattern>
      </PatternLayout>
    </Console>
  </Appenders>
  <Loggers>
    <!-- Use <AsyncLogger/<AsyncRoot and <Logger/<Root for asynchronous logging or synchonous logging respectively -->
    <AsyncLogger name="org.apache.zookeeper" level="ERROR"/>
    <AsyncLogger name="org.apache.hadoop" level="WARN"/>

    <AsyncRoot level="INFO">
      <AppenderRef ref="STDERR"/>
    </AsyncRoot>
  </Loggers>
</Configuration>

Enable custom ulimits

[Manager]
DefaultLimitCPU=
DefaultLimitFSIZE=
DefaultLimitDATA=
DefaultLimitSTACK=
DefaultLimitCORE=
DefaultLimitRSS=
DefaultLimitNOFILE=
DefaultLimitAS=
DefaultLimitNPROC=
DefaultLimitMEMLOCK=
DefaultLimitLOCKS=
DefaultLimitSIGPENDING=
DefaultLimitMSGQUEUE=
DefaultLimitNICE=
DefaultLimitRTPRIO=
DefaultLimitRTTIME=

ZooKeeper

Main

Параметр

Описание

Значение по умолчанию

connect

Строка подключения ZooKeeper, используемая другими службами или кластерами. Генерируется автоматически

—

dataDir

Место, где ZooKeeper хранит снепшоты базы данных в памяти и, если не указано иное, журнал транзакций обновлений базы данных

/var/lib/zookeeper

zoo.cfg

Параметр Описание Значение по умолчанию

clientPort

Порт для прослушивания клиентских подключений, то есть порт, к которому пытаются подключиться клиенты

2181

admin.serverPort

Порт, который прослушивает сервер Jetty

5181

admin.enableServer

Активирует Admin server — встроенный Jetty-сервер, предоставляющий HTTP-интерфейс к командам, состоящим из четырех букв

False

tickTime

Базовая единица времени, используемая в ZooKeeper для heartbeats (в миллисекундах). Минимальный тайм-аут сессии равен tickTime * 2

2000

initLimit

Тайм-аут, который ZooKeeper использует для ограничения длительности времени, в течение которого серверы ZooKeeper в quorum подключаются к лидеру

syncLimit

Определяет максимальное допустимое отклонение по дате между сервером и лидером

maxClientCnxns

Этот параметр ограничивает количество активных подключений с хоста с определенным IP-адресом к одному серверу ZooKeeper

autopurge.snapRetainCount

Когда функция автоматической очистки ZooKeeper включена, она сохраняет последние autopurge.snapRetainCount cнепшотов и соответствующие журналы транзакций в dataDir и dataLogDir каталогах соответственно, а остальные удаляет. Минимальное значение 3

autopurge.purgeInterval

Интервал времени, в течение которого должна быть запущена задача очистки (в часах). Значением должно быть положительное целое число (1 и больше), чтобы включить автоматическую очистку

Add key,value

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле zoo.cfg

—

SSL configuration

Параметр

Описание

Значение по умолчанию

sslQuorum

Активирует зашифрованную кворумную коммуникацию

False

serverCnxnFactory

Имя класса, имплементирующего ServerCnxnFactory. Чтобы использовать серверную коммуникацию на основе TLS, присвойте параметру значение NettyServerCnxnFactory

org.apache.zookeeper.server.NettyServerCnxnFactory

ssl.quorum.keyStore.location

Полный путь к keystore-файлу на сервере

—

ssl.quorum.keyStore.password

Пароль от keystore-файла

—

ssl.quorum.trustStore.location

Полный путь к truststore-файлу на сервере

—

ssl.quorum.trustStore.password

Пароль от truststore-файла

—

ssl.protocol

Протокол, используемый при TLS-рукопожатии в клиенте

TLSv1.2

ssl.quorum.protocol

Протокол, используемый при TLS-рукопожатии в кворуме

TLSv1.2

zookeeper-env.sh

Параметр

Описание

Значение по умолчанию

ZOO_LOG_DIR

Каталог для хранения логов

/var/log/zookeeper

ZOOPIDFILE

Каталог, где хранится ID процесса ZooKeeper

/var/run/zookeeper/zookeeper_server.pid

SERVER_JVMFLAGS

Используется для установки различных JVM-параметров, например, для сборщика мусора

-Xmx1024m -Djava.security.auth.login.config=/usr/lib/zookeeper/conf/zookeeper_server_jaas.conf

JAVA

Путь к Java

$JAVA_HOME/bin/java

CLIENT_JVMFLAGS

Клиентские флаги для JVM

-Djava.security.auth.login.config=/usr/lib/zookeeper/conf/zookeeper_client_jaas.conf

Настройки логирования ZooKeeper являются частью конфигурации компонента ZooKeeper Server, представленной ниже.

logback.xml template

<!--
 Copyright 2022 The Apache Software Foundation

 Licensed to the Apache Software Foundation (ASF) under one
 or more contributor license agreements.  See the NOTICE file
 distributed with this work for additional information
 regarding copyright ownership.  The ASF licenses this file
 to you under the Apache License, Version 2.0 (the
 "License"); you may not use this file except in compliance
 with the License.  You may obtain a copy of the License at

     http://www.apache.org/licenses/LICENSE-2.0

 Unless required by applicable law or agreed to in writing, software
 distributed under the License is distributed on an "AS IS" BASIS,
 WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 See the License for the specific language governing permissions and
 limitations under the License.

 Define some default values that can be overridden by system properties
-->
<configuration>
  <!-- Uncomment this if you would like to expose Logback JMX beans -->
  <!--jmxConfigurator /-->

  <property name="zookeeper.console.threshold" value="INFO" />

  <property name="zookeeper.log.dir" value="/var/log/zookeeper" />
  <property name="zookeeper.log.file" value="zookeeper.log" />
  <property name="zookeeper.log.threshold" value="INFO" />
  <property name="zookeeper.log.maxfilesize" value="256MB" />
  <property name="zookeeper.log.maxbackupindex" value="20" />

  <!--
    console
    Add "console" to root logger if you want to use this
  -->
  <appender name="CONSOLE" class="ch.qos.logback.core.ConsoleAppender">
    <encoder>
      <pattern>%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n</pattern>
    </encoder>
    <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
      <level>${zookeeper.console.threshold}</level>
    </filter>
  </appender>

  <!--
    Add ROLLINGFILE to root logger to get log file output
  -->
  <appender name="ROLLINGFILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <File>${zookeeper.log.dir}/${zookeeper.log.file}</File>
    <encoder>
      <pattern>%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n</pattern>
    </encoder>
    <filter class="ch.qos.logback.classic.filter.ThresholdFilter">
      <level>${zookeeper.log.threshold}</level>
    </filter>
    <rollingPolicy class="ch.qos.logback.core.rolling.FixedWindowRollingPolicy">
      <maxIndex>${zookeeper.log.maxbackupindex}</maxIndex>
      <FileNamePattern>${zookeeper.log.dir}/${zookeeper.log.file}.%i</FileNamePattern>
    </rollingPolicy>
    <triggeringPolicy class="ch.qos.logback.core.rolling.SizeBasedTriggeringPolicy">
      <MaxFileSize>${zookeeper.log.maxfilesize}</MaxFileSize>
    </triggeringPolicy>
  </appender>


  <logger name="org.apache.zookeeper.audit.Slf4jAuditLogger" additivity="false" level="${audit.logger}">
    <appender-ref ref="RFAAUDIT" />
  </logger>

  <root level="INFO">
    <appender-ref ref="CONSOLE" />
    <appender-ref ref="ROLLINGFILE" />
  </root>
</configuration>

Enable custom ulimits

[Manager]
DefaultLimitCPU=
DefaultLimitFSIZE=
DefaultLimitDATA=
DefaultLimitSTACK=
DefaultLimitCORE=
DefaultLimitRSS=
DefaultLimitNOFILE=
DefaultLimitAS=
DefaultLimitNPROC=
DefaultLimitMEMLOCK=
DefaultLimitLOCKS=
DefaultLimitSIGPENDING=
DefaultLimitMSGQUEUE=
DefaultLimitNICE=
DefaultLimitRTPRIO=
DefaultLimitRTTIME=

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней