Конфигурационные параметры

redis.conf

Файл конфигурации Redis

 — 

sentinel.conf

Файл конфигурации Sentinel

 — 

redis_port

Порт брокера Redis

6379

sentinel_port

Порт Sentinel

26379

db_user

Имя пользователя для подключения к базе данных Metastore

airflow

db_password

Пароль для подключения к базе данных Metastore

 — 

db_port

Порт для подключения к базе данных Metastore

3307

admin_password

Пароль для администратора веб-сервера

 — 

server_port

Порт для работы веб-сервера

8080

flower_port

Порт для работы Celery Flower

5555

worker_port

При запуске Airflow Worker Airflow запускает подпроцесс веб-сервера для передачи локальных Worker лог-файлов на основной веб-сервер Airflow, который затем генерирует страницы и отправляет их пользователям. Этот параметр определяет порт для передачи лог-файлов. Порт должен быть не занят и доступен с основного веб-сервера для подключения к Workers

8793

fernet_key

Секретный ключ для сохранения паролей подключения в базе данных

 — 

security

Определяет механизм безопасности для использования. Например, kerberos

 — 

keytab

Путь к keytab-файлу

 — 

reinit_frequency

Устанавливает частоту обновления тикетов

3600

principal

Принципал Kerberos

ssl_active

Определяет, активен ли SSL для Airflow

false

web_server_ssl_cert

Путь к SSL-сертификату

/etc/ssl/certs/host_cert.cert

web_server_ssl_key

Путь к ключу SSL-сертификата

/etc/ssl/host_cert.key

Logging level

Указывает уровень логирования активности Airflow

INFO

Logging level for Flask-appbuilder UI

Указывает уровень логирования для веб-интерфейса Flask-appbuilder

WARNING

cfg_properties_template

Jinja-шаблон для инициализации переменных окружения Airflow

Database type

Тип внешней базы данных. Возможные значения: PostgreSQL, MySQL/MariaDB

MySQL/MariaDB

Hostname

Хост внешней базы данных

 — 

db_custom_port

Порт внешней базы данных

 — 

Airflow database name

Имя внешней базы данных

airflow

Broker URL

URL внешнего брокера

 — 

AUTH_LDAP_SERVER

URI сервера LDAP

 — 

AUTH_LDAP_BIND_USER

Путь к прокси-пользователю LDAP для привязки к верхнему уровню. Например: cn=airflow,ou=users,dc=example,dc=com

 — 

AUTH_LDAP_BIND_PASSWORD

Пароль привязанного пользователя

 — 

AUTH_LDAP_SEARCH

Укажите в значении параметра новый путь, под которым пользователи должны получать доступ к Airflow. Например: dc=example, dc=com

 — 

AUTH_LDAP_UID_FIELD

Поле UID (уникальный идентификатор) в LDAP

 — 

AUTH_ROLES_MAPPING

Параметр для сопоставления внутренних ролей группам LDAP Active Directory

 — 

AUTH_LDAP_GROUP_FIELD

Атрибут пользователя LDAP, имеющий свои DN

 — 

AUTH_ROLES_SYNC_AT_LOGIN

Флаг, указывающий, следует ли заменять все роли пользователя при каждом входе в систему или только при регистрации

true

PERMANENT_SESSION_LIFETIME

Устанавливает тайм-аут бездействия, по истечении которого пользователи должны повторно пройти аутентификацию (для синхронизации ролей)

1800

AUTH_LDAP_USE_TLS

Использование TLS

false

AUTH_LDAP_ALLOW_SELF_SIGNED

Использование самоподписанных сертификатов

true

AUTH_LDAP_TLS_CACERTFILE

Местонахождение сертификата

 — 

fs.defaultFS

Название файловой системы по умолчанию в виде URI, на основании которого будет выбрана имплементация файловой системы

hdfs://hdfs

fs.trash.checkpoint.interval

Интервал между trash-чекпойнтами в минутах. Должно быть меньше или равно fs.trash.interval. Если значение равно 0, то используется значение параметра fs.trash.interval. При каждом запуске чекпойнтера создается новый чекпойнт и удаляются все чекпойнты, созданные больше fs.trash.interval минут назад

60

fs.trash.interval

Длительность хранения чекпойнта в минутах. Если значение равно 0, то функция удаления старых чекпойнтов отключена. Эта опция может быть настроена как на сервере, так и на клиенте. Если на сервере функция отключена, то проверяется значение на клиенте. Если функция включена на сервере, то используется серверное значение, а клиентское игнорируется

1440

hadoop.tmp.dir

Корневая директория для создания временных директорий

/tmp/hadoop-${user.name}

hadoop.zk.address

Хост и порт сервера ZooKeeper

 — 

io.file.buffer.size

Размер буфера для файлов последовательностей. Размер этого буфера должен быть кратен размеру страницы в соответстувующей системе (например, 4096 для Intel x86). Значение определяет объем данных, находящихся в буфере во время операций чтения и записи

131072

net.topology.script.file.name

Название скрипта, который следует запустить для разрешения имен DNS и имен NetworkTopology

 — 

ha.zookeeper.quorum

Разделенный запятыми список серверов ZooKeeper, которые будут использованы ZKFailoverController для отказоустойчивости

 — 

ipc.client.fallback-to-simple-auth-allowed

Отображает, сможет ли клиент принять инструкцию сервера по переходу на аутентификацию SASL SIMPLE (незащищенную). При значении false (по умолчанию) клиент не разрешит переход на SIMPLE-аутентификацию и оборвет соединение

true

hadoop.security.authentication

simple

hadoop.security.authorization

Отображает, разрешена ли RPC-авторизация на уровне сервиса

false

hadoop.rpc.protection

authentication

hadoop.security.auth_to_local

Правила сопоставления имен принципалов с именами локальных пользователей

 — 

User managed hadoop.security.auth_to_local

Отображает, включена ли автоматическая генерация значения параметра hadoop.security.auth_to_local

false

hadoop.http.authentication.type

simple

hadoop.http.authentication.kerberos.principal

Имя Kerberos-принципала для kerberos-аутентификации. Короткое имя принципала должно быть HTTP исходя из спецификации Kerberos HTTP SPNEGO. _HOST (если имеется) заменится на адрес связанного HTTP-сервера

HTTP/_HOST@$LOCALHOST

hadoop.http.authentication.kerberos.keytab

Местоположение keytab-файла с данными Kerberos-принципала

/etc/security/keytabs/HTTP.service.keytab

ha.zookeeper.acl

ACL для всех znode

 — 

hadoop.http.filter.initializers

Значение параметра должно содержать initializer-класс org.apache.hadoop.security.AuthenticationFilterInitializer

org.apache.hadoop.security.AuthenticationFilterInitializer

hadoop.http.authentication.signature.secret.file

Секретный файл подписи для подписи токенов аутентификации. Если параметр не задан, во время запуска генерируется случайный секретный ключ. Один и тот же секретный ключ следует использовать для всех узлов кластера, JobTracker, NameNode, DataNode и TastTracker. Этот файл должен быть доступен для чтения только пользователю Unix, запускающему демоны

/etc/security/http_secret

hadoop.http.authentication.cookie.domain

Домен, используемый для HTTP cookie, в котором хранится токен аутентификации. Для корректной аутентификации на всех узлах кластера домен должен быть установлен правильно. Значение по умолчанию отсутствует, и если параметр не задан, HTTP cookie не будет иметь домена и будет работать только с именем хоста, который выпустил cookie

 — 

hadoop.ssl.require.client.cert

Отображает, необходимы ли пользовательские сертификаты

false

hadoop.ssl.hostname.verifier

DEFAULT

hadoop.ssl.keystores.factory.class

Имя класса, имплементирующего KeyStoresFactory

org.apache.hadoop.security.ssl.FileBasedKeyStoresFactory

hadoop.ssl.server.conf

Имя файла, из которого будет извлечена информация об SSL-сервере. Поиск файла происходит в CLASSPATH. Обычно он находится в директории conf/ сервиса Hadoop

ssl-server.xml

hadoop.ssl.client.conf

Имя файла, из которого будет извлечена информация об SSL-клиенте. Поиск файла происходит в CLASSPATH. Обычно он находится в директории conf/ сервиса Hadoop

ssl-client.xml

hadoop.ssl.enabled.protocols

Поддерживаемые протоколы SSL

TLSv1.2

ssl.client.truststore.location

Truststore-файл, используемый NameNodes и DataNodes

 — 

ssl.client.truststore.password

Пароль к truststore-файлу

 — 

ssl.client.truststore.type

Формат truststore-файла

jks

ssl.client.truststore.reload.interval

Интервал между проверками на обновление truststore-файла (в миллисекундах)

10000

ssl.client.keystore.location

Keystore-файл, используемый NameNodes и DataNodes

 — 

ssl.client.keystore.password

Пароль к keystore-файлу

 — 

ssl.client.keystore.keypassword

Пароль к ключу в keystore-файле

 — 

ssl.client.keystore.type

Формат keystore-файла

jks

Custom core-site.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле core-site.xml

 — 

Custom hadoop-env.sh

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле hadoop-env.sh

 — 

Custom ssl-client.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле ssl-client.xml

 — 

Custom log4j.properties

Пользовательские настройки логирования

log.conf

Sources

Список источников, которые будут записаны в flink-env.sh

/usr/lib/bigtop-utils/bigtop-detect-javahome

HADOOP_CLASSPATH

Список файлов и директорий, которые должны быть добавлены в classpath

$(hadoop classpath)

HADOOP_HOME

Домашняя директория Hadoop

/usr/lib/hadoop

HADOOP_CONF_DIR

Директория, в которой хранятся конфигурации Hadoop

/etc/hadoop/conf

FLINK_LOG_DIR

Директория, в которой хранятся логи Flink

/var/log/flink

FLINK_CONF_DIR

Директория, в которой хранятся конфигурации Flink

/etc/flink/conf

FLINK_HOME

Домашняя директория Flink

/usr/lib/flink

jobmanager.rpc.port

RPC-порт, по которому доступен JobManager. Этот параметр не используется в режиме высокой доступности (High Availability, HA), поскольку при HA порт для подключения к JobManager генерирует ZooKeeper

6123

sql-gateway.endpoint.rest.port

Номер порта для соединения с сервисом SQL Gateway

8083

taskmanager.network.bind-policy

Политика автоматического биндинга адресов, используемая TaskManager

name

parallelism.default

Уровень параллелизма по умолчанию для всех сред выполнения

1

taskmanager.numberOfTaskSlots

Количество слотов задач, которые предлагает каждый TaskManager. Каждый слот запускает один параллельный пайплайн

1

taskmanager.cpu.cores

Количество ядер CPU, используемое TaskManager. По умолчанию значение равно количеству слотов на один TaskManager

1

taskmanager.memory.flink.size

Общий объем памяти, выделяемый для TaskExecutors

 — 

taskmanager.memory.process.size

Общий объем памяти процесса, выделяемый для TaskExecutors. Сюда входит вся память, которую потребляет TaskExecutor, включая общую память Flink, JVM Metaspace и JVM Overhead. В контейнеризованных средах этот параметр следует устанавливать равным памяти контейнера

2048m

jobmanager.memory.flink.size

Общий объем памяти, выделяемый для JobManager

 — 

jobmanager.memory.process.size

Общий объем памяти процесса, выделяемый для JobManager. Сюда входит вся память, которую потребляет JVM JobManager, включая общую память Flink, JVM Metaspace и JVM Overhead. В контейнеризованных средах этот параметр следует устанавливать равным памяти контейнера

2048m

taskmanager.heap.size

Размер Java heap для JVM TaskManager

1024m

jobmanager.memory.heap.size

Размер Java heap для JVM JobManager

 — 

flink.yarn.appmaster.vcores

Количество виртуальных ядер (vcores), используемых YARN application master

1

taskmanager.host

Внешний адрес сетевого интерфейса, где запущен TaskManager

 — 

taskmanager.memory.task.heap.size

Размер Java heap, зарезервированной для задач

256m

taskmanager.memory.task.off-heap.size

Размер памяти off-heap, зарезервированной для задач

256m

taskmanager.memory.managed.size

Размер managed-памяти для TaskExecutors. Включает память off-heap, управляемую менеджером памяти, память, зарезервированную для сортировки, хеш-таблиц, кеширования промежуточных результатов, а также бэкенд RocksDB

256m

taskmanager.memory.framework.heap.size

Размер памяти Java heap, зарезервированной для фреймворка TaskExecutor, которая не будет выделяться под слоты задач

256m

taskmanager.memory.framework.off-heap.size

Размер памяти off-heap, зарезервированной для фреймворка TaskExecutor, которая не будет выделяться под слоты задач

256m

taskmanager.memory.network.min

Минимальный размер сетевой памяти (network memory) для TaskExecutors. Сетевая память — это область памяти off-heap, зарезервированная для ShuffleEnvironment (например, сетевые буферы)

256m

taskmanager.memory.network.max

Максимальный размер сетевой памяти (network memory) для TaskExecutors. Сетевая память — это область памяти off-heap, зарезервированная для ShuffleEnvironment (например, сетевые буферы)

256m

taskmanager.memory.jvm-overhead.max

Максимальный размер JVM overhead для TaskExecutors. Это память типа off-heap, зарезервированная для JVM overhead, например пространство стека потоков, кеш компиляции и так далее

256m

taskmanager.memory.jvm-metaspace.size

Размер метапространства JVM для TaskExecutors

256m

yarn.provided.lib.dirs

Список директорий с provided-библиотеками, разделенный точкой с запятой. Flink использует эти библиотеки, чтобы не загружать локальные JAR-файлы для ускорения запуска задачи

hdfs:///apps/flink/

flink.yarn.resourcemanager.scheduler.address

Адрес интерфейса планировщика

 — 

flink.yarn.containers.vcores

Устанавливает количество виртуальных ядер для контейнеров Flink YARN

1

flink.yarn.application.classpath

high-availability.cluster-id

ID Flink-кластера для разделения нескольких Flink-кластеров друг от друга

default

high-availability.storageDir

Путь в файловой системе (URI), где Flink хранит метаданные в режиме высокой доступности

 — 

high-availability

Определяет режим высокой доступности (High Availability, HA) для кластера

NONE

high-availability.zookeeper.quorum

ZooKeeper-кворум при работе Flink в режиме высокой доступности с ZooKeeper

 — 

high-availability.zookeeper.path.root

Рутовый путь Flink ZNode в Zookeeper

/flink

sql-gateway.session.check-interval

Интервал для проверки сессий на бездействие. Значение меньшее или равное 0 отключает проверки

1 min

sql-gateway.session.idle-timeout

Время, по истечении которого сессия автоматически закрывается, если не было установлено ни единого соединения. При значении меньшем или равном 0 сессии не закрываются

10 min

sql-gateway.session.max-num

Максимально возможное количество сессий на сервере SQL Gateway

1000000

sql-gateway.worker.keepalive-time

Время гарантированной жизни worker-потоков при бездействии. Когда количество worker-потоков превышает значение sql-gateway.worker.threads.min, потоки удаляются после данного интервала

5 min

sql-gateway.worker.threads.max

Максимально возможное количество worker-потоков

500

sql-gateway.worker.threads.min

Минимальное количество worker-потоков на сервере SQL Gateway. Если количество потоков меньше данного значения, потоки автоматически не удаляются

5

security.kerberos.login.use-ticket-cache

Определяет, использовать ли кеш тикетов Kerberos

false

security.kerberos.login.keytab

Абсолютный путь к Kerberos keytab-файлу, который хранит учетные данные пользователя

 — 

security.kerberos.login.principal

Принципал Kerberos для Flink

 — 

security.delegation.tokens.hive.renewer

Flink Kerberos принципал для Hive

 — 

security.kerberos.login.contexts

Разделенный запятыми список логин-контекстов, которым предоставляются учетные данные Kerberos

 — 

security.ssl.internal.enabled

Включает SSL для внутренних каналов связи между компонентами Flink. Сюда входит общение между TaskManagers, транспортировка данных из JobManager в TaskManager, установка RPC-соединений и так далее

false

security.ssl.internal.keystore

Путь к keystore-файлу, который используется внутренними эндпойнтами Flink

 — 

security.ssl.internal.truststore

Путь к truststore-файлу, который используется внутренними эндпойнтами Flink

 — 

security.ssl.internal.keystore-password

Пароль к keystore-файлу, который используется внутренними эндпойнтами Flink

 — 

security.ssl.internal.truststore-password

Пароль к truststore-файлу, который используется внутренними эндпойнтами Flink

 — 

security.ssl.internal.key-password

Пароль для дешифрования ключа в keystore-файле, который используется внутренними эндпойнтами Flink

 — 

security.ssl.rest.enabled

Включает SSL для коммуникации через внешние REST-эндпойнты

false

security.ssl.rest.keystore

Java keystore-файл, который содержит SSL-ключ и сертификат для использования внешними REST-эндпойнтами Flink

 — 

security.ssl.rest.truststore

Truststore-файл, который содержит сертификаты ЦС для проверки внешних REST-эндпойнтов Flink

 — 

security.ssl.rest.keystore-password

Секретный ключ для дешифрования keystore-файла, используемого для внешних REST-эндпойнтов Flink

 — 

security.ssl.rest.truststore-password

Пароль для доступа к truststore-файлу, который используется для внешних REST-эндпойнтов Flink

 — 

security.ssl.rest.key-password

Пароль для расшифровки ключа в keystore-файле для использования внешними REST-эндпойнтами Flink

 — 

security.ssl.protocol

Версия протокола TLS, которая будет использоваться для SSL. Принимает только одно значение, но не список

TLSv1.2

zookeeper.sasl.disable

Определяет использование SASL-аутентификации в Zookeeper

false

Logging level

Устанавливает уровень логирования Flink

INFO

Custom flink-conf.yaml

 — 

log4j.properties

Содержимое конфигурационного файла log4j.properties

log4j-cli.properties

Содержимое конфигурационного файла log4j-cli.properties

hbase.balancer.period

Интервал для запуска балансировщика регионов в мастере

300000

hbase.client.pause

Общее значение паузы клиента. Используется для указания паузы перед повторной попыткой после неудачного получения, поиска региона и так далее. Для получения более подробной информации об использовании пауз с повторными попытками смотрите описание параметра hbase.client.retries.number

100

hbase.client.max.perregion.tasks

Максимальное количество одновременных задач мутации, которые клиент может поддерживать в одном регионе. Иными словами, если для определенного региона уже выполняется hbase.client.max.perregion.tasks процессов записи, новые операции put не будут отправляться в этот регион, пока процесс записи не завершится

1

hbase.client.max.perserver.tasks

Максимальное количество одновременных задач мутации, которые один экземпляр HTable будет отправлять на один Region-сервер

2

hbase.client.max.total.tasks

Максимальное количество одновременных задач мутации, которые один экземпляр HTable будет отправлять в кластер

100

hbase.client.retries.number

Максимальное количество повторных попыток. Заданное значение используется для всех операций повтора, таких как: получение значения ячейки, запуск обновления строки и так далее. Интервал повтора вычисляется функцией, основанной на hbase.client.pause. Чтобы узнать, как увеличивается размер резервных копий при повторной обработке, смотрите значение константы RETRY_BACKOFF. Измените этот параметр и hbase.client.pause в соответствии с вашей рабочей нагрузкой

15

hbase.client.scanner.timeout.period

Период аренды клиентского сканера (в миллисекундах)

60000

hbase.cluster.distributed

Режим кластера. Возможные значения: false — для автономного режима и псевдораспределенных систем с управляемым ZooKeeper; true — для полностью распределенного режима с неуправляемым ZooKeeper Quorum. Если указано false, все демоны HBase и ZooKeeper запускаются в одной JVM, если true — каждый демон запускается в отдельной JVM

true

hbase.hregion.majorcompaction

Интервал между выполнением Major compaction (в миллисекундах). Установите значение 0, чтобы отключить автоматические выполнение Major compaction по времени. Major compaction, запрошенные пользователем и основанные на размере, будут по-прежнему выполняться. Значение параметра умножается на hbase.hregion.majorcompaction.jitter, чтобы операция сжатия выполнялась в случайное время в течение определенного временного промежутка

604800000

hbase.hregion.max.filesize

Максимальный размер файла. Если общий размер некоторых HFile в регионе превышает это значение, регион разделяется на две части. Существует два варианта работы этого параметра: первый, когда размер любого хранилища превышает пороговое значение, затем разделяется, а другой — если общий размер региона превышает пороговое значение, затем разделяется. Его можно настроить с помощью hbase.hregion.split.overallfiles

10737418240

hbase.hstore.blockingStoreFiles

Если количество StoreFile в хранилище превышает значение данного параметра (один StoreFile записывается на каждый сброс MemStore), обновления для этого региона блокируются до тех пор, пока не будет завершено сжатие (compaction) или пока не будет превышено значение hbase.hstore.blockingWaitTime

16

hbase.hstore.blockingWaitTime

Время, в течение которого регион будет блокировать обновления после достижения предела StoreFile. Лимит определяется параметром hbase.hstore.blockingStoreFiles. По истечении этого времени регион перестанет блокировать обновления, даже если процесс сжатия не был завершен

90000

hbase.hstore.compaction.max

Максимальное количество StoreFiles, которое будет выбрано для одной процедуры сжатия (Minor compaction), независимо от количества StoreFiles, готовых к сжатию. Значение hbase.hstore.compaction.max контролирует время, необходимое для завершения одного сжатия. Установка большего значения означает, что в одно сжатие включается больше файлов StoreFile. В большинстве случаев подходит значение по умолчанию

10

hbase.hstore.compaction.min

Минимальное количество StoreFiles, которые должны быть пригодны для сжатия, прежде чем выполнять операцию сжатия. Назначение параметра состоит в том, чтобы избежать ситуации, когда выполняется сжатие для большого количества маленьких StoreFiles. Установка значения 2 приводит к выполнению незначительного сжатия каждый раз, когда у вас есть два StoreFile в хранилище, и это, вероятно, неподходящее поведение. Если вы установите слишком большое значение, все остальные значения необходимо будет соответствующим образом отрегулировать. В большинстве случаев подходит значение по умолчанию. В предыдущих версиях HBase параметр hbase.hstore.compaction.min назывался hbase.hstore.compactionThreshold

3

hbase.hstore.compaction.min.size

Все StoreFile, размер которых меньше, чем указано параметром, могут быть подвержены процедуре Minor compaction. StoreFiles, размер которых равен или больше значения данного параметра, оцениваются с помощью hbase.hstore.compaction.ratio, чтобы определить, подходят ли они для сжатия. Поскольку это ограничение автоматически включает все StoreFile, размер которых меньше значения параметра, значение параметра может потребоваться уменьшить в средах с высокой интенсивностью записи, когда выполняется запись большого количества файлов размером 1-2 МБ. В противном случае, каждый StoreFile будет номинирован на сжатие, а размер результирующего файла будет все так же мал, что повлечет очередное сжатие. Если значение параметра небольшое, проверка соотношения срабатывает быстрее. Это устранило некоторые проблемы, замеченные в более ранних версиях HBase, но в большинстве ситуаций изменение этого параметра больше не требуется

134217728

hbase.hstore.compaction.ratio

Для операции Minor compaction данный параметр используется для определения того, подходит ли для сжатия StoreFile, размер которого превышает hbase.hstore.compaction.min.size. Назначение параметра заключается в ограничении сжатия больших StoreFile. Значение hbase.hstore.compaction.ratio выражается в виде десятичного числа с плавающей запятой

1.2F

hbase.hstore.compaction.ratio.offpeak

Коэффициент сжатия, используемый при сжатиях вне пиковой нагрузки, если также настроены часы непиковой нагрузки. Значение параметра — десятичное число с плавающей запятой. Позволяет выполнять более агрессивное (или менее агрессивное, если вы установите его ниже, чем hbase.hstore.compaction.ratio) сжатие в течение заданного периода времени. Значение игнорируется, если непиковое время отключено (по умолчанию). Параметр работает аналогично параметру hbase.hstore.compaction.ratio

5.0F

hbase.hstore.compactionThreshold

Если количество StoreFiles в хранилище превышает значение параметра (один StoreFile записывается при каждом сбросе MemStore), выполняется процедура сжатия для перезаписи всех StoreFiles в один StoreFile. Чем больше значение, тем реже выполняется сжатие, однако в таком случае для завершения сжатия требуется больше времени

3

hbase.hstore.flusher.count

Количество потоков, выполняющих сбросы (flush). При меньшем количестве потоков сбросы в MemStore будут поставлены в очередь. При большем количестве потоков сбросы будут выполняться параллельно, увеличивая нагрузку на HDFS и потенциально вызывая больше операций сжатия

2

hbase.hstore.time.to.purge.deletes

Время задержки до выполнения очистки маркеров удаления, включая маркеры с отметками времени в будущем. Если значение не указано или используется 0, все маркеры удаления, в том числе с отметками времени в будущем, удаляются во время следующего Major compaction. В противном случае маркер удаления сохраняется до этапа основного сжатия (Major compaction), которое выполняется после отметки времени маркера плюс значение этого параметра (в миллисекундах)

0

hbase.master.ipc.address

HMaster RPC

0.0.0.0

hbase.normalizer.period

Период, в течение которого нормализатор региона работает на Мастере (в миллисекундах)

300000

hbase.regionserver.compaction.enabled

Включает/отключает сжатие, используя значения true/false. Вы также можете динамически переключать операции сжатия с помощью команды оболочки compaction_switch

true

hbase.regionserver.ipc.address

IP-адрес Region Server

0.0.0.0

hbase.regionserver.regionSplitLimit

Максимальное количество регионов, при достижении которого деление на регионы (split) больше не выполняется. Данный параметр не является жестким ограничением количества регионов, но служит ориентиром для Region Server, чтобы прекратить разделение после определенного предела

1000

hbase.rootdir

Каталог, совместно используемый Region Servers и в который HBase записывает данные. URL-адрес должен быть полностью определенным и должен включать схему файловой системы. Например, чтобы указать каталог HDFS /hbase, где экземпляр NameNode HDFS имеет адрес namenode.example.org и порт 9000, установите это значение следующим образом: hdfs://namenode.example.org:9000/hbase

 — 

hbase.zookeeper.quorum

Список серверов в ZooKeeper ensemble, разделенных запятыми. Например, host1.mydomain.com,host2.mydomain.com,host3.mydomain.com. По умолчанию используется значение localhost для локальных и псевдораспределенных режимов работы. Для полностью распределенных систем значение параметра должно содержать полный список серверов ZooKeeper ensemble. Если HBASE_MANAGES_ZK установлено в hbase-env.sh, HBase будет использовать список серверов для запуска ZooKeeper при запуске/остановке кластера. На стороне клиента к списку ensemble добавляется значение hbase.zookeeper.property.clientPort и передается конструктору ZooKeeper в качестве параметра строки подключения

 — 

zookeeper.session.timeout

Время ожидания сеанса ZooKeeper в миллисекундах. Используется двумя способами. Первый способ — когда значение обрабатывается клиентом ZooKeeper, который HBase использует для подключения к ensemble. Параметр также используется HBase, когда последний запускает сервер ZooKeeper (в этом случае тайм-аут передается как maxSessionTimeout). Более деальная информация доступна на странице документации ZooKeeper. Например, если Region Server HBase подключается к ZooKeeper ensemble, который также управляется HBase, время ожидания сеанса будет задано этим параметром. Но Region Server, который подключается к ensemble, управляемому другой конфигурацией, будет использовать maxSessionTimeout этого ensemble. Таким образом, даже если HBase-кофигурация использует 90 секунд, максимальный тайм-аут ensemble может быть меньшее, и он будет иметь приоритет. Текущее значение по умолчанию maxSessionTimeout в ZooKeeper составляет 40 секунд, что меньше, чем в HBase

90000

zookeeper.znode.parent

Корневой znode для HBase в ZooKeeper. Все файлы HBase ZooKeeper, которые используют относительные пути, будут попадать в этот узел. По умолчанию все пути к файлам HBase ZooKeeper используют относительные пути, поэтому все файлы будут попадать в данный каталог, если не будут изменены

/hbase

hbase.rest.port

Порт, используемый HBase Rest Server

60080

hbase.zookeeper.property.authProvider.1

Указывает класс провайдера аутентификации для ZooKeeper

 — 

hbase.security.authentication

Установите значение true, чтобы использовать строгую аутентификацию (strong authentication) для HBase RPC

false

hbase.security.authorization

Установите значение true, чтобы использовать строгую авторизацию (strong authorization) для HBase RPC

false

hbase.master.kerberos.principal

Принципал Kerberos, используемый для запуска процесса HMaster

 — 

hbase.master.keytab.file

Абсолютный путь к Kerberos keytab-файлу, который используется для входа в систему принципала HMaster server

 — 

hbase.regionserver.kerberos.principal

Принципал Kerberos, который используется для запуска процесса HRegionServer

 — 

hbase.regionserver.keytab.file

Абсолютный путь к Kerberos keytab-файлу, который используется для входа в систему принципала HRegionServer

 — 

hbase.rest.authentication.type

Тип аутентификации Kerberos для REST Gateway

 — 

hbase.rest.authentication.kerberos.principal

Принципал Kerberos для REST Gateway

 — 

hbase.rest.support.proxyuser

Позволяет использовать REST-сервер с поддержкой режима прокси-пользователей

false

hbase.rest.authentication.kerberos.keytab

Kerberos keytab-файл для REST gateway

 — 

hbase.thrift.keytab.file

Kerberos keytab-файл для Thrift

 — 

hbase.rest.keytab.file

Kerberos keytab-файл для HBase REST gateway

 — 

hbase.rest.kerberos.principal

HBase REST gateway Kerberos principal

 — 

hbase.thrift.kerberos.principal

Thrift Kerberos principal

 — 

hbase.thrift.security.qop

 — 

phoenix.queryserver.keytab.file

Путь к Kerberos keytab-файлу

 — 

phoenix.queryserver.kerberos.principal

Принципал Kerberos для использования при аутентификации. Если phoenix.queryserver.kerberos.http.principal не задан, указанный принципал также будет использоваться как для аутентификации соединений SPNEGO, так и для подключения к HBase

 — 

phoenix.queryserver.kerberos.keytab

Полный путь к Kerberos keytab-файлу, который будет использоваться для входа в систему принципала HMaster server

 — 

phoenix.queryserver.http.keytab.file

Keytab-файл, используемый для аутентификации соединений SPNEGO. Этот параметр должен быть указан, если задан phoenix.queryserver.kerberos.http.principal. phoenix.queryserver.keytab.file будет использоваться, если данный параметр не указан

 — 

phoenix.queryserver.http.kerberos.principal

Принципал Kerberos для использования при аутентификации подключений SPNEGO. phoenix.queryserver.kerberos.principal будет использоваться, если этот параметр не задан

 — 

phoenix.queryserver.kerberos.http.principal

Параметр устарел. Используйте phoenix.queryserver.http.kerberos.principal

 — 

hbase.security.authentication.ui

Включает Kerberos-аутентификацию для веб-интерфейса HBase, используя SPNEGO

 — 

hbase.security.authentication.spnego.kerberos.principal

Принципал Kerberos для SPNEGO-аутентификации

 — 

hbase.security.authentication.spnego.kerberos.keytab

Путь к Kerberos keytab-файлу с принципалами для SPNEGO-аутентификации

 — 

hbase.ssl.enabled

Определяет, включен ли SSL для веб-интерфейсов

false

hadoop.ssl.enabled

Определяет, включен ли SSL для Hadoop RPC

false

ssl.server.keystore.location

Путь к используемому keystore-файлу

 — 

ssl.server.keystore.password

Пароль для доступа к keystore-файлу

 — 

ssl.server.truststore.location

Путь к используемому truststore-файлу

 — 

ssl.server.truststore.password

Пароль для доступа к truststore-файлу

 — 

ssl.server.keystore.keypassword

Пароль для доступа к ключу в keystore-файле

 — 

hbase.rest.ssl.enabled

Определяет, включен ли SSL для HBase REST server

false

hbase.rest.ssl.keystore.store

Путь к используемому keystore-файлу

 — 

hbase.rest.ssl.keystore.password

Пароль для доступа к keystore-файлу

 — 

hbase.rest.ssl.keystore.keypassword

Пароль для доступа к ключу в keystore-файле

 — 

hadoop.security.credential.provider.path

Путь к провайдеру учетных данных (jceks), содержащему пароли ко всем сервисам

 — 

Encryption enable

Определяет, включено ли шифрование учетных данных

false

Credential provider path

Путь к провайдеру учетных данных для создания файлов .jceks, содержащих закрытые ключи

jceks://file/etc/hbase/conf/hbase.jceks

Ranger plugin credential provider path

Путь к провайдеру учетных данных плагина Ranger

jceks://file/etc/hbase/conf/ranger-hbase.jceks

Custom jceks

Определяет, используются ли кастомные файлы .jceks, расположенные по пути провайдера учетных данных (true), или автосгенерированные (false)

false

Password file name

Имя файла паролей в classpath сервиса, если использование файла паролей выбрано в опциях credstore

hbase_credstore_pass

Sources

Список источников, которые должны быть добавлены в hbase-env.sh

 — 

HBASE_MASTER_OPTS

Дополнительные параметры для HBASE_MASTER_OPTS

-Xms700m -Xmx9G

PHOENIX_QUERYSERVER_OPTS

Дополнительные параметры для PHOENIX_QUERYSERVER_OPTS

-Xms700m -Xmx8G

HBASE_THRIFT_OPTS

Дополнительные параметры для HBASE_THRIFT_OPTS

-Xms700m -Xmx8G

HBASE_REST_OPTS

Дополнительные параметры для HBASE_REST_OPTS

-Xms200m -Xmx8G

HBASE_OPTS

Дополнительные параметры для HBASE_OPTS

-XX:+UseConcMarkSweepGC

HBASE_CLASSPATH

/usr/lib/phoenix/phoenix-server-hbase.jar

Final HBASE_OPTS

Итоговое значение параметра HBASE_OPTS в файле hbase-env.sh

 — 

Sources

Список источников, которые должны быть добавлены в hbase-regionserver-env.sh

 — 

HBASE_REGIONSERVER_OPTS

Начальный (-Xms) и максимальный (-Xmx) размер Java heap для HBase Region server

-Xms700m -Xmx9G

Final HBASE_REGIONSERVER_OPTS

Итоговое значение параметра HBASE_REGIONSERVER_OPTS в файле hbase-regionserver-env.sh

 — 

xasecure.audit.destination.solr.batch.filespool.dir

Путь к Spool-каталогу

/srv/ranger/hdfs_plugin/audit_solr_spool

xasecure.audit.destination.solr.urls

URL сервера Solr для сохранения аудит-событий. Оставьте значение пустым или установите значение NONE при использовании ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.zookeepers

Указывает строку подключения ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.force.use.inmemory.jaas.config

Использует in-memory JAAS-файл для соединения с Solr

 — 

xasecure.audit.is.enabled

Активирует аудит Ranger

true

xasecure.audit.jaas.Client.loginModuleControlFlag

Определяет требование к успешному завершению работы модуля. Значения могут быть required, requisite, sufficient или optional

 — 

xasecure.audit.jaas.Client.loginModuleName

Имя класса-аутентификатора

 — 

xasecure.audit.jaas.Client.option.keyTab

Имя keytab-файла, из которого необходимо получить секретный ключ принципала

 — 

xasecure.audit.jaas.Client.option.principal

Имя используемого принципала

 — 

xasecure.audit.jaas.Client.option.serviceName

Имя пользователя или сервиса, для которого выполнятся логин

 — 

xasecure.audit.jaas.Client.option.storeKey

Установите значение true, чтобы keytab-файл или ключ принципала сохранялись в учетных данных субъекта

false

xasecure.audit.jaas.Client.option.useKeyTab

Установите значение true, чтобы модуль получал ключ принципала из keytab-файла

false

ranger.plugin.hbase.policy.rest.url

 — 

ranger.plugin.hbase.service.name

 — 

ranger.plugin.hbase.policy.cache.dir

/srv/ranger/hbase/policycache

ranger.plugin.hbase.policy.pollIntervalMs

30000

ranger.plugin.hbase.policy.rest.client.connection.timeoutMs

Время ожидания подключения HBase-плагина RangerRestClient (в миллисекундах)

120000

ranger.plugin.hbase.policy.rest.client.read.timeoutMs

Тайм-аут на чтение для HBase-плагина RangerRestClient (в миллисекундах)

30000

ranger.plugin.hbase.policy.rest.ssl.config.file

Путь к конфигурационному файлу RangerRestClient SSL плагина HBase

/etc/hbase/conf/ranger-hbase-policymgr-ssl.xml

xasecure.policymgr.clientssl.keystore

Путь к keystore-файлу, который использует Ranger

 — 

xasecure.policymgr.clientssl.keystore.credential.file

Путь к файлу с паролями для keystore-файла

/etc/hbase/conf/ranger-hbase.jceks

xasecure.policymgr.clientssl.truststore.credential.file

Путь к truststore-файлу с учетными данными

/etc/hbase/conf/ranger-hbase.jceks

xasecure.policymgr.clientssl.truststore

Путь к truststore-файлу, который использует Ranger

 — 

xasecure.policymgr.clientssl.keystore.password

Пароль для доступа к keystore-файлу

 — 

xasecure.policymgr.clientssl.truststore.password

Пароль для доступа к truststore-файлу

 — 

Custom hbase-site.xml

 — 

Custom hbase-env.sh

 — 

Custom hbase-regionserver-env.sh

 — 

Ranger plugin enabled

false

Custom ranger-hbase-audit.xml

 — 

Custom ranger-hbase-security.xml

 — 

Custom ranger-hbase-policymgr-ssl.xml

 — 

Custom log4j.properties

Custom hadoop-metrics2-hbase.properties

Encryption enable

Включает или выключает функцию шифрования учетных данных. Если опция включена, HDFS хранит учетные данные (пароли настроек, учетные данные для взаимодействия с другими сервисами) в зашифрованном виде

false

Credential provider path

Путь к хранилищу ключей JCEKS

jceks://file/etc/hadoop/conf/hadoop.jceks

Ranger plugin credential provider path

Путь к хранилищу ключей JCEKS, используемому Ranger

jceks://file/etc/hadoop/conf/ranger-hdfs.jceks

Custom jceks

Укажите значение true при использовании кастомного файла JCEKS-хранилища. Укажите значение false для использования дефолтного файла хранилища, который генерируется автоматически

false

Password file name

Имя файла в classpath сервиса, в котором хранятся пароли

hadoop_credstore_pass

hadoop.http.cross-origin.enabled

Обеспечивает поддержку кросс-источников для всех веб-сервисов

true

hadoop.http.cross-origin.allowed-origins

Список разрешенных источников, разделенных запятыми. Значения с префиксом regex интерпретируются как регулярные выражения. Значения, содержащие подстановочные знаки (*), также возможны, в этом случае генерируется регулярное выражение, использование не рекомендуется, и поддержка доступна только для обратной совместимости

*

hadoop.http.cross-origin.allowed-headers

Список разрешенных HTTP-заголовков, разделенных запятыми

X-Requested-With,Content-Type,Accept,Origin,WWW-Authenticate,Accept-Encoding,Transfer-Encoding

hadoop.http.cross-origin.allowed-methods

Список разрешенных методов, разделенных запятыми

GET,PUT,POST,OPTIONS,HEAD,DELETE

hadoop.http.cross-origin.max-age

Количество секунд, в течение которых может кешироваться предварительный запрос

1800

core_site.enable_cors.active

Включение CORS (Cross-Origin Resource Sharing)

true

dfs.client.block.write.replace-datanode-on-failure.enable

Если в процессе записи возникает сбой DataNode или ошибка сети, DFSClient попытается удалить отказавший DataNode из пайплайна, а затем продолжит запись с оставшимися DataNodes. Это приводит к уменьшению DataNodes в пайплайне. Решением является добавление новых DataNode в пайплайн. Данный параметр включает/отключает функцию добавления DataNode на глобальном уровне. Если кластер очень маленький, например, 3 узла или меньше, администраторы такого кластера могут установить политику NEVER в файле конфигурации по умолчанию или отключить эту функцию. В противном случае пользователи могут столкнуться с необычно высоким уровнем отказов пайплайна, из-за невозможности добавления новых узлов данных для замены отказавших. Чтобы получить больше информации, смотрите параметр dfs.client.block.write.replace-datanode-on-failure.policy

true

dfs.client.block.write.replace-datanode-on-failure.policy

DEFAULT

dfs.client.block.write.replace-datanode-on-failure.best-effort

Используется, только если значение dfs.client.block.write.replace-datanode-on-failure.enable равно true. Клиент попытается заменить отказавший DataNode в пайплайне записи (при условии, что политика позволяет это сделать), однако продолжит операцию записи в случае, если замена DataNode также не удалась. Рассмотрим случай, когда замена DataNode не была выполнена. В таком случае значение false приводит к исключению и запись прерывается; значение true означает, что запись должна быть возобновлена с оставшимися DataNodes. Обратите внимание, что установка для этого свойства значения true позволяет выполнять запись в пайплайн с меньшим количеством DataNodes. В результате увеличивается вероятность потери данных

false

dfs.client.block.write.replace-datanode-on-failure.min-replication

Минимальное количество репликаций, необходимых для предотвращения сбоя пайплайна записи в случае, если новые DataNodes не могут быть найдены для замены отказавших DataNodes (например, из-за сбоя сети). Если количество оставшихся DataNodes больше или равно значению этого параметра, запись продолжается в оставшиеся узлы. В противном случае будет брошено исключение. Если используется значение 0, будет брошено исключение в момент, когда замена не может быть найдена. Чтобы получить больше информации, смотрите параметр dfs.client.block.write.replace-datanode-on-failure.policy

0

dfs.balancer.dispatcherThreads

Размер пула потоков для механизма перемещения блоков балансировщика (balancer block mover) HDFS — dispatchExecutor

200

dfs.balancer.movedWinWidth

Временной интервал для отслеживания балансировщиком блоков и их местоположений (в миллисекундах)

5400000

dfs.balancer.moverThreads

Размер пула потоков для выполнения перемещений блоков — moverThreadAllocator

1000

dfs.balancer.max-size-to-move

Максимальное количество байт, которое балансировщик может переместить в одном потоке

10737418240

dfs.balancer.getBlocks.min-block-size

Минимальный размер блока (в байтах), который следует игнорировать при получении списка блоков

10485760

dfs.balancer.getBlocks.size

Общий размер блоков DataNode (в байтах), которые необходимо получить при получении исходного списка блоков

2147483648

dfs.balancer.block-move.timeout

Максимальное время перемещения блока (в миллисекундах). Если установлено значение больше 0, балансировщик прекращает ожидание завершения перемещения блока по истечении этого времени. В типичных кластерах оптимальным считается тайм-аут в 3-5 минут. Если предполагается большой объем перемещений блоков, тайм-аут необходимо увеличить. Возможны сценарии, при которых слишком много работы распределяется, и в результате многие узлы постоянно превышают ограничение по пропускной способности. В этом случае может потребоваться настройка других параметров балансировщика. По умолчанию тайм-аут отключен (0)

0

dfs.balancer.max-no-move-interval

Если время, указанное данным параметром, истекло, а блоки не были перемещены из исходного DataNode, выполнится еще одна попытка перемещения блоков из этого DataNode в текущей итерации балансировщика

60000

dfs.balancer.max-iteration-time

Максимальное количество времени для выполнения итерации балансировщика. По истечении этого времени балансировщик останавливает итерацию и анализирует действия, которые необходимо выполнить для балансировки кластера. Значение по умолчанию — 20 минут

1200000

dfs.blocksize

Размер блока по умолчанию для новых файлов (в байтах). Вы можете использовать следующие постфиксы для указания единиц размера (регистро-независимые): k (кило), m (мега), g (гига), t (тера), p (пета), e (eкзa). Например, 128k, 512m, 1g и так далее. Также вы можете указать размер в байтах, например, 134217728 для 128 МБ

134217728

dfs.client.read.shortcircuit

Активирует функцию локального чтения

true

dfs.datanode.balance.max.concurrent.moves

Максимальное количество потоков для балансировщика DataNode, ожидающих перемещения. Это значение можно изменить с помощью команды dfsadmin -reconfig

50

dfs.datanode.data.dir

Определяет, где в локальной файловой системе DFS DataNode должен хранить свои блоки. Если указаны несколько каталогов, то данные будут храниться во всех именованных каталогах, как правило, на разных устройствах. Каталоги должны быть помечены соответствующими типами хранения (SSD/DISK/ARCHIVE/RAM_DISK) для политик хранения HDFS. Типом хранилища по умолчанию служит DISK, если каталог не имеет явного тега типа хранилища. Несуществующие каталоги будут созданы, если имеются соответствующие права локальной файловой системы

/srv/hadoop-hdfs/data:DISK

dfs.disk.balancer.max.disk.throughputInMBperSec

Максимальная пропускная способность диска, с которой может работать балансировщик дисков при чтении с исходного диска. Единица измерения — МБ/с

10

dfs.disk.balancer.block.tolerance.percent

Параметр указывает, когда достигается достаточное значение для любого шага копирования (в процентах). Например, если установлено значение 10, то приближение к 10% от целевого значения считается достаточным размером. Другими словами, если размер операции перемещения составляет 20 ГБ и удается переместить 18 ГБ (20 * (1-10%)), операция перемещения считается успешной

10

dfs.disk.balancer.max.disk.errors

Во время перемещения блока с исходного на целевой диск могут возникать различные ошибки. Этот параметр определяет количество допустимых ошибок прежде чем считать перемещение между двумя дисками неудачным

5

dfs.disk.balancer.plan.valid.interval

Максимальное время, в течение которого план балансировщика дисков (набор настроек, описывающий объем данных для перемещения между двумя дисками) остается валиден. Этот параметр поддерживает различные единицы времени, как описано в dfs.heartbeat.interval. Если единица времени не указана, используются миллисекунды

1d

dfs.disk.balancer.plan.threshold.percent

Определяет порог хранения данных в процентах, при достижении которого диски принимают участие в перераспределении данных и балансировке

10

dfs.domain.socket.path

Путь к сокету домена UNIX, который будет использоваться для коммуникации между DataNode и локальными клиентами HDFS. Если в этом пути присутствует строка _PORT, она будет заменена TCP-портом DataNode. Параметр опциональный

/var/lib/hadoop-hdfs/dn_socket

dfs.hosts

Имя файла, который содержит список хостов, которым разрешено подключаться к NameNode. Путь к файлу должен быть абсолютным. Если значение пустое, разрешены все хосты

/etc/hadoop/conf/dfs.hosts

dfs.mover.movedWinWidth

Минимальный интервал времени для повторного перемещения блока в другую локацию (в миллисекундах)

5400000

dfs.mover.moverThreads

Устанавливает размер пула потоков балансировщика

1000

dfs.mover.retry.max.attempts

Максимальное количество повторных попыток, прежде чем mover посчитает перемещение неудачным

10

dfs.mover.max-no-move-interval

Указывает временной отрезок. Если время истекло, и ни один блок не был перемещен из исходного DataNode, будет предпринята еще одна попытка переместить блоки из этого DataNode в текущей итерации перемещения

60000

dfs.namenode.name.dir

Определяет, где в локальной файловой системе DFS NameNode должен хранить таблицу имен (fsimage). Если указаны несколько каталогов, то таблица имен реплицируется во все каталоги для избыточности

/srv/hadoop-hdfs/name

dfs.namenode.checkpoint.dir

Определяет, где в локальной файловой системе Secondary DFS NameNode должен хранить временные образы для слияния. Если указаны несколько каталогов, то образ реплицируется во все каталоги для избыточности

/srv/hadoop-hdfs/checkpoint

dfs.namenode.hosts.provider.classname

Имя класса, предоставляющего доступ к хост-файлам. По умолчанию используется org.apache.hadoop.hdfs.server.blockmanagement.HostFileManager, который загружает файлы, указанные в dfs.hosts и dfs.hosts.exclude. Если используется org.apache.hadoop.hdfs.server.blockmanagement.CombinedHostFileManager, этот класс загружает файл JSON, определенный в dfs.hosts. Чтобы изменить имя класса, требуется перезапуск NameNode. Команда dfsadmin -refreshNodes обновляет только файлы конфигурации, используемые классом

org.apache.hadoop.hdfs.server.blockmanagement.CombinedHostFileManager

dfs.namenode.rpc-bind-host

Фактический адрес, к которому будет привязан сервер RPC. Если этот необязательный адрес установлен, он переопределяет только часть имени хоста dfs.namenode.rpc-address. Его также можно указать для NameNode или службы имен для режимов высокой доступности или федерации. При установке значения 0.0.0.0 NameNode слушает все интерфейсы

0.0.0.0

dfs.permissions.superusergroup

Имя группы суперпользователей. В значении должно быть указано имя одной группы

hadoop

dfs.replication

Репликация блока по умолчанию. Фактическое количество репликаций можно указать при создании файла. Используется значение по умолчанию, если репликация не указана во время создания файла

3

dfs.journalnode.http-address

HTTP-адрес веб-интерфейса JournalNode

0.0.0.0:8480

dfs.journalnode.https-address

HTTPS-адрес веб-интерфейса JournalNode

0.0.0.0:8481

dfs.journalnode.rpc-address

RPC-адрес веб-интерфейса JournalNode

0.0.0.0:8485

dfs.datanode.http.address

Адрес HTTP-сервера DataNode

0.0.0.0:9864

dfs.datanode.https.address

Адрес HTTPS-сервера DataNode

0.0.0.0:9865

dfs.datanode.address

Адрес DataNode для передачи данных

0.0.0.0:9866

dfs.datanode.ipc.address

IPC-адоес DataNode

0.0.0.0:9867

dfs.namenode.http-address

Адрес веб-интерфейса dfs NameNode

0.0.0.0:9870

dfs.namenode.https-address

HTTPS-адрес NameNode

0.0.0.0:9871

dfs.ha.automatic-failover.enabled

Определяет, включен ли механизм автоматической обработки отказа

true

dfs.ha.fencing.methods

Список скриптов или Java-классов, которые будут использоваться для восстановления Active NameNode во время обработки отказа

shell(/bin/true)

dfs.journalnode.edits.dir

Каталог, в котором хранятся edit-файлы журнала

/srv/hadoop-hdfs/journalnode

dfs.namenode.shared.edits.dir

Каталог в хранилище, которое расшарено между несколькими NameNode в кластере, работающем в режиме высокой доступности. В этот каталог данные будут записываться активными узлами и считываться резервными, чтобы поддерживать синхронизацию пространств имен. Этот каталог не нужно указывать в dfs.namenode.edits.dir. В кластере без высокой доступности данный параметр следует оставить пустым

---

dfs.internal.nameservices

Уникальный идентификатор служб имен для кластера или федераций. Для одиночного кластера — укажите имя, которое будет использоваться как алиас. Для федерации HDFS — укажите через запятую все пространства имен (namespace), связанные с этим кластером. Этот параметр позволяет использовать алиас вместо IP-адреса или FQDN для некоторых команд, например: hdfs dfs -ls hdfs://<dfs.internal.nameservices>. Может содержать только латинские буквы и цифры

 — 

dfs.block.access.token.enable

Если установлено значение true, токены доступа используются для доступа к узлам данных. Если установлено значение false, токены доступа не проверяются при доступе к узлам данных

false

dfs.namenode.kerberos.principal

Имя принципала NameNode-сервиса. Обычно используется значение nn/_HOST@REALM.TLD. Каждый NameNode заменяет _HOST своим собственным полным именем хоста во время запуска. Токен _HOST позволяет использовать один и тот же параметр конфигурации на обоих NameNodes в режиме высокой доступности

nn/_HOST@REALM

dfs.namenode.keytab.file

Файл keytab, используемый каждым демоном NameNode для входа в качестве принципала. Имя принципала настраивается с помощью dfs.namenode.kerberos.principal

/etc/security/keytabs/nn.service.keytab

dfs.namenode.kerberos.internal.spnego.principal

Имя принципала HTTP Kerberos для NameNode

HTTP/_HOST@REALM

dfs.web.authentication.kerberos.principal

Имя принципала Kerberos для WebHDFS

HTTP/_HOST@REALM

dfs.web.authentication.kerberos.keytab

Kerberos keytab-файл для WebHDFS

/etc/security/keytabs/HTTP.service.keytab

dfs.journalnode.kerberos.principal

Имя принципала JournalNode. Обычно используется значение jn/_HOST@REALM.TLD. Каждый JournalNode заменяет _HOST своим собственным полным именем хоста при запуске. Токен _HOST позволяет использовать один и тот же параметр конфигурации на всех JournalNodes

jn/_HOST@REALM

dfs.journalnode.keytab.file

Файл keytab, используемый каждым демоном JournalNode для входа в качестве сервисного принципала. Имя принципала задается с помощью dfs.journalnode.kerberos.principal

/etc/security/keytabs/jn.service.keytab

dfs.journalnode.kerberos.internal.spnego.principal

HTTP/_HOST@REALM

dfs.datanode.data.dir.perm

Разрешения для каталогов в локальной файловой системе, где DFS DataNode хранит свои блоки. Разрешения могут быть восьмеричными или символьными

700

dfs.datanode.kerberos.principal

Принципал DataNode. Обычно используется значение dn/_HOST@REALM.TLD. Каждый DataNode заменяет _HOST своим собственным полным именем хоста при запуске. Токен _HOST позволяет использовать один и тот же параметр конфигурации на всех DataNodes

dn/_HOST@REALM.TLD

dfs.datanode.keytab.file

Файл keytab, используемый каждым демоном DataNode для входа в качестве принципала. Имя принципала задается с помощью dfs.datanode.kerberos.principal

/etc/security/keytabs/dn.service.keytab

dfs.http.policy

Определяет, поддерживается ли HTTPS (SSL) в HDFS. Параметр определяет HTTP-endpoint для демонов HDFS. Поддерживаются следующие значения: HTTP_ONLY — доступен только протокол http; HTTPS_ONLY — доступен только https; HTTP_AND_HTTPS — доступны http и https

HTTP_ONLY

dfs.data.transfer.protection

 — 

dfs.encrypt.data.transfer

Определяет, должны ли фактические данные блока, которые считываются/записываются из/в HDFS, шифроваться в сети. Этот параметр нужно устанавливать только для NameNodes и DataNodes, клиенты сделают это автоматически. Можно переопределить этот параметр для каждого соединения, указав пользовательскую логику через dfs.trustedchannel.resolver.class

false

dfs.encrypt.data.transfer.algorithm

Это значение может быть установлено как 3des, так и rc4. Если значение не установлено, используется настроенный по умолчанию JCE в системе (обычно 3DES). Широко распространено мнение, что 3DES более безопасен, но RC4 значительно быстрее. Обратите внимание, что если AES поддерживается и клиентом, и сервером, то этот алгоритм шифрования будет использоваться только для первоначального обмена ключами AES

3des

dfs.encrypt.data.transfer.cipher.suites

Значение параметра может быть либо пустым, либо AES/CTR/NoPadding. Если значение задано, то dfs.encrypt.data.transfer использует указанный набор шифров для шифрования данных. Если не задано, используется только алгоритм, указанный в dfs.encrypt.data.transfer.algorithm

 — 

dfs.encrypt.data.transfer.cipher.key.bitlength

Длина ключа в битах, согласованная dfsclient и datanode для шифрования. Это значение может быть установлено на 128, 192 или 256

128

ignore.secure.ports.for.testing

Позволяет игнорировать HTTPS-требования в SASL-режиме

false

dfs.client.https.need-auth

Определяет, требуется ли аутентификация сертификата клиента SSL

false

httpfs.http.administrators

Cписок управления доступом для администраторов. Используется для управления доступом к сервлетам по умолчанию для сервера HttpFS. Значение должно содержать список пользователей и групп, разделенных запятыми. Список пользователей идет первым и отделяется пробелом, за которым следует список групп, например: user1,user2 group1,group2. Указание пользователей и групп являются опциональным, поэтому вы можете определить как пользователей, так и группы, или и то, и другое. Обратите внимание, что во всех этих случаях вы всегда должны использовать начальный пробел в списке групп. Использование символа * предоставляет доступ всем пользователям и группам

*

hadoop.http.temp.dir

Каталог HttpFS для временных файлов

${hadoop.tmp.dir}/httpfs

httpfs.ssl.enabled

Определяет, включен ли SSL. По умолчанию установлено значение false, то есть SSL отключен

false

httpfs.hadoop.config.dir

Расположение каталога конфигурации Hadoop

/etc/hadoop/conf

httpfs.hadoop.authentication.type

Определяет механизм аутентификации, используемый httpfs для HTTP-клиентов. Допустимые значения: simple и kerberos. Если используется simple, клиенты должны указать имя пользователя с параметром строки запроса user.name. Если используется kerberos, клиенты должны использовать HTTP SPNEGO или токены делегирования

simple

httpfs.hadoop.authentication.kerberos.keytab

Kerberos keytab-файл с учетными данными для принципала HTTP Kerberos, используемого httpfs в HTTP-endpoint. Параметр httpfs.authentication.kerberos.keytab устарел. Вместо этого используйте hadoop.http.authentication.kerberos.keytab

/etc/security/keytabs/httpfs.service.keytab

httpfs.hadoop.authentication.kerberos.principal

Принципал HTTP Kerberos, используемый HttpFS в HTTP-endpoint. Имя принципала HTTP Kerberos должно начинаться с HTTP/ в соответствии со спецификацией Kerberos HTTP SPNEGO. Параметр httpfs.authentication.kerberos.principal устарел. Вместо этого используйте hadoop.http.authentication.kerberos.principal

HTTP/${httpfs.hostname}@${kerberos.realm}

xasecure.audit.destination.solr.batch.filespool.dir

Путь к Spool-каталогу

/srv/ranger/hdfs_plugin/audit_solr_spool

xasecure.audit.destination.solr.urls

URL сервера Solr для сохранения аудит-событий. Оставьте значение пустым или установите значение NONE при использовании ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.zookeepers

Указывает строку подключения ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.force.use.inmemory.jaas.config

Использует in-memory JAAS-файл для соединения с Solr

 — 

xasecure.audit.is.enabled

Активирует аудит Ranger

true

xasecure.audit.jaas.Client.loginModuleControlFlag

Определяет требование к успешному завершению работы модуля. Значения могут быть required, requisite, sufficient или optional

 — 

xasecure.audit.jaas.Client.loginModuleName

Имя класса-аутентификатора

 — 

xasecure.audit.jaas.Client.option.keyTab

Имя keytab-файла, из которого необходимо получить секретный ключ принципала

 — 

xasecure.audit.jaas.Client.option.principal

Имя используемого принципала

 — 

xasecure.audit.jaas.Client.option.serviceName

Имя пользователя или сервиса, для которого выполнятся логин

 — 

xasecure.audit.jaas.Client.option.storeKey

Установите значение true, чтобы keytab-файл или ключ принципала сохранялись в учетных данных субъекта

false

xasecure.audit.jaas.Client.option.useKeyTab

Установите значение true, чтобы модуль получал ключ принципала из keytab-файла

false

ranger.plugin.hdfs.policy.rest.url

 — 

ranger.plugin.hdfs.service.name

 — 

ranger.plugin.hdfs.policy.cache.dir

/srv/ranger/hdfs/policycache

ranger.plugin.hdfs.policy.pollIntervalMs

30000

ranger.plugin.hdfs.policy.rest.client.connection.timeoutMs

Время ожидания подключения HDFS-плагина RangerRestClient (в миллисекундах)

120000

ranger.plugin.hdfs.policy.rest.client.read.timeoutMs

Тайм-аут на чтение для HDFS-плагина RangerRestClient (в миллисекундах)

30000

ranger.plugin.hdfs.policy.rest.ssl.config.file

Путь к конфигурационному файлу RangerRestClient для HDFS-плагина

/etc/hadoop/conf/ranger-hdfs-policymgr-ssl.xml

Sources

Список источников, которые должны быть добавлены в httpfs-env.sh

 — 

HADOOP_CONF_DIR

Каталог конфигурации Hadoop

/etc/hadoop/conf

HADOOP_LOG_DIR

Расположение каталога с логами

${HTTPFS_LOG}

HADOOP_PID_DIR

Каталог с PID-файлами Hadoop

${HTTPFS_TEMP}

HTTPFS_SSL_ENABLED

Определяет, включен ли SSL для httpfs

false

HTTPFS_SSL_KEYSTORE_FILE

Путь к keystore-файлу

admin

HTTPFS_SSL_KEYSTORE_PASS

Пароль для доступа к keystore-файлу

admin

Final HTTPFS_ENV_OPTS

Итоговое значение параметра HTTPFS_ENV_OPTS в httpfs-env.sh

 — 

Sources

Список источников, которые должны быть добавлены в hadoop-env.sh

 — 

HDFS_NAMENODE_OPTS

NameNode Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для NameNode

-Xms1G -Xmx8G

HDFS_DATANODE_OPTS

DataNode Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для DataNode

-Xms700m -Xmx8G

HDFS_HTTPFS_OPTS

HttpFS Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для httpfs

-Xms700m -Xmx8G

HDFS_JOURNALNODE_OPTS

JournalNode Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для JournalNode

-Xms700m -Xmx8G

HDFS_ZKFC_OPTS

ZKFC Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для ZKFC

-Xms500m -Xmx8G

Final HADOOP_ENV_OPTS

Итоговое значение параметра HADOOP_ENV_OPTS в hadoop-env.sh

 — 

ssl.server.truststore.location

Truststore-файл, используемый NameNodes и DataNodes

 — 

ssl.server.truststore.password

Пароль к truststore-файлу

 — 

ssl.server.truststore.type

Формат truststore-файла

jks

ssl.server.truststore.reload.interval

Интервал между проверками на обновление truststore-файла (в миллисекундах)

10000

ssl.server.keystore.location

Путь к keystore-файлу, используемому NameNodes и DataNodes

 — 

ssl.server.keystore.password

Пароль к keystore-файлу

 — 

ssl.server.keystore.keypassword

Пароль к ключу в keystore-файле

 — 

ssl.server.keystore.type

Формат keystore-файла

 — 

DECOMMISSIONED

Когда администратор выводит DataNode из эксплуатации, DataNode сначала переходит в состояние DECOMMISSION_INPROGRESS. После того, как все блоки, принадлежащие этому DataNode, полностью реплицированы на другие хосты с учетом коэффициента репликации каждого блока, DataNode переходит в состояние DECOMMISSIONED. После этого администратор может отключить узел для выполнения долгосрочного ремонта и обслуживания, которое может занять несколько дней или недель. После обслуживания машина может быть снова введена в эксплуатацию в кластере

 — 

IN_MAINTENANCE

Иногда администраторам нужно отключить DataNodes всего на несколько минут/часов для выполнения краткосрочного ремонта или обслуживания. В таких сценариях накладные расходы на репликацию блоков HDFS, связанные с выводом из эксплуатации, могут не понадобиться, и желателен облегченный процесс. Для этого используется состояние обслуживания (IN_MAINTENANCE). Когда администратор переводит DataNode в состояние обслуживания, DataNode сначала переходит в состояние ENTERING_MAINTENANCE. После того, как все блоки, принадлежащие этому DataNode, минимально реплицируются на других хостах, DataNode будет немедленно переведен в состояние IN_MAINTENANCE. После завершения обслуживания администратор может вывести DataNode из состояния обслуживания. Кроме того, состояние обслуживания поддерживает тайм-аут, который позволяет администраторам настраивать максимальную продолжительность, в течение которой DataNode может оставаться в состоянии обслуживания. По истечении тайм-аута DataNode будет автоматически переведен из состояния обслуживания HDFS без вмешательства человека

 — 

Additional nameservices

 — 

Custom core-site.xml

 — 

Custom hdfs-site.xml

 — 

Custom httpfs-site.xml

 — 

Ranger plugin enabled

 — 

Custom ranger-hdfs-audit.xml

 — 

Custom ranger-hdfs-security.xml

 — 

Custom ranger-hdfs-policymgr-ssl.xml

 — 

Custom httpfs-env.sh

 — 

Custom hadoop-env.sh

 — 

Custom ssl-server.xml

 — 

Custom ssl-client.xml

 — 

Topology script

Скрипт топологии, используемый в HDFS

 — 

Topology data

Опциональный параметр. Текстовый файл, используемый для сопоставления имен хостов и количества стоек (rack) для скрипта топологии. Сохраняется в /etc/hadoop/conf/topology.data

 — 

Custom log4j.properties

Custom httpfs-log4j.properties

Sources

Список источников, которые должны быть добавлены в hive-env.sh

 — 

HADOOP_CLASSPATH

HIVE_HOME

Домашний каталог Hive

/usr/lib/hive

METASTORE_PORT

Порт Hive Metastore

9083

HADOOP_CLIENT_OPTS

Клиентские параметры Hadoop. Например, параметры запуска JVM

$HADOOP_CLIENT_OPTS -Djava.io.tmpdir={{ cluster.config.java_tmpdir | d('/tmp') }}

Sources

Список источников, которые должны быть добавлены в hive-server2-env.sh

 — 

HADOOP_CLIENT_OPTS

Параметры клиента для HiveServer2

-Xms256m -Xmx256m

HIVE_AUX_JARS_PATH

 — 

Final HIVE_SERVER2_ENV_OPTS

Итоговое значение параметра HIVE_SERVER2_ENV_OPTS в hive-server2-env.sh

 — 

Sources

Список источников, которые должны быть добавлены в hive-metastore-env.sh

 — 

HADOOP_CLIENT_OPTS

Параметры клиента для Hive Metastore

-Xms256m -Xmx256m

Final HIVE_METASTORE_ENV_OPTS

Итоговое значение параметра HIVE_METASTORE_ENV_OPTS в hive-metastore-env.sh

 — 

Encryption enable

Включает или выключает функцию шифрования учетных данных. Если опция включена, Hive хранит учетные данные (пароли настроек, учетные данные для взаимодействия с другими сервисами) в зашифрованном виде

false

Credential provider path

Путь к хранилищу ключей JCEKS

jceks://file/etc/hive/conf/hive.jceks

Ranger plugin credential provider path

Путь к хранилищу ключей JCEKS, используемому Ranger

jceks://file/etc/hive/conf/ranger-hive.jceks

Custom jceks

Укажите значение true при использовании кастомного файла JCEKS-хранилища. Укажите значение false для использования дефолтного файла хранилища, который генерируется автоматически

false

Password file name

Имя файла в classpath сервиса, в котором хранятся пароли

hive_credstore_pass

hive.cbo.enable

Если установлено значение true, включает оптимизатор (cost-based optimizer), использующий фреймворк Calcite

true

hive.compute.query.using.stats

Если установлено значение true, Hive будет отвечать на несколько запросов, таких как min, max и count (1), используя статистику, хранящуюся в Metastore. Для сбора базовой статистики установите hive.stats.autogather=true. Для более расширенного сбора статистики выполните запросы ANALYZE TABLE

false

hive.execution.engine

Задает тип используемого движка. Допустимые значения: mr (MapReduce, значение по умолчанию), tez (движок Tez, только для Hadoop 2) или spark (движок Spark, для Hive 1.1.0 и более поздних версий)

Tez

hive.log.explain.output

Когда этот параметр задан, выходные данные команды EXPLAIN EXTENDED добавляются в log4j-лог с уровнем INFO, а также отображаются в веб-интерфейсе HiveServer2 (Drilldown → Query Plan). Начиная с Hive 3.1.0, этот параметр логируется только как log4j INFO. Чтобы сделать вывод команды EXPLAIN EXTENDED доступным в веб-интерфейсе в Hive 3.1.0 и более поздних версиях, используйте hive.server2.webui.explain.output

true

hive.metastore.event.db.notification.api.auth

Определяет, должен ли Metastore выполнять авторизацию с использованием database notification API, таких как get_next_notification. Если установлено значение true, то только суперпользователи в настройках прокси имеют разрешение

false

hive.metastore.uris

URI, используемый для доступа к метаданным в удаленном Metastore. Для удаленного хранилища метаданных необходимо указать URI сервера хранилища метаданных Thrift: thrift://<hostname>:<port>, где <hostname> — имя или IP-адрес сервера хранилища метаданных Thrift, <port> — порт, который слушает сервер Thrift

 — 

hive.metastore.warehouse.dir

Абсолютный путь к файлу HDFS базы данных по умолчанию для хранилища, который является локальным для кластера

/apps/hive/warehouse

hive.server2.enable.doAs

Активирует соединение от имени другого пользователя (Impersonation)

false

hive.stats.fetch.column.stats

Для аннотации дерева операторов со статистической информацией нужна статистика по столбцам. Статистика столбцов извлекается из хранилища метаданных. Извлечение статистики для каждого столбца может быть дорогостоящей операцией при большом количестве столбцов. Этот параметр можно использовать для отключения получения статистики столбцов из хранилища метаданных

false

hive.tez.container.size

По умолчанию Tez будет создавать контейнеры такого размера, как и Mapper. Этот параметр можно использовать для перезаписи значения по умолчанию

1024

hive.support.concurrency

Определяет, должен ли Hive поддерживать параллелизм. Экземпляр ZooKeeper должен быть запущен, чтобы Hive Lock Manager по умолчанию поддерживал блокировки чтения/записи

false

hive.txn.manager

Установите значение для этого параметра org.apache.hadoop.hive.ql.lockmgr.DbTxnManager, что является одним из шагов включения транзакций Hive. DummyTxnManage по умолчанию имеет поведение версий Hive до 0.13 и не предоставляет транзакций

org.apache.hadoop.hive.ql.lockmgr.DummyTxnManager

hive.users.in.admin.role

Список пользователей, которым будет присвоена роль администратора при старте Metastore

 — 

javax.jdo.option.ConnectionUserName

Имя пользователя базы данных metastore

APP

javax.jdo.option.ConnectionPassword

Пароль пользователя metastore

 — 

javax.jdo.option.ConnectionURL

jdbc:postgresql://{{ groups['adpg.adpg'][0] | d(omit) }}:5432/hive

javax.jdo.option.ConnectionDriverName

Имя класса JDBC-драйвера для доступа к Hive Metastore

org.postgresql.Driver

hive.server2.transport.mode

Устанавливает режим передачи данных

binary

hive.server2.thrift.port

Номер порта, используемого для бинарного (binary) соединения с Thrift Server2

10000

hive.server2.thrift.http.port

Номер порта, используемого для HTTP-соединения с Thrift Server2

10001

hive.server2.thrift.http.path

HTTP-endpoint сервиса Thrift Server2

cliservice

hive.metastore.transactional.event.listeners

Listener-класс, который сохраняет события в базе данных

org.apache.hive.hcatalog.listener.DbNotificationListener

hive.metastore.dml.events

Включает или отключает отслеживание DML-событий

true

hive.server2.authentication.kerberos.principal

Принципал Kerberos для HiveServer2

 — 

hive.server2.authentication.kerberos.keytab

Путь к keytab-файлу Kerberos, который содержит принципал для HiveServer2

 — 

hive.server2.authentication.spnego.principal

Kerberos-принципал SPNEGO

 — 

hive.server2.webui.spnego.principal

Kerberos-принципал SPNEGO для доступа к веб-интерфейсу

 — 

hive.server2.webui.spnego.keytab

Keytab-файл SPNEGO для доступа к веб-интерфейсу

 — 

hive.server2.webui.use.spnego

Определяет, использовать ли Kerberos SPNEGO для доступа к веб-интерфейсу

false

hive.server2.authentication.spnego.keytab

Путь к принципалу SPNEGO

 — 

hive.server2.authentication

Устанавливает режим аутентификации

NONE

hive.metastore.sasl.enabled

Если значение true, интерфейс Metastore Thrift защищен с помощью SASL. Клиенты должны аутентифицироваться с помощью Kerberos

false

hive.metastore.kerberos.principal

Сервисный Kerberos-принципал для хранилища метаданных Thrift-сервера. Строка _HOST автоматически заменяется актуальным именем хоста

 — 

hive.metastore.kerberos.keytab.file

Путь к Kerberos keytab-файлу, который содержит сервисный принципал для хранилища метаданных сервера Thrift

 — 

hive.server2.use.SSL

Определяет, использовать ли SSL для HiveServer2

false

hive.server2.keystore.path

Keystore-файл, используемый HiveServer2

 — 

hive.server2.keystore.password

Пароль к keystore-файлу, который использует HiveServer2

 — 

hive.server2.truststore.path

Truststore-файл, используемый HiveServer2

 — 

hive.server2.truststore.password

Пароль для доступа к truststore-файлу HiveServer2

 — 

hive.server2.webui.use.ssl

Определяет, использовать ли SSL для веб-интерфейса Hive

false

hive.server2.webui.keystore.path

Путь к keystore-файлу, который используется для доступа к веб-интерфейсу Hive

 — 

hive.server2.webui.keystore.password

Пароль к keystore-файлу, который используется для доступа к веб-интерфейсу Hive

 — 

hive.ssl.protocol.blacklist

Список версий TLS, запрещенных для использования в Hive

SSLv2Hello,SSLv3,TLSv1,TLSv1.1

metastore.keystore.path

Путь к keystore-файлу компонента Hive Metastore

 — 

metastore.keystore.password

Пароль для доступа к keystore-файлу компонента Hive Metastore

 — 

metastore.truststore.path

Путь к truststore-файлу компонента Hive Metastore

 — 

metastore.truststore.password

Пароль для доступа к truststore-файлу компонента Hive Metastore

 — 

metastore.use.SSL

Определяет, использовать ли SSL для взаимодействия с Hive Metastore

false

metastore.ssl.protocol.blacklist

Список версий TLS, запрещенных для использования с Hive Metastore

SSLv2Hello,SSLv2,SSLv3,TLSv1,TLSv1.1

iceberg.engine.hive.enabled

Включает поддержку Iceberg-таблиц

true

hive.security.authorization.sqlstd.confwhitelist.append

Регулярное выражение для добавления конфигурационных свойств в список разрешенных дополнительно к hive.security.authorization.sqlstd.confwhitelist

kyuubi\.operation\.handle|kyuubi\.client\.version|kyuubi\.client\.ipAddress|tez\.application\.tags

hive.server2.support.dynamic.service.discovery

Активирует поддержку динамического обнаружения сервисов через ZooKeeper

true

hive.zookeeper.quorum

Разделенный запятыми список ZooKeeper-серверов (<host>:<port>), запущенных в кластере

 — 

hive.server2.zookeeper.namespace

Корневое пространство имен для ZooKeeper

hiveserver2

hive.cluster.delegation.token.store.class

Имя класса, реализующего систему хранилища токенов делегации (delegation token store)

org.apache.hadoop.hive.metastore.security.ZooKeeperTokenStore

HiveServer2 hive-log4j.properties

Конфигурация Log4j, используемая для логирования процессов HiveServer2

hive-log4j.properties

Hive Metastore hive-log4j2.properties

Конфигурация Log4j2, используемая для логирования процессов Hive Metastore

hive-log4j2.properties

Hive Beeline beeline-log4j2.properties

Конфигурация Log4j2, используемая для логирования процессов Hive Beeline

beeline-log4j2.properties

xasecure.audit.destination.solr.batch.filespool.dir

Путь к Spool-каталогу

/srv/ranger/hdfs_plugin/audit_solr_spool

xasecure.audit.destination.solr.urls

URL сервера Solr для сохранения аудит-событий. Оставьте значение пустым или установите значение NONE при использовании ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.zookeepers

Указывает строку подключения ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.force.use.inmemory.jaas.config

Использует in-memory JAAS-файл для соединения с Solr

 — 

xasecure.audit.is.enabled

Активирует аудит Ranger

true

xasecure.audit.jaas.Client.loginModuleControlFlag

Определяет требование к успешному завершению работы модуля. Значения могут быть required, requisite, sufficient или optional

 — 

xasecure.audit.jaas.Client.loginModuleName

Имя класса-аутентификатора

 — 

xasecure.audit.jaas.Client.option.keyTab

Имя keytab-файла, из которого необходимо получить секретный ключ принципала

 — 

xasecure.audit.jaas.Client.option.principal

Имя используемого принципала

 — 

xasecure.audit.jaas.Client.option.serviceName

Имя пользователя или сервиса, для которого выполнятся логин

 — 

xasecure.audit.jaas.Client.option.storeKey

Установите значение true, чтобы keytab-файл или ключ принципала сохранялись в учетных данных субъекта

false

xasecure.audit.jaas.Client.option.useKeyTab

Установите значение true, чтобы модуль получал ключ принципала из keytab-файла

false

ranger.plugin.hive.policy.rest.url

 — 

ranger.plugin.hive.service.name

 — 

ranger.plugin.hive.policy.cache.dir

/srv/ranger/hive/policycache

ranger.plugin.hive.policy.pollIntervalMs

30000

ranger.plugin.hive.policy.rest.client.connection.timeoutMs

Время ожидания подключения Hive-плагина RangerRestClient (в миллисекундах)

120000

ranger.plugin.hive.policy.rest.client.read.timeoutMs

Тайм-аут на чтение для Hive-плагина RangerRestClient (в миллисекундах)

30000

xasecure.hive.update.xapolicies.on.grant.revoke

Определяет, разрешать ли обновление политик для SQL-команд Grant/Revoke

true

ranger.plugin.hive.policy.rest.ssl.config.file

Путь к конфигурационному файлу RangerRestClient SSL плагина Hive

/etc/hive/conf/ranger-hive-policymgr-ssl.xml

xasecure.policymgr.clientssl.keystore

Путь к keystore-файлу, который использует Ranger

 — 

xasecure.policymgr.clientssl.keystore.credential.file

Путь к файлу с паролями для keystore-файла

/etc/hive/conf/ranger-hive.jceks

xasecure.policymgr.clientssl.truststore.credential.file

Путь к truststore-файлу с учетными данными

/etc/hive/conf/ranger-hive.jceks

xasecure.policymgr.clientssl.truststore

Путь к truststore-файлу, который использует Ranger

 — 

xasecure.policymgr.clientssl.keystore.password

Пароль для доступа к keystore-файлу

 — 

xasecure.policymgr.clientssl.truststore.password

Пароль для доступа к truststore-файлу

 — 

tez.am.resource.memory.mb

Объем памяти, который YARN выделит Tez Application Master (в мегабайтах). Размер увеличивается с размером DAG

1024

tez.history.logging.service.class

Позволяет Tez использовать Timeline Server для ведения журнала истории

org.apache.tez.dag.history.logging.ats.ATSHistoryLoggingService

tez.lib.uris

Пути HDFS, где хранятся JAR-файлы Tez

${fs.defaultFS}/apps/tez/tez-0.10.3.tar.gz

tez.task.resource.memory.mb

Объем памяти, используемый запущенными задачами в контейнерах TEZ. Обычно это значение задается в DAG

1024

tez.tez-ui.history-url.base

URL для доступа к Tez UI

 — 

tez.use.cluster.hadoop-libs

Указывает, будет ли Tez использовать кластерные библиотеки Hadoop

true

ssl_certificate

Путь к SSL-сертификату для Nginx

/etc/ssl/certs/host_cert.cert

ssl_certificate_key

Путь к ключу SSL-сертификата для Nginx

/etc/ssl/host_cert.key

ssl_protocols

Список допустимых SSL-протоколов для создания SSL-соединения

TLSv1.2

nginx_http_port

HTTP-порт Nginx

8089

nginx_https_port

HTTPS-порт Nginx

9999

ACID Transactions

Определяет, использовать ли ACID-транзакции

false

Database type

Тип внешней базы данных, используемой для Hive Metastore

postgres

Custom hive-site.xml

 — 

Custom hive-env.sh

 — 

Ranger plugin enabled

false

Custom ranger-hive-audit.xml

 — 

Custom ranger-hive-security.xml

 — 

Custom ranger-hive-policymgr-ssl.xml

 — 

Custom tez-site.xml

 — 

beeline-hs2-connection.xml

XML-шаблон для генерации name-value пар из объекта hive_beeline_connection_conf

beeline-hs2-connection.xml

desktop.http_host

IP-адрес, который прослушивает HUE Server

0.0.0.0

desktop.http_port

Порт, который прослушивает HUE Server

8000

desktop.use_cherrypy_server

Определяет используемый веб-сервер: CherryPy (true) или Gunicorn (false)

false

desktop.gunicorn_work_class

Тип рабочего процесса для Gunicorn: gevent, eventlet, gthread или sync

gthread

desktop.secret_key

Случайная строка, используемая для безопасного хеширования в сессионном хранилище

jFE93j;2[290-eiw.KEiwN2s3['d;/.q[eIW^y#e=+Iei*@Mn<qW5o

desktop.enable_xff_for_hive_impala

Определяет, используется ли заголовок X-Forwarded-For, если Hive или Impala его требуют

false

desktop.enable_x_csrf_token_for_hive_impala

Определяет, используется ли заголовок X-CSRF-Token, если Hive или Impala его требуют

false

desktop.app_blacklist

Разделенный запятыми список приложений, которые не требуется загружать при запуске сервера

security,pig,sqoop,oozie,hbase,search

desktop.auth.backend

Список комбинаций бэкендов аутентификации в порядке приоритета, разделенных запятыми

desktop.auth.backend.AllowFirstUserDjangoBackend

desktop.database.host

Сетевой или IP-адрес БД HUE Server

{% raw -%}{{ groups['adpg.adpg'][0] | d(omit) }}{% endraw -%}

desktop.database.port

Сетевой порт БД HUE Server

5432

desktop.database.engine

Движок, используеумый БД HUE Server

postgresql_psycopg2

desktop.database.user

Имя администраторской учетной записи для БД HUE Server

hue

desktop.database.name

Имя БД HUE Server

hue

desktop.database.password

Пароль учетной записи, заданной в параметре desktop.database.user

 — 

notebook.interpreters.impala.name

Имя интерпретатора Impala

impala

notebook.interpreters.impala.interface

Интерфейс интерпретатора Impala

hiveserver2

impala.server_host

Хост Impala Server (одного из компонентов Impala Daemon)

 — 

impala.server_port

Порт Impala Server

21050

impala.impersonation_enabled

Определяет, имперсонировать ли пользователей при работе с Impala

true

impala.impala_conf_dir

Путь к каталогу конфигурации Impala, содержащему файл impalad_flags

/etc/hue/conf

impala.ssl.cacerts

Путь к сертификатам УЦ

/etc/pki/tls/certs/ca-bundle.crt

impala.ssl.validate

Определяет, следует ли HUE валидировать сертификаты, полученные от сервера

false

impala.ssl.enabled

Включает SSL-коммуникацию для этого сервера

false

impala.impala_principal

Принципал Kerberos для Impala

 — 

hadoop.hdfs_clusters.default.webhdfs_url

WebHDFS- или HttpFS-эндпойнт ссылка для доступа к данным HDFS

 — 

hadoop.hdfs_clusters.default.hadoop_conf_dir

Путь к каталогу конфигурационных файлов Hadoop

/etc/hadoop/conf

hadoop.hdfs_clusters.default.security_enabled

Определяет, используется ли Kerberos для защиты кластера Hadoop

false

hadoop.hdfs_clusters.default.ssl_cert_ca_verify

Определяет, верифицировать ли SSL-сертификаты удостоверяющим центром

false

notebook.interpreters.hive.name

Имя интерпретатора Hive

hive

notebook.interpreters.hive.interface

Интерфейс интерпретатора Hive

hiveserver2

beeswax.hive_discovery_hs2

Определяет, используется ли обнаружение сервисов для HiveServer2

true

beeswax.hive_conf_dir

Путь к каталогу конфигурации Hive, содержащему файл hive-site.xml

/etc/hive/conf

beeswax.use_sasl

Определяет, использовать ли фреймворк SASL для установки соединения с хостом

true

beeswax.hive_discovery_hiveserver2_znode

Адрес znode HiveServer2, если Hive использует режим обнаружения сервисов ZooKeeper

hive.server2.zookeeper.namespace

libzookeeper.ensemble

Список хостов и портов участников ансамбля ZooKeeper

host1:2181,host2:2181,host3:2181

libzookeeper.principal_name

Принципал Kerberos для ZooKeeper

 — 

hadoop.yarn_clusters.default.resourcemanager_host

Сетевой адрес хоста, на котором работает Resource Manager

 — 

hadoop.yarn_clusters.default.resourcemanager_port

Порт, который прослушивает Resource Manager IPC

 — 

hadoop.yarn_clusters.default.submit_to

Определяет, что задачи отправляются на выполнение этим кластером

true

hadoop.yarn_clusters.default.logical_name

Логическое имя Resource Manager (необходимо для режима High Availability)

 — 

hadoop.yarn_clusters.default.security_enabled

Определяет, используется ли Kerberos для защиты кластера YARN

false

hadoop.yarn_clusters.default.ssl_cert_ca_verify

Определяет, верифицировать ли SSL-сертификаты от YARN Rest API удостоверяющим центром при использовании безопасного режима (HTTPS)

false

hadoop.yarn_clusters.default.resourcemanager_api_url

URL Resource Manager API

 — 

hadoop.yarn_clusters.default.proxy_api_url

URL первого Resource Manager API

 — 

hadoop.yarn_clusters.default.history_server_api_url

URL History Server API

 — 

hadoop.yarn_clusters.default.spark_history_server_url

URL Spark History Server

 — 

hadoop.yarn_clusters.default.spark_history_server_security_enabled

Определяет, используется ли Kerberos для защиты Spark History Server

false

hadoop.yarn_clusters.ha.resourcemanager_host

Сетевой адрес хоста, на котором работает Resource Manager (режим High Availability)

 — 

hadoop.yarn_clusters.ha.resourcemanager_port

Порт, который прослушивает Resource Manager IPC (режим High Availability)

 — 

hadoop.yarn_clusters.ha.logical_name

Логическое имя Resource Manager (необходимо для режима High Availability)

 — 

hadoop.yarn_clusters.ha.security_enabled

Определяет, используется ли Kerberos для защиты кластера YARN (режим High Availability)

false

hadoop.yarn_clusters.ha.submit_to

Определяет, что задачи отправляются на выполнение этим кластером (режим High Availability)

true

hadoop.yarn_clusters.ha.ssl_cert_ca_verify

Определяет, верифицировать ли SSL-сертификаты от YARN Rest API удостоверяющим центром при использовании безопасного режима (HTTPS) (режим High Availability)

false

hadoop.yarn_clusters.ha.resourcemanager_api_url

URL Resource Manager API (режим High Availability)

 — 

hadoop.yarn_clusters.ha.history_server_api_url

URL History Server API (режим High Availability)

 — 

hadoop.yarn_clusters.ha.spark_history_server_url

URL Spark History Server (режим High Availability)

 — 

hadoop.yarn_clusters.ha.spark_history_server_security_enabled

Определяет, используется ли Kerberos для защиты Spark History Server (режим High Availability)

false

notebook.interpreters.sparksql.name

Имя интерпретатора Spark3

Spark3 SQL

notebook.interpreters.hive.interface

Интерфейс интерпретатора Hive

hiveserver2

spark.sql_server_host

Сетевое имя SQL-сервера

 — 

spark.sql_server_port

Порт SQL-сервера

 — 

spark.security_enabled

Определяет, используется ли Kerberos для защиты кластера Spark3

false

spark.ssl_cert_ca_verify

Определяет, верифицировать ли SSL-сертификаты удостоверяющим центром

false

spark.use_sasl

Определяет, использовать ли фреймворк SASL для установки соединения с хостом

true

spark.spark_impersonation_enabled

Определяет, имперсонировать ли пользователей при работе со Spark3

true

spark.spark_principal

Принципал Kerberos для Spark3

 — 

notebook.dbproxy_extra_classpath

Путь к классам, добавляемый к пути к классам DBProxy server по умолчанию

/usr/share/java/kyuubi-hive-jdbc.jar

notebook.interpreters.kyuubi.name

Имя интерпретатора Kyuubi

Kyuubi[Spark3]

notebook.interpreters.kyuubi.options

Специальные параметры подключения к серверу Kyuubi

 — 

notebook.interpreters.kyuubi.interface

Интерфейс сервиса Kyuubi

jdbc

desktop.kerberos.hue_keytab

Путь к keytab-файлу Kerberos для HUE

 — 

desktop.kerberos.hue_principal

Принципал Kerberos для HUE

 — 

desktop.kerberos.kinit_path

Путь к утилите kinit

/usr/bin/kinit

desktop.kerberos.reinit_frequency

Интервал в секундах, через который HUE обновляет свой keytab-файл

3600

desktop.kerberos.ccache_path

Путь к кешу Kerberos, хранящему учетные данные

/tmp/hue_krb5_ccache

desktop.kerberos.krb5_renewlifetime_enabled

Этот параметр должен иметь значение false, если параметр renew_lifetime в файле krb5.conf имеет значение 0m

false

desktop.auth.auth

Тип аутентификации

 — 

desktop.kerberos.kerberos_auth

Определяет, использовать ли Kerberos-аутентификацию для HTTP-клиентов на основе текущего тикета

false

desktop.kerberos.spnego_principal

Принципал Kerberos по умолчанию для HTTP-клиента

 — 

desktop.ssl_certificate

Путь к файлу SSL-сертификата

/etc/ssl/certs/host_cert.cert

desktop.ssl_private_key

Путь к файлу закрытого ключа SSL RSA

/etc/ssl/host_cert.key

desktop.ssl_password

Пароль SSL-сертификата

 — 

desktop.ssl_no_renegotiation

Отключает всё повторное согласование для TLS версии 1.2 и более ранних

true

desktop.ssl_validate

Определяет, следует ли HUE валидировать сертификаты, полученные от сервера

false

desktop.ssl_cacerts

Этот параметр должен иметь значение false, если параметр renew_lifetime в файле krb5.conf имеет значение 0m

/etc/pki/tls/certs/ca-bundle.crt

desktop.session.secure

Определяет, будут ли cookie, содержащие идентификатор сессии пользователя и csrf, использовать флаг secure

true

desktop.session.http_only

Определяет, будут ли cookie, содержащие идентификатор сессии пользователя и csrf, использовать флаг HTTP only

false

desktop.ldap.ldap_url

URL LDAP-сервера

 — 

desktop.ldap.base_dn

База поиска для пользователей и групп

"DC=mycompany,DC=com"

desktop.ldap.nt_domain

NT-домен, используемый для LDAP-аутентификации

mycompany.com

desktop.ldap.ldap_cert

Файлы сертификатов в PEM-формате для УЦ, которые будут доверенными для HUE при TLS-аутентификации

 — 

desktop.ldap.use_start_tls

Установите значение true, если вы не используете Secure LDAP (LDAPS), но хотите использовать защищенные подключения с помощью TLS

true

desktop.ldap.bind_dn

Уникальное имя (DN) bind-пользователя

"CN=ServiceAccount,DC=mycompany,DC=com"

desktop.ldap.bind_password

Пароль bind-пользователя

 — 

desktop.ldap.ldap_username_pattern

Шаблон для поиска имени пользователя. Заполните поле <username> в этом параметре

"uid=<username>,ou=People,dc=mycompany,dc=com"

desktop.ldap.create_users_on_login

Определяет, создавать ли пользователей в HUE при попытке входа под учетными данными LDAP

true

desktop.ldap.sync_groups_on_login

Определяет, синхронизировать ли группы пользователей при их входе

true

desktop.ldap.login_groups

Список групп LDAP, разделенных запятыми, содержащих пользователей, которым разрешен вход

 — 

desktop.ldap.ignore_username_case

Определяет, игнорировать ли регистр учетных записей пользователей при поиске существующих пользователей

true

desktop.ldap.force_username_lowercase

Определяет, следует ли принудительно использовать нижний регистр для учетных записей пользователей при их создании из LDAP

true

desktop.ldap.force_username_uppercase

Определяет, следует ли принудительно использовать верхний регистр для учетных записей пользователей при их создании из LDAP. Этот параметр нельзя включать одновременно с параметром desktop.ldap.force_username_lowercase

false

desktop.ldap.search_bind_authentication

Включает аутентификацию search bind

true

desktop.ldap.subgroups

Определяет, какую группировку использовать: вложенную или подчиненную (не используется)

nested

desktop.ldap.nested_members_search_depth

Количество уровней поиска для вложенных членов

10

desktop.ldap.follow_referrals

Определяет, следует ли переходить по отсылкам

false

desktop.ldap.users.user_filter

Базовый фильтр для поиска пользователей

"objectclass=*"

desktop.ldap.users.user_name_attr

Атрибут имени пользователя в схеме LDAP

sAMAccountName

desktop.ldap.groups.group_filter

Базовый фильтр для поиска групп

"objectclass=*"

desktop.ldap.groups.group_name_attr

Атрибут имени группы в схеме LDAP

cn

desktop.ldap.groups.group_member_attr

Атрибут объекта группы, идентифицирующего членов группы

member

Enable custom ulimits

Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже

Custom hue.ini

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле hue.ini. Список доступных параметров можно найти в документации HUE

 — 

log.conf

Файл конфигурации с объявлением различных объектов логирования

log.conf

Custom impalad_flags

Пользовательские значения параметров, которые будут использоваться вместо исходных

 — 

DefaultLimitCPU

Ограничение в секундах на количество процессорного времени, которое может потреблять процесс

cpu time ( -t)

DefaultLimitFSIZE

Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт

file size ( -f)

DefaultLimitDATA

Максимальный размер сегмента данных процесса, в килобайтах

data seg size ( -d)

DefaultLimitSTACK

Максимальный размер стека, выделенный процессу, в килобайтах

stack size ( -s)

DefaultLimitCORE

Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт

core file size ( -c)

DefaultLimitRSS

Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах

max memory size ( -m)

DefaultLimitNOFILE

Максимальное количество дескрипторов открытых файлов, разрешенное для процесса

open files ( -n)

DefaultLimitAS

Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах

virtual memory ( -v)

DefaultLimitNPROC

Максимальное количество процессов

max user processes ( -u)

DefaultLimitMEMLOCK

Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется

max locked memory ( -l)

DefaultLimitLOCKS

Максимальное количество файлов, заблокированных процессом

file locks ( -x)

DefaultLimitSIGPENDING

Максимальное количество сигналов, ожидающих доставки в вызывающий поток

pending signals ( -i)

DefaultLimitMSGQUEUE

Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений

POSIX message queues ( -q)

DefaultLimitNICE

Максимальный уровень приоритета NICE, который может быть назначен процессу

scheduling priority ( -e)

DefaultLimitRTPRIO

Максимальный приоритет планирования в реальном времени

real-time priority ( -r)

DefaultLimitRTTIME

Максимальный размер буфера конвейера (pipe), в блоках по 512 байт

pipe size ( -p)

Encryption enable

Определяет, включено ли шифрование учетных данных

false

Credential provider path

Путь к провайдеру учетных данных для создания файлов .jceks, содержащих закрытые ключи

jceks://hdfs/apps/impala/security/impala.jceks

Ranger plugin credential provider path

Путь к провайдеру учетных данных плагина Ranger

jceks://file/etc/impala/conf/ranger-impala.jceks

Custom jceks

Определяет, используются ли кастомные файлы .jceks, расположенные по пути провайдера учетных данных (true), или автосгенерированные (false)

false

Password file name

Имя файла паролей в classpath сервиса, если использование файла паролей выбрано в опциях credstore

impala_credstore_pass

xasecure.audit.destination.solr.batch.filespool.dir

Путь к Spool-каталогу

/srv/ranger/hdfs_plugin/audit_solr_spool

xasecure.audit.destination.solr.urls

URL сервера Solr для сохранения аудит-событий. Оставьте значение пустым или установите значение NONE при использовании ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.zookeepers

Указывает строку подключения ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.force.use.inmemory.jaas.config

Использует in-memory JAAS-файл для соединения с Solr

 — 

xasecure.audit.is.enabled

Активирует аудит Ranger

true

xasecure.audit.jaas.Client.loginModuleControlFlag

Определяет требование к успешному завершению работы модуля. Значения могут быть required, requisite, sufficient или optional

 — 

xasecure.audit.jaas.Client.loginModuleName

Имя класса-аутентификатора

 — 

xasecure.audit.jaas.Client.option.keyTab

Имя keytab-файла, из которого необходимо получить секретный ключ принципала

 — 

xasecure.audit.jaas.Client.option.principal

Имя используемого принципала

 — 

xasecure.audit.jaas.Client.option.serviceName

Имя пользователя или сервиса, для которого выполнятся логин

 — 

xasecure.audit.jaas.Client.option.storeKey

Установите значение true, чтобы keytab-файл или ключ принципала сохранялись в учетных данных субъекта

false

xasecure.audit.jaas.Client.option.useKeyTab

Установите значение true, чтобы модуль получал ключ принципала из keytab-файла

false

ranger.plugin.hive.policy.rest.url

 — 

ranger.plugin.hive.service.name

Имя сервиса Ranger, хранящего политики для данного инстанса Impala

 — 

ranger.plugin.hive.policy.cache.dir

Директория, в которой хранятся политики Ranger после успешного извлечения из источника

/srv/ranger/impala/policycache

ranger.plugin.hive.policy.pollIntervalMs

Период проверки политик на актуальность в миллисекундах

30000

ranger.plugin.hive.policy.rest.client.connection.timeoutMs

Тайм-аут соединения клиента Ranger REST в миллисекундах

120000

ranger.plugin.hive.policy.rest.client.read.timeoutMs

Тайм-аут чтения клиента Ranger REST в миллисекундах

30000

xasecure.hive.update.xapolicies.on.grant.revoke

Следует ли плагину Impala обновлять политики Ranger после изменения прав при помощи GRANT/REVOKE

true

ranger.plugin.hive.policy.rest.ssl.config.file

Путь к конфигурационному файлу RangerRestClient SSL плагина Hive

/etc/hbase/conf/ranger-hbase-policymgr-ssl.xml

xasecure.policymgr.clientssl.keystore

Путь к keystore-файлу, который использует Ranger

 — 

xasecure.policymgr.clientssl.keystore.credential.file

Путь к файлу с паролями для keystore-файла

/etc/impala/conf/ranger-impala.jceks

xasecure.policymgr.clientssl.truststore.credential.file

Путь к truststore-файлу с учетными данными

/etc/impala/conf/ranger-impala.jceks

xasecure.policymgr.clientssl.truststore

Путь к truststore-файлу, который использует Ranger

 — 

xasecure.policymgr.clientssl.keystore.password

Пароль для доступа к keystore-файлу

 — 

xasecure.policymgr.clientssl.truststore.password

Пароль для доступа к truststore-файлу

 — 

ldap_uri

URI сервера LDAP. Обычно начинается с ldap:// или ldaps:// в случае использования SSL. Опционально в URI можно указать порт, например: ldap://ldap_server.example.com:389

 — 

ldap_domain

Заменяет имя пользователя строкой <username>@ldap_domain, где <username> — имя пользователя, проходящего аутентификацию. Нельзя использовать вместе с ldap_bind_pattern или ldap_baseDN

 — 

ldap_bind_dn

Отличительное имя пользователя для привязки во время поиска по пользователям/группам. Требуется, только если используются фильтры пользователей/групп, а LDAP-сервер не разрешает анонимный поиск

 — 

ldap_bind_password

Пароль пользователя для привязки. Требуется, если на сервере не активирована анонимная привязка

 — 

ldap_bind_password_cmd

cat /etc/impala/conf/pass.pwd

ldap_user_search_basedn

Базовый DN для поиска по пользователям

 — 

ldap_group_search_basedn

Базовый DN для поиска по группам

 — 

ldap_baseDN

База поиска. Заменяет имя пользователя на DN следующего вида: uid=<userid>,ldap_baseDN, где <userid> — имя пользователя, проходящего аутентификацию. Нельзя использовать вместе с ldap_bind_pattern или ldap_domain

 — 

ldap_user_filter

Фильтр для простых и поисковых привязок. В случае простой привязки — список значений, разделенных запятой. Если параметр указан, то для успешной аутентификации пользователь должен входить в этот список. В случае поисковой привязки — LDAP-фильтр, использующийся для поиска в LDAP. Может содержать шаблон {0}, который будет заменен на имя пользователя

 — 

ldap_group_filter

Список групп, разделенных запятой. Если параметр указан, то для успешной аутентификации пользователь должен состоять в одной из перечисленных групп

 — 

ldap_allow_anonymous_binds

При значении true Impala разрешает LDAP-аутентификацию с пустым паролем (анонимная привязка)

false

ldap_search_bind_authentication

Позволяет переключаться между простой и поисковой привязкой для аутентификации

true

ldap_ca_certificate

Указывает местоположение сертификата в стандартном формате PEM для SSL. Данный сертификат должен храниться локально в директории, которую могут читать только impala и остальные доверенные пользователи

 — 

ldap_passwords_in_clear_ok

Позволяет веб-серверу запускаться с LDAP-аутентификацией даже при выключенном SSL. При установке значения true значение параметра auth_creds_ok_in_clear в файле impalarc также становится true. Учтите, что это потенциально небезопасный вариант работы

false

ldap_bind_pattern

Строка, в которой #UID заменяется на имя пользователя. Например, при значении user=#UID,OU=foo,CN=bar при попытке пользователя henry пройти аутентификацию его имя заменится на user=henry,OU=foo,CN=bar. Нельзя использовать вместе с ldap_baseDN или ldap_domain

 — 

allow_custom_ldap_filters_with_kerberos_auth

Позволяет использовать кастомные LDAP-фильтры для пользователей и групп даже при включенном Kerberos

true

Ranger plugin enabled

false

Custom ranger-hive-audit.xml

 — 

Custom ranger-hive-security.xml

 — 

Custom ranger-hive-policymgr-ssl.xml

 — 

hostname

Имя хоста, которое используется для Impala Daemon. Если Kerberos включен, оно также является частью принципала Kerberos. Если этот параметр не установлен, используется системное значение по умолчанию

 — 

beeswax_port

Порт, на котором демоны Impala обслуживают клиентские запросы Beeswax

21000

fe_port

Порт внешнего интерфейса (frontend) демона Impala

21000

be_port

Только для внутреннего использования. Демоны Impala используют этот порт для связи друг с другом на основе Thrift

22000

krpc_port

Только для внутреннего использования. Демоны Impala используют этот порт для связи друг с другом на основе KRPC

27000

hs2_port

Порт, на котором демоны Impala обслуживают клиентские запросы HiveServer2

21050

hs2_http_port

Порт, который используют клиентские приложения для передачи команд и получения результатов по HTTP по протоколу HiveServer2

28000

enable_webserver

Включает или отключает веб-сервер демона Impala. Его веб-интерфейс содержит информацию о параметрах конфигурации, запущенных и завершенных запросах и связанном с ними использовании ресурсов. В основном используется для диагностики проблем с запросами, которые можно отследить до определенной ноды

True

webserver_require_spnego

Включает аутентификацию Kerberos для веб-консолей Hadoop HTTP для всех ролей этого сервиса с использованием протокола SPNEGO. Используйте этот параметр, только если для сервиса HDFS включен Kerberos

False

webserver_port

Порт, на котором работает веб-сервер демона Impala

25000

catalog_service_host

Хост, на котором запущен компонент Impala Catalog Service

 — 

catalog_service_port

Порт, на котором запущен компонент Impala Catalog Service

26000

state_store_host

Хост, на котором запущен компонент Impala Statestore

 — 

state_store_port

Порт, на котором запущен компонент Impala Statestore

24000

state_store_subscriber_port

Порт, на котором запущен StateStoreSubscriberService. StateStoreSubscriberService прослушивает этот порт на наличие обновлений от демона Statestore

23030

scratch_dirs

Каталог, в который демоны Impala записывают данные для освобождения памяти во время больших операций сортировки, объединения, агрегирования и т.д. Файлы удаляются после завершения операции. Потенциально это могут быть большие объемы данных

/srv/impala/

log_dir

Каталог, в котором демоны Impala хранят свои файлы журналов

/var/log/impala/impalad/

profile_log_dir

Каталог, в который записываются файлы журналов профиля

/var/log/impala/impalad/profiles

log_filename

Префикс имени файла журнала. Полный путь к файлу — <log_dir>/<log_filename>

impalad

max_log_files

Количество файлов журнала, которые должны храниться для каждого уровня важности (INFO, WARNING, ERROR и FATAL) прежде чем старые файлы журнала будут удалены. Число должно быть больше 1, чтобы по крайней мере текущий файл журнала оставался открытым. Если установлено значение 0, все файлы журналов сохраняются, и ротация журналов не производится

10

audit_event_log_dir

Каталог, в который записываются файлы журнала событий аудита демона Impala, если включено свойство Impala Audit Event Generation

/var/log/impala/impalad/audit

minidump_path

Каталог для хранения Breakpad-дампов демона Impala

/var/log/impala-minidumps

lineage_event_log_dir

Каталог, в который записываются лог-файлы lineage, если включено свойство Impala Lineage Generation

/var/log/impala/impalad/lineage

local_library_dir

Локальный каталог, в который Демон Impala копирует библиотеки пользовательских функций (user-defined function, UDF) из HDFS

/usr/lib/impala/udfs

max_lineage_log_file_size

Максимальный размер (в записях) лог-файла lineage демона Impala. При превышении размера создается новый файл

5000

max_audit_event_log_file_size

Максимальный размер (в запросах) файла журнала событий аудита демона Impala. При превышении размера создается новый файл

5000

fe_service_threads

Максимально допустимое количество одновременных клиентских подключений. Параметр определяет, сколько запросов может выполняться одновременно. Когда большее число клиентов пытается подключиться к Impala, более поздние клиенты должны ждать, пока предыдущие клиенты отключатся. Установка слишком высокого значения fe_service_threads может негативно повлиять на задержку выполнения запросов

64

mem_limit

Ограничение памяти (в байтах) для демона Impala, обеспечиваемое самим демоном. Это ограничение не включает память, потребляемую встроенной JVM демона. Impala использует этот объем памяти для обработки запросов, кешированных данных, сетевых буферов, фоновых операций и т.д. Если предел превышен, запросы будут уничтожаться до тех пор, пока используемая память не станет меньше предела

1473249280

idle_query_timeout

Время в секундах, по истечении которого отменяется бездействующий запрос (обработка не выполняется, и от клиента не поступают обновления). Если установлено значение 0, бездействующие запросы никогда не отменяются

0

idle_session_timeout

Время в секундах, по истечении которого Impala закрывает бездействующую сессию и отменяет все запущенные запросы. Если установлено значение 0, бездействующие сессии никогда не закрываются

0

max_result_cache_size

Максимальное количество результатов запроса, которое клиент может запросить для кеширования каждого запроса для поддержки перезапуска выборки. Этот параметр защищает от неоправданно больших кешей результатов. Запросы, превышающие указанный максимум, отклоняются

100000

max_cached_file_handles

Максимальное количество дескрипторов кешированных файлов HDFS. Кеширование файловых дескрипторов HDFS уменьшает количество открываемых новых файловых дескрипторов и, таким образом, снижает нагрузку на HDFS NameNode. Каждый кешированный дескриптор файла потребляет небольшой объем памяти. Если установлено значение 0, кеширование дескрипторов файлов отключено

20000

unused_file_handle_timeout_sec

Максимальное время в секундах, в течение которого неиспользуемый дескриптор файла HDFS остается в кеше дескрипторов файлов HDFS. Когда базовый файл для кешированного дескриптора файла удаляется, дисковое пространство не может быть освобождено до тех пор, пока кешированный дескриптор файла не будет удален из кеша. Этот тайм-аут позволяет освободить место на диске, занятое удаленными файлами, за предсказуемый период времени. Если установлено значение 0, неиспользуемые дескрипторы кешированных файлов HDFS не удаляются

21600

statestore_subscriber_timeout_seconds

Тайм-аут в секундах для подключения Impala Daemon и Catalog Server к Statestore

30

default_query_options

Список пар ключ/значение, представляющих собой дополнительные параметры запроса для передачи в командную строку демона Impala, разделенные запятыми

default_file_format=parquet,default_transactional_type=none

load_auth_to_local_rules

Если активен (True) и Kerberos включен для Impala, Impala использует настройку auth_to_local, заданную в конфигурации HDFS hadoop.security.auth_to_local

True

catalog_topic_mode

Уровень детализация метаданных, передающихся по запросу между координатором демона Impala и Impala Catalog Service. См. Metadata management

minimal

use_local_catalog

Позволяет координаторам кешировать метаданные, полученные от Impala Catalog Service. Если для этого параметра установлено значение True, координаторы получают метаданные по мере необходимости от catalogd и кешируют их локально. Кешированные метаданные автоматически удаляются при нехватке памяти или по истечении срока актуальности. См. Metadata management

True

abort_on_failed_audit_event

Определяет, следует ли выключать Impala, если возникает проблема с записью события аудита

False

max_minidumps

Максимальное количество файлов Breakpad-дампов, хранимых демоном Impala. Отрицательное значение или 0 интерпретируется как неограниченное число

9

authorized_proxy_user_config

Указывает набор авторизованных прокси-пользователей (пользователей, которые могут олицетворять других пользователей во время авторизации) и пользователей, которых им разрешено олицетворять. Пример синтаксиса опции: authenticated_user1=delegated_user1,delegated_user2;authenticated_user2=*. См. Configuring Impala delegation for clients. Список может содержать короткие имена пользователей или символ * для обозначения всех пользователей

knox=*;zeppelin=*

queue_wait_timeout_ms

Максимальное время (в миллисекундах), в течение которого запрос ожидает принятия до истечения времени ожидания. Значение должно быть положительным целым числом

60000

disk_spill_encryption

Указывает, следует ли шифровать и проверять целостность всех данных, перенесенных на диск как часть запроса

False

abort_on_config_error

Определяет, следует ли прервать запуск Impala, если параметры конфигурации заданы некорректно, или Impala запущена на неподдерживаемом оборудовании

True

kerberos_reinit_interval

Количество минут между переустановкой тикета на сервере Kerberos

60

principal

Принципал Kerberos сервиса Impala

 — 

keytab_file

Kerberos keytab-файл сервиса Impala

 — 

ssl_server_certificate

Путь к файлу TLS/SSL с ключом сертификата сервера, используемым для TLS/SSL. Он используется, когда Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_private_key

Путь к файлу TLS/SSL с закрытым ключом, используемым для TLS/SSL. Он используется, когда Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_client_ca_certificate

Путь к сертификату в формате PEM, используемому для подтверждения подлинности серверов SSL/TLS, к которым могут подключаться демоны Impala. Поскольку демоны Impala также подключаются друг к другу, он должен включать сертификат CA, используемый для подписи всех сертификатов SSL/TLS. SSL/TLS между демонами Impala не может быть включен без этого параметра

 — 

webserver_certificate_file

Путь к файлу TLS/SSL с ключом сертификата сервера, используемым для TLS/SSL. Он необходим, когда веб-сервер демона Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

webserver_private_key_file

Путь к файлу TLS/SSL с закрытым ключом, используемым для TLS/SSL. Он необходим, когда веб-сервер демона Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_minimum_version

Минимальная версия TLS

TLSv1.2

Custom impalastore.conf

 — 

log4j.properties

Настройки утилиты Apache Log4j

Enable custom ulimits

Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже

DefaultLimitCPU

Ограничение в секундах на количество процессорного времени, которое может потреблять процесс

cpu time ( -t)

DefaultLimitFSIZE

Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт

file size ( -f)

DefaultLimitDATA

Максимальный размер сегмента данных процесса, в килобайтах

data seg size ( -d)

DefaultLimitSTACK

Максимальный размер стека, выделенный процессу, в килобайтах

stack size ( -s)

DefaultLimitCORE

Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт

core file size ( -c)

DefaultLimitRSS

Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах

max memory size ( -m)

DefaultLimitNOFILE

Максимальное количество дескрипторов открытых файлов, разрешенное для процесса

open files ( -n)

DefaultLimitAS

Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах

virtual memory ( -v)

DefaultLimitNPROC

Максимальное количество процессов

max user processes ( -u)

DefaultLimitMEMLOCK

Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется

max locked memory ( -l)

DefaultLimitLOCKS

Максимальное количество файлов, заблокированных процессом

file locks ( -x)

DefaultLimitSIGPENDING

Максимальное количество сигналов, ожидающих доставки в вызывающий поток

pending signals ( -i)

DefaultLimitMSGQUEUE

Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений

POSIX message queues ( -q)

DefaultLimitNICE

Максимальный уровень приоритета NICE, который может быть назначен процессу

scheduling priority ( -e)

DefaultLimitRTPRIO

Максимальный приоритет планирования в реальном времени

real-time priority ( -r)

DefaultLimitRTTIME

Максимальный размер буфера конвейера (pipe), в блоках по 512 байт

pipe size ( -p)

hostname

Имя хоста, на котором установлен Statestore. Если Kerberos включен, оно также является частью принципала Kerberos. Если этот параметр не установлен, используется системное значение по умолчанию

 — 

state_store_host

Хост, на котором запущен компонент Impala Statestore

 — 

state_store_port

Порт, на котором запущен компонент Impala Statestore

24000

catalog_service_host

Хост, на котором запущен компонент Impala Catalog Service

 — 

catalog_service_port

Порт, на котором запущен компонент Impala Catalog Service

26000

enable_webserver

Включает или отключает веб-сервер демона Statestore. Его веб-интерфейс содержит информацию об использовании памяти, параметрах конфигурации и текущих проверках работоспособности, выполняемых Statestore

True

webserver_require_spnego

Включает аутентификацию Kerberos для веб-консолей Hadoop HTTP для всех ролей этого сервиса с использованием протокола SPNEGO. Используйте этот параметр, только если для сервиса HDFS включен Kerberos

False

webserver_port

Порт, на котором работает веб-сервер Statestore

25010

log_dir

Каталог, в котором демон Statestore хранит свои файлы журналов

/var/log/impala/statestored/

log_filename

Префикс имени файла журнала. Полный путь к файлу — <log_dir>/<log_filename>

statestored

max_log_files

Количество файлов журнала, которые должны храниться для каждого уровня важности (INFO, WARNING, ERROR и FATAL) прежде чем старые файлы журнала будут удалены. Число должно быть больше 1, чтобы по крайней мере текущий файл журнала оставался открытым. Если установлено значение 0, все файлы журналов сохраняются, и ротация журналов не производится

10

minidump_path

Каталог для хранения Breakpad-дампов демона Statestore

/var/log/impala-minidumps

max_minidumps

Максимальное количество файлов Breakpad-дампов, хранимых демоном Statestore. Отрицательное значение или 0 интерпретируется как неограниченное число

9

state_store_num_server_worker_threads

Количество рабочих потоков для диспетчера потоков сервера Statestore Thrift

4

state_store_pending_task_count_max

Максимальное количество задач, которые могут быть отложены диспетчером потоков сервера Statestore Thrift. Значение 0 разрешает бесконечное количество отложенных задач

0

kerberos_reinit_interval

Количество минут между переустановкой тикета на сервере Kerberos

60

principal

Принципал Kerberos сервиса Impala

 — 

keytab_file

Kerberos keytab-файл сервиса Impala

 — 

ssl_server_certificate

Путь к файлу TLS/SSL с ключом сертификата сервера, используемым для TLS/SSL. Он используется, когда Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_private_key

Путь к файлу TLS/SSL с закрытым ключом, используемым для TLS/SSL. Он используется, когда Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_client_ca_certificate

Путь к сертификату в формате PEM, используемому для подтверждения подлинности серверов SSL/TLS, к которым могут подключаться демоны Impala. Поскольку демоны Impala также подключаются друг к другу, он должен включать сертификат CA, используемый для подписи всех сертификатов SSL/TLS. SSL/TLS между демонами Impala не может быть включен без этого параметра

 — 

webserver_certificate_file

Путь к файлу TLS/SSL с ключом сертификата сервера, используемым для TLS/SSL. Он необходим, когда веб-сервер демона Statestore работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

webserver_private_key_file

Путь к файлу TLS/SSL с закрытым ключом, используемым для TLS/SSL. Он необходим, когда веб-сервер демона Statestore работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_minimum_version

Минимальная версия TLS

TLSv1.2

Custom statestore.conf

 — 

Enable custom ulimits

Включение этой опции позволяет указать ограничения на использование ресурсов для процесса (ulimits). Если значения не указаны, будут использованы системные настройки по умолчанию. Настройки ulimit описаны в таблице ниже

DefaultLimitCPU

Ограничение в секундах на количество процессорного времени, которое может потреблять процесс

cpu time ( -t)

DefaultLimitFSIZE

Максимальный размер файлов, которые может создать процесс, в блоках по 512 байт

file size ( -f)

DefaultLimitDATA

Максимальный размер сегмента данных процесса, в килобайтах

data seg size ( -d)

DefaultLimitSTACK

Максимальный размер стека, выделенный процессу, в килобайтах

stack size ( -s)

DefaultLimitCORE

Максимальный размер файла дампа (core dump) в байтах, который процесс может сохранить, в блоках по 512 байт

core file size ( -c)

DefaultLimitRSS

Максимальное количество памяти RAM (resident set size), которое может быть выделено процессу, в килобайтах

max memory size ( -m)

DefaultLimitNOFILE

Максимальное количество дескрипторов открытых файлов, разрешенное для процесса

open files ( -n)

DefaultLimitAS

Максимальный размер виртуальной памяти (адресного пространства) процесса, в килобайтах

virtual memory ( -v)

DefaultLimitNPROC

Максимальное количество процессов

max user processes ( -u)

DefaultLimitMEMLOCK

Максимальный размер памяти, который может быть заблокирован для процесса, в килобайтах. Блокировка памяти гарантирует, что память всегда находится в оперативной памяти (RAM) и файл подкачки не используется

max locked memory ( -l)

DefaultLimitLOCKS

Максимальное количество файлов, заблокированных процессом

file locks ( -x)

DefaultLimitSIGPENDING

Максимальное количество сигналов, ожидающих доставки в вызывающий поток

pending signals ( -i)

DefaultLimitMSGQUEUE

Максимальное количество байтов в очередях сообщений POSIX. Очереди сообщений POSIX позволяют процессам обмениваться данными в форме сообщений

POSIX message queues ( -q)

DefaultLimitNICE

Максимальный уровень приоритета NICE, который может быть назначен процессу

scheduling priority ( -e)

DefaultLimitRTPRIO

Максимальный приоритет планирования в реальном времени

real-time priority ( -r)

DefaultLimitRTTIME

Максимальный размер буфера конвейера (pipe), в блоках по 512 байт

pipe size ( -p)

hostname

Имя хоста, на котором установлен Catalog Service. Если Kerberos включен, оно также является частью принципала Kerberos. Если этот параметр не установлен, используется системное значение по умолчанию

 — 

state_store_host

Хост, на котором запущен компонент Impala Statestore

 — 

state_store_port

Порт, на котором запущен компонент Impala Statestore

24000

catalog_service_host

Хост, на котором запущен компонент Impala Catalog Service

 — 

catalog_service_port

Порт, на котором запущен компонент Impala Catalog Service

26000

enable_webserver

Включает или отключает веб-сервер демона Catalog Service. Его веб-интерфейс включает информацию о базах данных, таблицах и других объектах, управляемых Impala, в дополнение к информации об использовании ресурсов и параметрам конфигурации Catalog Service

True

webserver_require_spnego

Включает аутентификацию Kerberos для веб-консолей Hadoop HTTP для всех ролей этого сервиса с использованием протокола SPNEGO. Используйте этот параметр, только если для сервиса HDFS включен Kerberos

False

webserver_port

Порт, на котором работает веб-сервер Catalog Service

25020

log_dir

Каталог, в котором демон Catalog Service хранит свои файлы журналов

/var/log/impala/catalogd/

log_filename

Префикс имени файла журнала. Полный путь к файлу — <log_dir>/<log_filename>

catalogd

max_log_files

Количество файлов журнала, которые должны храниться для каждого уровня важности (INFO, WARNING, ERROR и FATAL) прежде чем старые файлы журнала будут удалены. Число должно быть больше 1, чтобы по крайней мере текущий файл журнала оставался открытым. Если установлено значение 0, все файлы журналов сохраняются, и ротация журналов не производится

10

minidump_path

Каталог для хранения Breakpad-дампов демона Catalog Service

/var/log/impala-minidumps

max_minidumps

Максимальное количество файлов Breakpad-дампов, хранимых демоном Catalog Service. Отрицательное значение или 0 интерпретируется как неограниченное число

9

hms_event_polling_interval_s

Если для этого параметра задано положительное число, Catalog Service получает новые уведомления из Hive Metastore с указанным интервалом в секундах. Если для hms_event_polling_interval_s установлено значение 0, автоматическое признание метаданных недействительными и обновление отключены. См. Metadata management

2

load_auth_to_local_rules

Если активен (True) и Kerberos включен для Impala, Impala использует настройку auth_to_local, заданную в конфигурации HDFS hadoop.security.auth_to_local

True

load_catalog_in_background

Если установлено значение True, метаданные загружаются в фоновом режиме, даже если эти метаданные не требуются ни для одного запроса. Если False, метаданные загружаются при первом обращении к ним

False

catalog_topic_mode

Уровень детализация метаданных, передающихся по запросу между координатором демона Impala и Impala Catalog Service. См. Metadata management

minimal

statestore_subscriber_timeout_seconds

Тайм-аут в секундах для подключения Impala Daemon и Catalog Server к Statestore

30

state_store_subscriber_port

Порт, на котором запущен StateStoreSubscriberService. StateStoreSubscriberService прослушивает этот порт на наличие обновлений от демона Statestore

23020

kerberos_reinit_interval

Количество минут между переустановкой тикета на сервере Kerberos

60

principal

Принципал Kerberos сервиса Impala

 — 

keytab_file

Kerberos keytab-файл сервиса Impala

 — 

ssl_server_certificate

Путь к файлу TLS/SSL с ключом сертификата сервера, используемым для TLS/SSL. Он используется, когда Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_private_key

Путь к файлу TLS/SSL с закрытым ключом, используемым для TLS/SSL. Он используется, когда Impala работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_client_ca_certificate

Путь к сертификату в формате PEM, используемому для подтверждения подлинности серверов SSL/TLS, к которым могут подключаться демоны Impala. Поскольку демоны Impala также подключаются друг к другу, он должен включать сертификат CA, используемый для подписи всех сертификатов SSL/TLS. SSL/TLS между демонами Impala не может быть включен без этого параметра

 — 

webserver_certificate_file

Путь к файлу TLS/SSL с ключом сертификата сервера, используемым для TLS/SSL. Он необходим, когда веб-сервер демона Catalog Service работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

webserver_private_key_file

Путь к файлу TLS/SSL с закрытым ключом, используемым для TLS/SSL. Он необходим, когда веб-сервер демона Catalog Service работает как сервер TLS/SSL. Файл сертификата должен быть в формате PEM

 — 

ssl_minimum_version

Минимальная версия TLS

TLSv1.2

Custom catalogstore.conf

 —