Параметры Core configuration

fs.defaultFS

Название файловой системы по умолчанию в виде URI, на основании которого будет выбрана имплементация файловой системы

hdfs://hdfs

fs.trash.checkpoint.interval

Интервал между trash-чекпойнтами в минутах. Должно быть меньше или равно fs.trash.interval. Если значение равно 0, то используется значение параметра fs.trash.interval. При каждом запуске чекпойнтера создается новый чекпойнт и удаляются все чекпойнты, созданные больше fs.trash.interval минут назад

60

fs.trash.interval

Длительность хранения чекпойнта в минутах. Если значение равно 0, то функция удаления старых чекпойнтов отключена. Эта опция может быть настроена как на сервере, так и на клиенте. Если на сервере функция отключена, то проверяется значение на клиенте. Если функция включена на сервере, то используется серверное значение, а клиентское игнорируется

1440

hadoop.tmp.dir

Корневая директория для создания временных директорий

/tmp/hadoop-${user.name}

hadoop.zk.address

Хост и порт сервера ZooKeeper

 — 

io.file.buffer.size

Размер буфера для файлов последовательностей. Размер этого буфера должен быть кратен размеру страницы в соответстувующей системе (например, 4096 для Intel x86). Значение определяет объем данных, находящихся в буфере во время операций чтения и записи

131072

net.topology.script.file.name

Название скрипта, который следует запустить для разрешения имен DNS и имен NetworkTopology

 — 

hadoop.proxyuser.hbase.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в HBase

*

hadoop.proxyuser.hbase.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в HBase

*

hadoop.proxyuser.hue.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в HUE

*

hadoop.proxyuser.hue.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в HUE

*

hadoop.proxyuser.hbase-phoenix_queryserver.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в Phoenix Query Server

*

hadoop.proxyuser.hbase-phoenix_queryserver.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в Phoenix Query Server

*

hadoop.proxyuser.hive.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в Hive

*

hadoop.proxyuser.hive.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в Hive

*

hadoop.proxyuser.httpfs.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в HttpFS

*

hadoop.proxyuser.httpfs.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в HttpFS

*

hadoop.proxyuser.HTTP.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в HTTP keytab services

*

hadoop.proxyuser.HTTP.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в HTTP keytab services

*

hadoop.proxyuser.knox.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в Knox

*

hadoop.proxyuser.knox.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в Knox

*

hadoop.proxyuser.kyuubi.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в Kyuubi

*

hadoop.proxyuser.kyuubi.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в Kyuubi

*

hadoop.proxyuser.livy.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в Livy

*

hadoop.proxyuser.livy.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в Livy

*

hadoop.proxyuser.yarn.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в YARN

*

hadoop.proxyuser.yarn.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в YARN

*

hadoop.proxyuser.zeppelin.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в Zeppelin

*

hadoop.proxyuser.zeppelin.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в Zeppelin

*

hadoop.proxyuser.trino.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в Trino

*

hadoop.proxyuser.trino.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в Trino

*

fs.s3a.endpoint

URL эндпойнта AWS S3

 — 

fs.s3a.access.key

Ключ доступа AWS S3

 — 

fs.s3a.secret.key

Секретный ключ AWS S3

 — 

fs.s3a.impl

URI класса файловой системы AWS S3

org.apache.hadoop.fs.s3a.S3AFileSystem

fs.s3a.fast.upload

Определяет, используется ли функция Fast Upload

true

fs.s3a.connection.ssl.enabled

Определяет, используется ли SSL для подключения к сервисам AWS

false

fs.s3a.path.style.access

Определяет, используется ли path-style доступ к S3

true

hadoop.proxyuser.om.groups

Список групп, перечисленных через запятую, для пользователей которых разрешен механизм имперсонации в Ozone Manager

*

hadoop.proxyuser.om.hosts

Список хостов, перечисленных через запятую. Для пользователей, выполняющих подключение с этих хостов, будет разрешен механизм имперсонации в Ozone Manager

*

ha.zookeeper.quorum

Разделенный запятыми список серверов ZooKeeper, которые будут использованы ZKFailoverController для отказоустойчивости

 — 

ipc.client.fallback-to-simple-auth-allowed

Определяет, сможет ли клиент принять инструкцию сервера по переходу на аутентификацию SASL SIMPLE (незащищенную). При значении false клиент не разрешит переход на SIMPLE-аутентификацию и оборвет соединение

true

hadoop.security.authentication

simple

hadoop.security.authorization

Определяет, разрешена ли RPC-авторизация на уровне сервиса

false

hadoop.rpc.protection

authentication

hadoop.security.auth_to_local

Правила сопоставления имен принципалов с именами локальных пользователей

 — 

User managed hadoop.security.auth_to_local

Определяет, включена ли автоматическая генерация значения параметра hadoop.security.auth_to_local

false

hadoop.http.authentication.type

simple

hadoop.http.authentication.kerberos.principal

Имя Kerberos-принципала для kerberos-аутентификации. Короткое имя принципала должно быть HTTP исходя из спецификации Kerberos HTTP SPNEGO. _HOST (если имеется) заменится на адрес связанного HTTP-сервера

HTTP/_HOST@$LOCALHOST

hadoop.http.authentication.kerberos.keytab

Местоположение keytab-файла с данными Kerberos-принципала

/etc/security/keytabs/HTTP.service.keytab

ha.zookeeper.acl

ACL для всех znode

 — 

hadoop.http.filter.initializers

Значение параметра должно содержать initializer-класс org.apache.hadoop.security.AuthenticationFilterInitializer

org.apache.hadoop.security.AuthenticationFilterInitializer

hadoop.http.authentication.signature.secret.file

Секретный файл подписи для подписи токенов аутентификации. Если параметр не задан, во время запуска генерируется случайный секретный ключ. Один и тот же секретный ключ следует использовать для всех узлов кластера, JobTracker, NameNode, DataNode и TastTracker. Этот файл должен быть доступен для чтения только пользователю Unix, запускающему демоны

/etc/security/http_secret

hadoop.http.authentication.cookie.domain

Домен, используемый для HTTP cookie, в котором хранится токен аутентификации. Для корректной аутентификации на всех узлах кластера домен должен быть установлен правильно. Значение по умолчанию отсутствует, и если параметр не задан, HTTP cookie не будет иметь домена и будет работать только с именем хоста, который выпустил cookie

 — 

hadoop.ssl.require.client.cert

Определяет, необходимы ли пользовательские сертификаты

false

hadoop.ssl.hostname.verifier

DEFAULT

hadoop.ssl.keystores.factory.class

Имя класса, имплементирующего KeyStoresFactory

org.apache.hadoop.security.ssl.FileBasedKeyStoresFactory

hadoop.ssl.server.conf

Имя файла, из которого будет извлечена информация об SSL-сервере. Поиск файла происходит в CLASSPATH. Обычно он находится в директории conf/ сервиса Hadoop

ssl-server.xml

hadoop.ssl.client.conf

Имя файла, из которого будет извлечена информация об SSL-клиенте. Поиск файла происходит в CLASSPATH. Обычно он находится в директории conf/ сервиса Hadoop

ssl-client.xml

hadoop.ssl.enabled.protocols

Поддерживаемые протоколы SSL

TLSv1.2

fs.AbstractFileSystem.ofs.impl

URI класса AbstractFileSystem для файловой системы Rooted Ozone (ofs)

org.apache.hadoop.fs.ozone.RootedOzFs

fs.ofs.impl

Класс имплементации файловой системы ofs

org.apache.hadoop.fs.ozone.RootedOzoneFileSystem

ssl.server.truststore.location

Расположение truststore-файла, используемого NameNode и DataNode

 — 

ssl.server.truststore.password

Пароль к truststore-файлу

 — 

ssl.server.truststore.type

Формат truststore-файла

jks

ssl.server.truststore.reload.interval

Интервал между проверками обновления truststore-файла в миллисекундах

10000

ssl.server.keystore.location

Расположение keystore-файла, используемого NameNode и DataNode

 — 

ssl.server.keystore.password

Пароль к keystore-файлу

 — 

ssl.server.keystore.keypassword

Пароль к ключу в keystore-файле

 — 

ssl.server.keystore.type

Формат keystore-файла

jks

ssl.client.truststore.location

Расположение truststore-файла, используемого NameNode и DataNode

 — 

ssl.client.truststore.password

Пароль к truststore-файлу

 — 

ssl.client.truststore.type

Формат truststore-файла

jks

ssl.client.truststore.reload.interval

Интервал между проверками обновления truststore-файла в миллисекундах

10000

ssl.client.keystore.location

Расположение keystore-файла, используемого NameNode и DataNode

 — 

ssl.client.keystore.password

Пароль к keystore-файлу

 — 

ssl.client.keystore.keypassword

Пароль к ключу в keystore-файле

 — 

ssl.client.keystore.type

Формат keystore-файла

jks

Custom core-site.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле core-site.xml

 — 

Custom hadoop-env.sh

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле hadoop-env.sh

 — 

Custom ssl-server.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле ssl-server.xml

 — 

Custom ssl-client.xml

В этой секции вы можете указать значения для кастомных параметров, которые не отображаются в интерфейсе ADCM, но могут присутствовать в конфигурационном файле ssl-client.xml

 — 

Custom log4j.properties

Пользовательские настройки логирования

log.conf

root_config_dir

Корневое расположение для хранения конфигураций

/srv/config

nginx_http_port

Порт HTTP для Nginx

9998

nginx_https_port

Порт HTTPS для Nginx

9998

ssl_certificate

Путь к сертификату SSL для Nginx

/etc/ssl/certs/host_cert.cert

ssl_certificate_key

Путь к ключу сертификата SSL для Nginx

/etc/ssl/host_cert.key

ssl_protocols

Версия протокола SSL, необходимая для использования SSL-транспорта

TLSv1.2