Конфигурационные параметры HDFS

Encryption enable

Включает или выключает функцию шифрования учетных данных. Если опция включена, HDFS хранит учетные данные (пароли настроек, учетные данные для взаимодействия с другими сервисами) в зашифрованном виде

false

Credential provider path

Путь к хранилищу ключей JCEKS

jceks://file/etc/hadoop/conf/hadoop.jceks

Ranger plugin credential provider path

Путь к хранилищу ключей JCEKS, используемому Ranger

jceks://file/etc/hadoop/conf/ranger-hdfs.jceks

Custom jceks

Укажите значение true при использовании кастомного файла JCEKS-хранилища. Укажите значение false для использования дефолтного файла хранилища, который генерируется автоматически

false

Password file name

Имя файла в classpath сервиса, в котором хранятся пароли

hadoop_credstore_pass

hadoop.http.cross-origin.enabled

Обеспечивает поддержку кросс-источников для всех веб-сервисов

true

hadoop.http.cross-origin.allowed-origins

Список разрешенных источников, разделенных запятыми. Значения с префиксом regex интерпретируются как регулярные выражения. Значения, содержащие подстановочные знаки (*), также возможны, в этом случае генерируется регулярное выражение, использование не рекомендуется, и поддержка доступна только для обратной совместимости

*

hadoop.http.cross-origin.allowed-headers

Список разрешенных HTTP-заголовков, разделенных запятыми

X-Requested-With,Content-Type,Accept,Origin,WWW-Authenticate,Accept-Encoding,Transfer-Encoding

hadoop.http.cross-origin.allowed-methods

Список разрешенных методов, разделенных запятыми

GET,PUT,POST,OPTIONS,HEAD,DELETE

hadoop.http.cross-origin.max-age

Количество секунд, в течение которых может кешироваться предварительный запрос

1800

core_site.enable_cors.active

Включение CORS (Cross-Origin Resource Sharing)

true

dfs.client.block.write.replace-datanode-on-failure.enable

Если в процессе записи возникает сбой DataNode или ошибка сети, DFSClient попытается удалить отказавший DataNode из пайплайна, а затем продолжит запись с оставшимися DataNodes. Это приводит к уменьшению DataNodes в пайплайне. Решением является добавление новых DataNode в пайплайн. Данный параметр включает/отключает функцию добавления DataNode на глобальном уровне. Если кластер очень маленький, например, 3 узла или меньше, администраторы такого кластера могут установить политику NEVER в файле конфигурации по умолчанию или отключить эту функцию. В противном случае пользователи могут столкнуться с необычно высоким уровнем отказов пайплайна, из-за невозможности добавления новых узлов данных для замены отказавших. Чтобы получить больше информации, смотрите параметр dfs.client.block.write.replace-datanode-on-failure.policy

true

dfs.client.block.write.replace-datanode-on-failure.policy

DEFAULT

dfs.client.block.write.replace-datanode-on-failure.best-effort

Используется, только если значение dfs.client.block.write.replace-datanode-on-failure.enable равно true. Клиент попытается заменить отказавший DataNode в пайплайне записи (при условии, что политика позволяет это сделать), однако продолжит операцию записи в случае, если замена DataNode также не удалась. Рассмотрим случай, когда замена DataNode не была выполнена. В таком случае значение false приводит к исключению и запись прерывается; значение true означает, что запись должна быть возобновлена с оставшимися DataNodes. Обратите внимание, что установка для этого свойства значения true позволяет выполнять запись в пайплайн с меньшим количеством DataNodes. В результате увеличивается вероятность потери данных

false

dfs.client.block.write.replace-datanode-on-failure.min-replication

Минимальное количество репликаций, необходимых для предотвращения сбоя пайплайна записи в случае, если новые DataNodes не могут быть найдены для замены отказавших DataNodes (например, из-за сбоя сети). Если количество оставшихся DataNodes больше или равно значению этого параметра, запись продолжается в оставшиеся узлы. В противном случае будет брошено исключение. Если используется значение 0, будет брошено исключение в момент, когда замена не может быть найдена. Чтобы получить больше информации, смотрите параметр dfs.client.block.write.replace-datanode-on-failure.policy

0

dfs.balancer.dispatcherThreads

Размер пула потоков для механизма перемещения блоков балансировщика (balancer block mover) HDFS — dispatchExecutor

200

dfs.balancer.movedWinWidth

Временной интервал для отслеживания балансировщиком блоков и их местоположений (в миллисекундах)

5400000

dfs.balancer.moverThreads

Размер пула потоков для выполнения перемещений блоков — moverThreadAllocator

1000

dfs.balancer.max-size-to-move

Максимальное количество байт, которое балансировщик может переместить в одном потоке

10737418240

dfs.balancer.getBlocks.min-block-size

Минимальный размер блока (в байтах), который следует игнорировать при получении списка блоков

10485760

dfs.balancer.getBlocks.size

Общий размер блоков DataNode (в байтах), которые необходимо получить при получении исходного списка блоков

2147483648

dfs.balancer.block-move.timeout

Максимальное время перемещения блока (в миллисекундах). Если установлено значение больше 0, балансировщик прекращает ожидание завершения перемещения блока по истечении этого времени. В типичных кластерах оптимальным считается тайм-аут в 3-5 минут. Если предполагается большой объем перемещений блоков, тайм-аут необходимо увеличить. Возможны сценарии, при которых слишком много работы распределяется, и в результате многие узлы постоянно превышают ограничение по пропускной способности. В этом случае может потребоваться настройка других параметров балансировщика. По умолчанию тайм-аут отключен (0)

0

dfs.balancer.max-no-move-interval

Если время, указанное данным параметром, истекло, а блоки не были перемещены из исходного DataNode, выполнится еще одна попытка перемещения блоков из этого DataNode в текущей итерации балансировщика

60000

dfs.balancer.max-iteration-time

Максимальное количество времени для выполнения итерации балансировщика. По истечении этого времени балансировщик останавливает итерацию и анализирует действия, которые необходимо выполнить для балансировки кластера. Значение по умолчанию — 20 минут

1200000

dfs.blocksize

Размер блока по умолчанию для новых файлов (в байтах). Вы можете использовать следующие постфиксы для указания единиц размера (регистро-независимые): k (кило), m (мега), g (гига), t (тера), p (пета), e (eкзa). Например, 128k, 512m, 1g и так далее. Также вы можете указать размер в байтах, например, 134217728 для 128 МБ

134217728

dfs.client.read.shortcircuit

Активирует функцию локального чтения

true

dfs.datanode.balance.max.concurrent.moves

Максимальное количество потоков для балансировщика DataNode, ожидающих перемещения. Это значение можно изменить с помощью команды dfsadmin -reconfig

50

dfs.datanode.data.dir

Определяет, где в локальной файловой системе DFS DataNode должен хранить свои блоки. Если указаны несколько каталогов, то данные будут храниться во всех именованных каталогах, как правило, на разных устройствах. Каталоги должны быть помечены соответствующими типами хранения (SSD/DISK/ARCHIVE/RAM_DISK) для политик хранения HDFS. Типом хранилища по умолчанию служит DISK, если каталог не имеет явного тега типа хранилища. Несуществующие каталоги будут созданы, если имеются соответствующие права локальной файловой системы

/srv/hadoop-hdfs/data:DISK

dfs.disk.balancer.max.disk.throughputInMBperSec

Максимальная пропускная способность диска, с которой может работать балансировщик дисков при чтении с исходного диска. Единица измерения — МБ/с

10

dfs.disk.balancer.block.tolerance.percent

Параметр указывает, когда достигается достаточное значение для любого шага копирования (в процентах). Например, если установлено значение 10, то приближение к 10% от целевого значения считается достаточным размером. Другими словами, если размер операции перемещения составляет 20 ГБ и удается переместить 18 ГБ (20 * (1-10%)), операция перемещения считается успешной

10

dfs.disk.balancer.max.disk.errors

Во время перемещения блока с исходного на целевой диск могут возникать различные ошибки. Этот параметр определяет количество допустимых ошибок прежде чем считать перемещение между двумя дисками неудачным

5

dfs.disk.balancer.plan.valid.interval

Максимальное время, в течение которого план балансировщика дисков (набор настроек, описывающий объем данных для перемещения между двумя дисками) остается валиден. Этот параметр поддерживает различные единицы времени, как описано в dfs.heartbeat.interval. Если единица времени не указана, используются миллисекунды

1d

dfs.disk.balancer.plan.threshold.percent

Определяет порог хранения данных в процентах, при достижении которого диски принимают участие в перераспределении данных и балансировке

10

dfs.domain.socket.path

Путь к сокету домена UNIX, который будет использоваться для коммуникации между DataNode и локальными клиентами HDFS. Если в этом пути присутствует строка _PORT, она будет заменена TCP-портом DataNode. Параметр опциональный

/var/lib/hadoop-hdfs/dn_socket

dfs.hosts

Имя файла, который содержит список хостов, которым разрешено подключаться к NameNode. Путь к файлу должен быть абсолютным. Если значение пустое, разрешены все хосты

/etc/hadoop/conf/dfs.hosts

dfs.mover.movedWinWidth

Минимальный интервал времени для повторного перемещения блока в другую локацию (в миллисекундах)

5400000

dfs.mover.moverThreads

Устанавливает размер пула потоков балансировщика

1000

dfs.mover.retry.max.attempts

Максимальное количество повторных попыток, прежде чем mover посчитает перемещение неудачным

10

dfs.mover.max-no-move-interval

Указывает временной отрезок. Если время истекло, и ни один блок не был перемещен из исходного DataNode, будет предпринята еще одна попытка переместить блоки из этого DataNode в текущей итерации перемещения

60000

dfs.namenode.name.dir

Определяет, где в локальной файловой системе DFS NameNode должен хранить таблицу имен (fsimage). Если указаны несколько каталогов, то таблица имен реплицируется во все каталоги для избыточности

/srv/hadoop-hdfs/name

dfs.namenode.checkpoint.dir

Определяет, где в локальной файловой системе Secondary DFS NameNode должен хранить временные образы для слияния. Если указаны несколько каталогов, то образ реплицируется во все каталоги для избыточности

/srv/hadoop-hdfs/checkpoint

dfs.namenode.hosts.provider.classname

Имя класса, предоставляющего доступ к хост-файлам. По умолчанию используется org.apache.hadoop.hdfs.server.blockmanagement.HostFileManager, который загружает файлы, указанные в dfs.hosts и dfs.hosts.exclude. Если используется org.apache.hadoop.hdfs.server.blockmanagement.CombinedHostFileManager, этот класс загружает файл JSON, определенный в dfs.hosts. Чтобы изменить имя класса, требуется перезапуск NameNode. Команда dfsadmin -refreshNodes обновляет только файлы конфигурации, используемые классом

org.apache.hadoop.hdfs.server.blockmanagement.CombinedHostFileManager

dfs.namenode.rpc-bind-host

Фактический адрес, к которому будет привязан сервер RPC. Если этот необязательный адрес установлен, он переопределяет только часть имени хоста dfs.namenode.rpc-address. Его также можно указать для NameNode или службы имен для режимов высокой доступности или федерации. При установке значения 0.0.0.0 NameNode слушает все интерфейсы

0.0.0.0

dfs.permissions.superusergroup

Имя группы суперпользователей. В значении должно быть указано имя одной группы

hadoop

dfs.replication

Репликация блока по умолчанию. Фактическое количество репликаций можно указать при создании файла. Используется значение по умолчанию, если репликация не указана во время создания файла

3

dfs.journalnode.http-address

HTTP-адрес веб-интерфейса JournalNode

0.0.0.0:8480

dfs.journalnode.https-address

HTTPS-адрес веб-интерфейса JournalNode

0.0.0.0:8481

dfs.journalnode.rpc-address

RPC-адрес веб-интерфейса JournalNode

0.0.0.0:8485

dfs.datanode.http.address

Адрес HTTP-сервера DataNode

0.0.0.0:9864

dfs.datanode.https.address

Адрес HTTPS-сервера DataNode

0.0.0.0:9865

dfs.datanode.address

Адрес DataNode для передачи данных

0.0.0.0:9866

dfs.datanode.ipc.address

IPC-адоес DataNode

0.0.0.0:9867

dfs.namenode.http-address

Адрес веб-интерфейса dfs NameNode

0.0.0.0:9870

dfs.namenode.https-address

HTTPS-адрес NameNode

0.0.0.0:9871

dfs.ha.automatic-failover.enabled

Определяет, включен ли механизм автоматической обработки отказа

true

dfs.ha.fencing.methods

Список скриптов или Java-классов, которые будут использоваться для восстановления Active NameNode во время обработки отказа

shell(/bin/true)

dfs.journalnode.edits.dir

Каталог, в котором хранятся edit-файлы журнала

/srv/hadoop-hdfs/journalnode

dfs.namenode.shared.edits.dir

Каталог в хранилище, которое расшарено между несколькими NameNode в кластере, работающем в режиме высокой доступности. В этот каталог данные будут записываться активными узлами и считываться резервными, чтобы поддерживать синхронизацию пространств имен. Этот каталог не нужно указывать в dfs.namenode.edits.dir. В кластере без высокой доступности данный параметр следует оставить пустым

---

dfs.internal.nameservices

Уникальный идентификатор служб имен для кластера или федераций. Для одиночного кластера — укажите имя, которое будет использоваться как алиас. Для федерации HDFS — укажите через запятую все пространства имен (namespace), связанные с этим кластером. Этот параметр позволяет использовать алиас вместо IP-адреса или FQDN для некоторых команд, например: hdfs dfs -ls hdfs://<dfs.internal.nameservices>. Может содержать только латинские буквы и цифры

 — 

dfs.block.access.token.enable

Если установлено значение true, токены доступа используются для доступа к узлам данных. Если установлено значение false, токены доступа не проверяются при доступе к узлам данных

false

dfs.namenode.kerberos.principal

Имя принципала NameNode-сервиса. Обычно используется значение nn/_HOST@REALM.TLD. Каждый NameNode заменяет _HOST своим собственным полным именем хоста во время запуска. Токен _HOST позволяет использовать один и тот же параметр конфигурации на обоих NameNodes в режиме высокой доступности

nn/_HOST@REALM

dfs.namenode.keytab.file

Файл keytab, используемый каждым демоном NameNode для входа в качестве принципала. Имя принципала настраивается с помощью dfs.namenode.kerberos.principal

/etc/security/keytabs/nn.service.keytab

dfs.namenode.kerberos.internal.spnego.principal

Имя принципала HTTP Kerberos для NameNode

HTTP/_HOST@REALM

dfs.web.authentication.kerberos.principal

Имя принципала Kerberos для WebHDFS

HTTP/_HOST@REALM

dfs.web.authentication.kerberos.keytab

Kerberos keytab-файл для WebHDFS

/etc/security/keytabs/HTTP.service.keytab

dfs.journalnode.kerberos.principal

Имя принципала JournalNode. Обычно используется значение jn/_HOST@REALM.TLD. Каждый JournalNode заменяет _HOST своим собственным полным именем хоста при запуске. Токен _HOST позволяет использовать один и тот же параметр конфигурации на всех JournalNodes

jn/_HOST@REALM

dfs.journalnode.keytab.file

Файл keytab, используемый каждым демоном JournalNode для входа в качестве сервисного принципала. Имя принципала задается с помощью dfs.journalnode.kerberos.principal

/etc/security/keytabs/jn.service.keytab

dfs.journalnode.kerberos.internal.spnego.principal

HTTP/_HOST@REALM

dfs.datanode.data.dir.perm

Разрешения для каталогов в локальной файловой системе, где DFS DataNode хранит свои блоки. Разрешения могут быть восьмеричными или символьными

700

dfs.datanode.kerberos.principal

Принципал DataNode. Обычно используется значение dn/_HOST@REALM.TLD. Каждый DataNode заменяет _HOST своим собственным полным именем хоста при запуске. Токен _HOST позволяет использовать один и тот же параметр конфигурации на всех DataNodes

dn/_HOST@REALM.TLD

dfs.datanode.keytab.file

Файл keytab, используемый каждым демоном DataNode для входа в качестве принципала. Имя принципала задается с помощью dfs.datanode.kerberos.principal

/etc/security/keytabs/dn.service.keytab

dfs.http.policy

Определяет, поддерживается ли HTTPS (SSL) в HDFS. Параметр определяет HTTP-endpoint для демонов HDFS. Поддерживаются следующие значения: HTTP_ONLY — доступен только протокол http; HTTPS_ONLY — доступен только https; HTTP_AND_HTTPS — доступны http и https

HTTP_ONLY

dfs.data.transfer.protection

 — 

dfs.encrypt.data.transfer

Определяет, должны ли фактические данные блока, которые считываются/записываются из/в HDFS, шифроваться в сети. Этот параметр нужно устанавливать только для NameNodes и DataNodes, клиенты сделают это автоматически. Можно переопределить этот параметр для каждого соединения, указав пользовательскую логику через dfs.trustedchannel.resolver.class

false

dfs.encrypt.data.transfer.algorithm

Это значение может быть установлено как 3des, так и rc4. Если значение не установлено, используется настроенный по умолчанию JCE в системе (обычно 3DES). Широко распространено мнение, что 3DES более безопасен, но RC4 значительно быстрее. Обратите внимание, что если AES поддерживается и клиентом, и сервером, то этот алгоритм шифрования будет использоваться только для первоначального обмена ключами AES

3des

dfs.encrypt.data.transfer.cipher.suites

Значение параметра может быть либо пустым, либо AES/CTR/NoPadding. Если значение задано, то dfs.encrypt.data.transfer использует указанный набор шифров для шифрования данных. Если не задано, используется только алгоритм, указанный в dfs.encrypt.data.transfer.algorithm

 — 

dfs.encrypt.data.transfer.cipher.key.bitlength

Длина ключа в битах, согласованная dfsclient и datanode для шифрования. Это значение может быть установлено на 128, 192 или 256

128

ignore.secure.ports.for.testing

Позволяет игнорировать HTTPS-требования в SASL-режиме

false

dfs.client.https.need-auth

Определяет, требуется ли аутентификация сертификата клиента SSL

false

Federation nameservice

Значение nameservice федерации

ns-fed

Import configuration

Автоматически сгенерированная конфигурация импортированных кластеров

 — 

Federation configuration

Автоматически сгенерированные параметры федерации

 — 

External clusters configuration

 — 

Proxy provider

Реализация прокси-провайдера для доступа к HDFS Router в режиме высокой доступности

org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider

dfs.federation.router.rpc-address

RPC-адрес для обработки клиентских запросов к федерации

0.0.0.0:8888

dfs.federation.router.admin-address

RPC-адрес для обработки запросов администратора

0.0.0.0:8111

dfs.federation.router.http-address

HTTP-адрес для обработки веб-запросов к HDFS Router (web-интерфейс, WebHDFS REST API)

0.0.0.0:50071

dfs.federation.router.https-address

HTTPS-адрес для обработки веб-запросов к HDFS Router (web-интерфейс, WebHDFS REST API)

0.0.0.0:50071

dfs.federation.router.store.driver.zk.parent-path

Путь к родительскому znode в ZooKeeper, используемый StateStoreZooKeeperImpl

/hdfs-federation

dfs.federation.router.store.serializer

Класс для сериализации/десериализации записей хранилища состояния (state store)

org.apache.hadoop.hdfs.server.federation.store.driver.impl.StateStoreSerializerPBImpl

dfs.federation.router.store.driver.class

Реализация хранилища состояний (state store) федерации. Дефолтная реализация в качестве хранилища состояний использует ZooKeeper

org.apache.hadoop.hdfs.server.federation.store.driver.impl.StateStoreZooKeeperImpl

dfs.federation.router.file.resolver.client.class

Класс, отвечающий за разрешение путей к подкластерам в федерации

org.apache.hadoop.hdfs.server.federation.resolver.MountTableResolver

dfs.federation.router.monitor.namenode

Идентификатор NameNode для мониторинга и hearbeat-сигналов

 — 

dfs.nameservice.id

Указывает, какой nameservice ID должен использоваться клиентом по умолчанию при обращении к федерации

<current-hdfs-nameservice-id>

dfs.federation.router.default.nameserviceId

Nameservice ID подкластера по умолчанию, на который HDFS Router перенаправляет запросы, если не указаны точки монтирования

 — 

dfs.federation.router.default.nameservice.enable

Позволяет читать и записывать файлы в дефолтный подкластер

true

dfs.federation.router.rpc.enable

Позволяет HDFS Router обрабатывать клиентские RPC-запросы

true

dfs.federation.router.rpc-bind-host

Адрес RPC-сервера для привязки. Если указан этот опциональный адрес, он переопределяет только имя хоста в dfs.federation.router.rpc-address

 — 

dfs.federation.router.handler.count

Количество потоков в HDFS Router для обработки клиентских RPC-запросов

10

dfs.federation.router.handler.queue.size

Размер очереди для обработки клиентских RPC-запросов

100

dfs.federation.router.reader.count

Количество читателей в HDFS Router для обработки клиентских RPC-запросов

1

dfs.federation.router.reader.queue.size

Размер очереди для обработки клиентских RPC-запросов

100

dfs.federation.router.connection.creator.queue-size

Размер очереди создателей асинхронных соединений

100

dfs.federation.router.connection.pool-size

Размер пула соединений от HDFS Router к NameNode

1

dfs.federation.router.connection.min-active-ratio

Минимальное соотношение активных подключений от HDFS Router к NameNode

0.5f

dfs.federation.router.connection.clean.ms

Интервал в миллисекундах для выполнения проверки, следует ли удалять неиспользуемые подключения из пула соединений

10000

dfs.federation.router.enable.multiple.socket

Позволяет использовать несколько сокетов для подключений к NameNode

false

dfs.federation.router.max.concurrency.per.connection

Максимальное количество запросов, обрабатываемое одним соединением

1

dfs.federation.router.connection.pool.clean.ms

Интервал в миллисекундах для выполнения проверки, следует ли менеджеру соединений удалять неиспользуемые пулы соединений

60000

dfs.federation.router.metrics.enable

Включает/отключает генерацию метрик HDFS Router

true

dfs.federation.router.dn-report.time-out

Тайм-аут в миллисекундах для выполнения getDatanodeReport()

1000

dfs.federation.router.dn-report.cache-expire

Время валидности DataNode report

10s

dfs.federation.router.enable.get.dn.usage

Если указано true, метод RBFMetrics getNodeUsage() возвращает актуальный результат

true

dfs.federation.router.metrics.class

Класс для мониторинга RPC-системы в HDFS Router

org.apache.hadoop.hdfs.server.federation.metrics.FederationRPCPerformanceMonitor

dfs.federation.router.admin.enable

Позволяет RPC-сервису администратора в HDFS Router обрабатывать клиентские запросы

true

dfs.federation.router.admin-bind-host

Адрес для привязки RPC-сервера администратора

 — 

dfs.federation.router.admin.handler.count

Количество потоков в HDFS Router для обработки административных RPC-запросов

1

dfs.federation.router.admin.mount.check.enable

Если установлено значение true, изменения в таблице монтирования (mount table) также приводят к проверке назначения

false

dfs.federation.router.http-bind-host

Адрес для привязки HTTP-сервера. Если этот опциональный адрес установлен, он переопределяет только имя хоста в dfs.federation.router.http-address

 — 

dfs.federation.router.https-bind-host

Адрес для привязки HTTPS-сервера. Если этот опциональный адрес установлен, он переопределяет только имя хоста в dfs.federation.router.https-address

 — 

dfs.federation.router.http.enable

Включает/отключает обработку клиентских запросов к HDFS Router по HTTP

true

dfs.federation.router.fs-limits.max-component-length

Максимальное количество байт (в кодировке UTF-8) в каждом компоненте пути для HDFS Router. Поддерживаются несколько суффиксов единиц измерения размера (нечувствительны к регистру). Данный параметр аналогичен dfs.namenode.fs-limits.max-component-length на стороне NameNode. Использование значения 0 отключает ограничение

0

dfs.federation.router.namenode.resolver.client.class

Класс, определяющий принадлежность NameNode определенному подкластеру

org.apache.hadoop.hdfs.server.federation.resolver.MembershipNamenodeResolver

dfs.federation.router.store.enable

Включает доступ HDFS Router к хранилищу состояния (state store)

true

dfs.federation.router.store.connection.test

Определяет, как часто следует проверять соединение с хранилищем состояния в миллисекундах

60000

dfs.federation.router.store.driver.zk.async.max.threads

Максимальное количество потоков для реализации StateStoreZooKeeperImpl в асинхронном режиме. В настоящее время единственным поддерживаемым классом является org.apache.hadoop.hdfs.server.federation.store.driver.impl.StateStoreZooKeeperImpl. Значение по умолчанию -1 означает, что StateStoreZooKeeperImpl работает в синхронном режиме. Для включения асинхронного режима используйте положительное целое число

-1

dfs.federation.router.heartbeat.enable

Включает heartbeat-сигналы от HDFS Router к хранилищу состояния

true

dfs.federation.router.heartbeat.interval

Интервал в миллисекундах, с которым HDFS Router должен отправлять данные о своем статусе (heartbeat) хранилищу состояния

5000

dfs.federation.router.health.monitor.timeout

Тайм-аут в HDFS Router для получения объекта HAServiceStatus от NameNode

30s

dfs.federation.router.namenode.heartbeat.enable

Если установлено значение true, получает heartbeat-сигналы от NameNode и отправляет их в хранилище состояния. Если параметр не указан, используется значение dfs.federation.router.heartbeat.enable

true

dfs.federation.router.namenode.heartbeat.jmx.interval

Интервал в миллисекундах, с которым HDFS Router запрашивает JMX-отчеты у NameNode. Если установлено значение 0, JMX-отчеты запрашиваются каждый раз, когда запрашивается отчет NameNode. При использовании отрицательного значения сбор JMX-отчетов от NameNode отключается

0

dfs.federation.router.store.router.expiration

Время валидности записей состояния в миллисекундах

5m

dfs.federation.router.store.router.expiration.deletion

Время валидности записей состояния HDFS Router в миллисекундах. Записи с истекшим сроком действия удаляются. При установке отрицательного значения удаление отключается

-1

dfs.federation.router.safemode.enable

Включает безопасный режим для HDFS Router

true

dfs.federation.router.safemode.extension

Время, в течение которого маршрутизатор HDFS работает в безопасном режиме после старта. Параметр поддерживает несколько суффиксов единиц времени. Если суффикс не указан, то по умолчанию используются миллисекунды

30s

dfs.federation.router.safemode.expiration

Время, в течение которого HDFS Router не может получить доступ к хранилищу состояния для перехода в безопасный режим. Параметр поддерживает несколько суффиксов единиц времени. Если суффикс не указан, то по умолчанию используются миллисекунды

3m

dfs.federation.router.safemode.checkperiod

Интервал проверки безопасного режима в HDFS Router. Параметр поддерживает несколько суффиксов единиц времени. Если суффикс не указан, то по умолчанию используются миллисекунды

5s

dfs.federation.router.monitor.namenode.nameservice.resolution-enabled

Используется роутером для разрешения NameNode. Определяет, является ли указанный адрес NameNode доменным именем, которое необходимо разрешить

false

dfs.federation.router.monitor.namenode.nameservice.resolver.impl

Реализация для разрешения имен, используемая роутером. Используется вместе с dfs.federation.router.monitor.namenode.nameservices.resolution-enabled=true

 — 

dfs.federation.router.monitor.localnamenode.enable

Если установлено значение true, HDFS Router отслеживает NameNode на локальной машине

false

dfs.federation.router.mount-table.max-cache-size

Максимальное количество записей в кеше таблицы монтирования

10000

dfs.federation.router.mount-table.cache.enable

Включает/отключает кеширование таблиц монтирования. Отключение кеша рекомендуется при большом количестве запросов на уникальные пути

true

dfs.federation.router.quota.enable

Включает систему квот для HDFS Router. При включении не рекомендуется напрямую устанавливать/отзывать квоты подкластера, поскольку сервер администрирования маршрутизатора переопределит квоты

false

dfs.federation.router.quota-cache.update.interval

Интервал обновления кеша использования квот в HDFS Router. Данный параметр эффективен только при dfs.federation.router.quota.enable=true. Параметр поддерживает несколько суффиксов единиц времени. Если суффикс не указан, то по умолчанию используются миллисекунды

60s

dfs.federation.router.client.thread-size

Максимальное количество потоков в RouterClient для параллельного выполнения запросов

32

dfs.federation.router.client.retry.max.attempts

Максимальное количество повторных попыток при взаимодействии RouterClient с HDFS Router

3

dfs.federation.router.client.reject.overload

Установка значения true отклоняет клиентские запросы при исчерпании потоков RPC-клиента

false

dfs.federation.router.client.allow-partial-listing

Определяет, может ли HDFS Router возвращать частично сформированный список файлов для точек монтирования с несколькими назначениями (multi-destination mount point), если один из подкластеров недоступен. Значение true позволяет возвращать частично сформированный список файлов, если подкластер не работает. Значение false приведет к ошибке запроса в аналогичной ситуации

true

dfs.federation.router.client.mount-status.time-out

Тайм-аут в HDFS Router на листинг директорий, содержащих точки монтирования. В этом случае роутер должен успеть проверить таблицу монтирования, а затем проверить разрешения в подкластере. Если тайм-аут истек, возвращаются значения по умолчанию

1s

dfs.federation.router.connect.timeout

Тайм-аут для подключения HDFS Router к подкластеру

2s

dfs.federation.router.keytab.file

Keytab-файл, используемый HDFS Router для входа в систему в качестве сервисного принципала. Имя принципала указывается с помощью dfs.federation.router.kerberos.principal

 — 

dfs.federation.router.kerberos.principal

Сервисный принципал для HDFS Router. Обычно указывается в формате router/_HOST@REALM.TLD. Каждый HDFS Router при запуске заменяет _HOST на свой собственный FQDN. Использование _HOST позволяет поддерживать единую конфигурацию, если используются несколько компонентов HDFS Router в режиме высокой доступности

 — 

dfs.federation.router.kerberos.principal.hostname

Имя хоста c HDFS Router, на котором хранится данный файл конфигурации. Значение должно быть уникально для каждой машины. По умолчанию используется текущее имя хоста

 — 

dfs.federation.router.kerberos.internal.spnego.principal

Имя серверного принципала, используемого в HDFS Router для SPNEGO-аутентификации в веб-интерфейсе при включенном Kerberos. Обычно указывается в формате HTTP/_HOST@REALM.TLD. Имя принципала SPNEGO по соглашению начинается с HTTP/. Если указано значение *, веб-сервер будет пытаться войти в систему под каждым принципалом, указанным в keytab-файле (dfs.web.authentication.kerberos.keytab)

 — 

dfs.federation.router.mount-table.cache.update

Значение true активирует сервис MountTableRefreshService. Данный сервис обновляет кеш таблиц монтирования после каждого изменения в таблице. Если сервис отключен, кеш таблиц монтирования периодически обновляется сервисом StateStoreCacheUpdateService

false

dfs.federation.router.mount-table.cache.update.timeout

Время, за которое все административные серверы должны завершить обновление кеша таблиц монтирования. Параметр поддерживает несколько суффиксов единиц времени

1m

dfs.federation.router.mount-table.cache.update.client.max.time

Кеш таблиц в HDFS Router обновляется с помощью RouterClient (через RPC-вызовы). Для лучшей производительности соединения с RouterClient могут кешироваться на определенное время. Данный параметр определяет максимальное время, в течение которого объект соединения может храниться в кеше. Параметр поддерживает несколько суффиксов единиц времени. Если суффикс не указан, то по умолчанию используются миллисекунды

5m

dfs.federation.router.secret.manager.class

Класс, реализующий хранилище состояния для работы с токенами делегирования

org.apache.hadoop.hdfs.server.federation.router.security.token.ZKDelegationTokenSecretManagerImpl

dfs.federation.router.top.num.token.realowners

Количество владельцев токенов делегирования, которые необходимо отображать в JMX-метриках HDFS Router, упорядоченных по количеству выданных токенов. Значение 0 отключает формирование списка владельцев

10

dfs.federation.router.fairness.policy.controller.class

Класс контроллера fairness-политики

org.apache.hadoop.hdfs.server.federation.router.fairness.BasicFairnessPolicy

dfs.federation.router.fairness.acquire.timeout

Максимальное время ожидания разрешения

1s

dfs.federation.router.federation.rename.bandwidth

Максимальная пропускная способность для операций переименования c изменением namespace (cross-namespace rename)

10

dfs.federation.router.federation.rename.map

Максимальное количество словарей переименования (rename map), используемых при копировании

10

dfs.federation.router.federation.rename.delay

Задержка в миллисекундах для повторной попытки выполнения операции переименования

1000

dfs.federation.router.federation.rename.diff

Предел diff-записей, используемых на этапе инкрементного копирования

0

dfs.federation.router.federation.rename.option

Действие, выполняемое при переименовании c изменением пространства имен. Возможные значения: NONE и DISTCP

NONE

dfs.federation.router.federation.rename.force.close.open.file

Включает принудительное закрытие всех открытых файлов, если на этапе DIFF_DISTCP не обнаружено различий

true

dfs.federation.router.federation.rename.trash

trash

dfs.federation.router.observer.read.default

Позволяет выполнять операции чтения типа observer (выполняются резервными NameNode или observer NameNode) для всех пространств имен в федерации. Эффект параметра можно инвертировать для отдельных пространств имен, добавив их в dfs.federation.router.observer.read.overrides

false

dfs.federation.router.observer.read.overrides

Разделенный запятыми список пространств имен, для которых необходимо инвертировать чтение типа observer (dfs.federation.router.observer.read.default)

 — 

dfs.federation.router.observer.federated.state.propagation.maxsize

Максимальный размер данных состояния федерации для отправки в RPC-заголовке. Отправка данных состояния в заголовке устраняет необходимость вызова msync при каждой операции чтения за счет увеличения размера заголовка. Выбирая баланс между размером заголовка и частым запуском msync, следует учитывать количество активных пространств имен и задержку вызовов msync

5

dfs.federation.router.observer.state.id.refresh.period

Интервал обновления stateID пространства имен с помощью активной NameNode. Позволяет получать более актуальное значение stateID, в то время как observer NameNode может хранить устаревшие значения. Установка отрицательного значения отключает автоматическое обновление

15s

zk-dt-secret-manager.zkConnectionString

Строка подключения ZooKeeper для ZKDelegationTokenSecretManagerImpl

 — 

zk-dt-secret-manager.zkAuthType

Тип аутентификации для подключения к ZooKeeper

 — 

httpfs.http.administrators

Cписок управления доступом для администраторов. Используется для управления доступом к сервлетам по умолчанию для сервера HttpFS. Значение должно содержать список пользователей и групп, разделенных запятыми. Список пользователей идет первым и отделяется пробелом, за которым следует список групп, например: user1,user2 group1,group2. Указание пользователей и групп являются опциональным, поэтому вы можете определить как пользователей, так и группы, или и то, и другое. Обратите внимание, что во всех этих случаях вы всегда должны использовать начальный пробел в списке групп. Использование символа * предоставляет доступ всем пользователям и группам

*

hadoop.http.temp.dir

Каталог HttpFS для временных файлов

${hadoop.tmp.dir}/httpfs

httpfs.ssl.enabled

Определяет, включен ли SSL. По умолчанию установлено значение false, то есть SSL отключен

false

httpfs.hadoop.config.dir

Расположение каталога конфигурации Hadoop

/etc/hadoop/conf

httpfs.hadoop.authentication.type

Определяет механизм аутентификации, используемый httpfs для HTTP-клиентов. Допустимые значения: simple и kerberos. Если используется simple, клиенты должны указать имя пользователя с параметром строки запроса user.name. Если используется kerberos, клиенты должны использовать HTTP SPNEGO или токены делегирования

simple

httpfs.hadoop.authentication.kerberos.keytab

Kerberos keytab-файл с учетными данными для принципала HTTP Kerberos, используемого httpfs в HTTP-endpoint. Параметр httpfs.authentication.kerberos.keytab устарел. Вместо этого используйте hadoop.http.authentication.kerberos.keytab

/etc/security/keytabs/httpfs.service.keytab

httpfs.hadoop.authentication.kerberos.principal

Принципал HTTP Kerberos, используемый HttpFS в HTTP-endpoint. Имя принципала HTTP Kerberos должно начинаться с HTTP/ в соответствии со спецификацией Kerberos HTTP SPNEGO. Параметр httpfs.authentication.kerberos.principal устарел. Вместо этого используйте hadoop.http.authentication.kerberos.principal

HTTP/${httpfs.hostname}@${kerberos.realm}

xasecure.audit.destination.solr.batch.filespool.dir

Путь к spool-каталогу

/srv/ranger/hdfs_plugin/audit_solr_spool

xasecure.audit.destination.solr.urls

URL сервера Solr для сохранения аудит-событий. Оставьте значение пустым или установите значение NONE при использовании ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.zookeepers

Указывает строку подключения ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.force.use.inmemory.jaas.config

Использует in-memory JAAS-файл для соединения с Solr

 — 

xasecure.audit.is.enabled

Активирует аудит Ranger

true

xasecure.audit.jaas.Client.loginModuleControlFlag

Определяет требование к успешному завершению работы модуля. Возможные значения: required, requisite, sufficient или optional

 — 

xasecure.audit.jaas.Client.loginModuleName

Имя класса-аутентификатора

 — 

xasecure.audit.jaas.Client.option.keyTab

Имя keytab-файла, из которого необходимо получить секретный ключ принципала

 — 

xasecure.audit.jaas.Client.option.principal

Имя используемого принципала

 — 

xasecure.audit.jaas.Client.option.serviceName

Имя пользователя или сервиса, для которого выполнятся логин

 — 

xasecure.audit.jaas.Client.option.storeKey

Установите значение true, чтобы keytab-файл или ключ принципала сохранялись в учетных данных субъекта

false

xasecure.audit.jaas.Client.option.useKeyTab

Установите значение true, чтобы модуль получал ключ принципала из keytab-файла

false

ranger.plugin.hdfs.policy.rest.url

 — 

ranger.plugin.hdfs.service.name

 — 

ranger.plugin.hdfs.policy.cache.dir

/srv/ranger/hdfs/policycache

ranger.plugin.hdfs.policy.pollIntervalMs

30000

ranger.plugin.hdfs.policy.rest.client.connection.timeoutMs

Время ожидания подключения HDFS-плагина RangerRestClient (в миллисекундах)

120000

ranger.plugin.hdfs.policy.rest.client.read.timeoutMs

Тайм-аут на чтение для HDFS-плагина RangerRestClient (в миллисекундах)

30000

ranger.plugin.hdfs.policy.rest.ssl.config.file

Путь к конфигурационному файлу RangerRestClient для HDFS-плагина

/etc/hadoop/conf/ranger-hdfs-policymgr-ssl.xml

Sources

Список источников, которые должны быть добавлены в httpfs-env.sh

 — 

HADOOP_CONF_DIR

Каталог конфигурации Hadoop

/etc/hadoop/conf

HADOOP_LOG_DIR

Путь к директории, содержащей логи работы сервиса (файлы .log) и логи запуска (файлы .out)

${HTTPFS_LOG}

HADOOP_PID_DIR

Каталог с PID-файлами Hadoop

${HTTPFS_TEMP}

HTTPFS_SSL_ENABLED

Определяет, включен ли SSL для httpfs

false

HTTPFS_SSL_KEYSTORE_FILE

Путь к keystore-файлу

admin

HTTPFS_SSL_KEYSTORE_PASS

Пароль для доступа к keystore-файлу

admin

Final HTTPFS_ENV_OPTS

Итоговое значение параметра HTTPFS_ENV_OPTS в httpfs-env.sh

 — 

Sources

Список источников, которые должны быть добавлены в hadoop-env.sh

 — 

HDFS_NAMENODE_OPTS

NameNode Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для NameNode

-Xms1G -Xmx8G

HDFS_DATANODE_OPTS

DataNode Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для DataNode

-Xms700m -Xmx8G

HDFS_HTTPFS_OPTS

HttpFS Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для httpfs

-Xms700m -Xmx8G

HDFS_JOURNALNODE_OPTS

JournalNode Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для JournalNode

-Xms700m -Xmx8G

HDFS_ZKFC_OPTS

ZKFC Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для ZKFC

-Xms500m -Xmx8G

Final HADOOP_ENV_OPTS

Итоговое значение параметра HADOOP_ENV_OPTS в hadoop-env.sh

 — 

ssl.server.truststore.location

Truststore-файл, используемый NameNodes и DataNodes

 — 

ssl.server.truststore.password

Пароль к truststore-файлу

 — 

ssl.server.truststore.type

Формат truststore-файла

jks

ssl.server.truststore.reload.interval

Интервал между проверками на обновление truststore-файла (в миллисекундах)

10000

ssl.server.keystore.location

Путь к keystore-файлу, используемому NameNodes и DataNodes

 — 

ssl.server.keystore.password

Пароль к keystore-файлу

 — 

ssl.server.keystore.keypassword

Пароль к ключу в keystore-файле

 — 

ssl.server.keystore.type

Формат keystore-файла

 — 

DECOMMISSIONED

Когда администратор выводит DataNode из эксплуатации, DataNode сначала переходит в состояние DECOMMISSION_INPROGRESS. После того, как все блоки, принадлежащие этому DataNode, полностью реплицированы на другие хосты с учетом коэффициента репликации каждого блока, DataNode переходит в состояние DECOMMISSIONED. После этого администратор может отключить узел для выполнения долгосрочного ремонта и обслуживания, которое может занять несколько дней или недель. После обслуживания машина может быть снова введена в эксплуатацию в кластере

 — 

IN_MAINTENANCE

Иногда администраторам нужно отключить DataNodes всего на несколько минут/часов для выполнения краткосрочного ремонта или обслуживания. В таких сценариях накладные расходы на репликацию блоков HDFS, связанные с выводом из эксплуатации, могут не понадобиться, и желателен облегченный процесс. Для этого используется состояние обслуживания (IN_MAINTENANCE). Когда администратор переводит DataNode в состояние обслуживания, DataNode сначала переходит в состояние ENTERING_MAINTENANCE. После того, как все блоки, принадлежащие этому DataNode, минимально реплицируются на других хостах, DataNode будет немедленно переведен в состояние IN_MAINTENANCE. После завершения обслуживания администратор может вывести DataNode из состояния обслуживания. Кроме того, состояние обслуживания поддерживает тайм-аут, который позволяет администраторам настраивать максимальную продолжительность, в течение которой DataNode может оставаться в состоянии обслуживания. По истечении тайм-аута DataNode будет автоматически переведен из состояния обслуживания HDFS без вмешательства человека

 — 

Additional nameservices

 — 

Custom core-site.xml

 — 

Custom hdfs-site.xml

 — 

Custom httpfs-site.xml

 — 

Ranger plugin enabled

 — 

Custom ranger-hdfs-audit.xml

 — 

Custom ranger-hdfs-security.xml

 — 

Custom ranger-hdfs-policymgr-ssl.xml

 — 

Custom httpfs-env.sh

 — 

Custom hadoop-env.sh

 — 

Custom ssl-server.xml

 — 

Custom ssl-client.xml

 — 

Topology script

Скрипт топологии, используемый в HDFS

 — 

Topology data

Опциональный параметр. Текстовый файл, используемый для сопоставления имен хостов и количества стоек (rack) для скрипта топологии. Сохраняется в /etc/hadoop/conf/topology.data

 — 

Custom log4j.properties

Custom httpfs-log4j.properties

Java agent path

Путь к Java-агенту JMX Prometheus

/usr/lib/adh-utils/jmx/jmx_prometheus_javaagent.jar

Prometheus metrics port

Порт, на котором будут доступны метрики HDFS DataNode в формате Prometheus

9202

Mapping config path

Путь к файлу конфигурации мэппинга метрик

/etc/hadoop/conf/jmx_hdfs_datanode_metric_config.yml

Mapping config

Файл конфигурации мэппинга метрик

Java agent path

Путь к Java-агенту JMX Prometheus

/usr/lib/adh-utils/jmx/jmx_prometheus_javaagent.jar

Prometheus metrics port

Порт, на котором будут доступны метрики HDFS JournalNode в формате Prometheus

9203

Mapping config path

Путь к файлу конфигурации мэппинга метрик

/etc/hadoop/conf/jmx_hdfs_journalnode_metric_config.yml

Mapping config

Файл конфигурации мэппинга метрик

Java agent path

Путь к Java-агенту JMX Prometheus

/usr/lib/adh-utils/jmx/jmx_prometheus_javaagent.jar

Prometheus metrics port

Порт, на котором будут доступны метрики HDFS NameNode в формате Prometheus

9201

Mapping config path

Путь к файлу конфигурации мэппинга метрик

/etc/hadoop/conf/jmx_hdfs_namenode_metric_config.yml

Mapping config

Файл конфигурации мэппинга метрик

Username

Имя пользователя для базовой аутентификации

 — 

Password

Пароль для базовой аутентификации

 —