Конфигурационные параметры HDFS

Encryption enable

Включает или выключает функцию шифрования учетных данных. Если опция включена, HDFS хранит учетные данные (пароли настроек, учетные данные для взаимодействия с другими сервисами) в зашифрованном виде

false

Credential provider path

Путь к хранилищу ключей JCEKS

jceks://file/etc/hadoop/conf/hadoop.jceks

Ranger plugin credential provider path

Путь к хранилищу ключей JCEKS, используемому Ranger

jceks://file/etc/hadoop/conf/ranger-hdfs.jceks

Custom jceks

Укажите значение true при использовании кастомного файла JCEKS-хранилища. Укажите значение false для использования дефолтного файла хранилища, который генерируется автоматически

false

Password file name

Имя файла в classpath сервиса, в котором хранятся пароли

hadoop_credstore_pass

hadoop.http.cross-origin.enabled

Обеспечивает поддержку кросс-источников для всех веб-сервисов

true

hadoop.http.cross-origin.allowed-origins

Список разрешенных источников, разделенных запятыми. Значения с префиксом regex интерпретируются как регулярные выражения. Значения, содержащие подстановочные знаки (*), также возможны, в этом случае генерируется регулярное выражение, использование не рекомендуется, и поддержка доступна только для обратной совместимости

*

hadoop.http.cross-origin.allowed-headers

Список разрешенных HTTP-заголовков, разделенных запятыми

X-Requested-With,Content-Type,Accept,Origin,WWW-Authenticate,Accept-Encoding,Transfer-Encoding

hadoop.http.cross-origin.allowed-methods

Список разрешенных методов, разделенных запятыми

GET,PUT,POST,OPTIONS,HEAD,DELETE

hadoop.http.cross-origin.max-age

Количество секунд, в течение которых может кешироваться предварительный запрос

1800

core_site.enable_cors.active

Включение CORS (Cross-Origin Resource Sharing)

true

dfs.client.block.write.replace-datanode-on-failure.enable

Если в процессе записи возникает сбой DataNode или ошибка сети, DFSClient попытается удалить отказавший DataNode из пайплайна, а затем продолжит запись с оставшимися DataNodes. Это приводит к уменьшению DataNodes в пайплайне. Решением является добавление новых DataNode в пайплайн. Данный параметр включает/отключает функцию добавления DataNode на глобальном уровне. Если кластер очень маленький, например, 3 узла или меньше, администраторы такого кластера могут установить политику NEVER в файле конфигурации по умолчанию или отключить эту функцию. В противном случае пользователи могут столкнуться с необычно высоким уровнем отказов пайплайна, из-за невозможности добавления новых узлов данных для замены отказавших. Чтобы получить больше информации, смотрите параметр dfs.client.block.write.replace-datanode-on-failure.policy

true

dfs.client.block.write.replace-datanode-on-failure.policy

DEFAULT

dfs.client.block.write.replace-datanode-on-failure.best-effort

Используется, только если значение dfs.client.block.write.replace-datanode-on-failure.enable равно true. Клиент попытается заменить отказавший DataNode в пайплайне записи (при условии, что политика позволяет это сделать), однако продолжит операцию записи в случае, если замена DataNode также не удалась. Рассмотрим случай, когда замена DataNode не была выполнена. В таком случае значение false приводит к исключению и запись прерывается; значение true означает, что запись должна быть возобновлена с оставшимися DataNodes. Обратите внимание, что установка для этого свойства значения true позволяет выполнять запись в пайплайн с меньшим количеством DataNodes. В результате увеличивается вероятность потери данных

false

dfs.client.block.write.replace-datanode-on-failure.min-replication

Минимальное количество репликаций, необходимых для предотвращения сбоя пайплайна записи в случае, если новые DataNodes не могут быть найдены для замены отказавших DataNodes (например, из-за сбоя сети). Если количество оставшихся DataNodes больше или равно значению этого параметра, запись продолжается в оставшиеся узлы. В противном случае будет брошено исключение. Если используется значение 0, будет брошено исключение в момент, когда замена не может быть найдена. Чтобы получить больше информации, смотрите параметр dfs.client.block.write.replace-datanode-on-failure.policy

0

dfs.balancer.dispatcherThreads

Размер пула потоков для механизма перемещения блоков балансировщика (balancer block mover) HDFS — dispatchExecutor

200

dfs.balancer.movedWinWidth

Временной интервал для отслеживания балансировщиком блоков и их местоположений (в миллисекундах)

5400000

dfs.balancer.moverThreads

Размер пула потоков для выполнения перемещений блоков — moverThreadAllocator

1000

dfs.balancer.max-size-to-move

Максимальное количество байт, которое балансировщик может переместить в одном потоке

10737418240

dfs.balancer.getBlocks.min-block-size

Минимальный размер блока (в байтах), который следует игнорировать при получении списка блоков

10485760

dfs.balancer.getBlocks.size

Общий размер блоков DataNode (в байтах), которые необходимо получить при получении исходного списка блоков

2147483648

dfs.balancer.block-move.timeout

Максимальное время перемещения блока (в миллисекундах). Если установлено значение больше 0, балансировщик прекращает ожидание завершения перемещения блока по истечении этого времени. В типичных кластерах оптимальным считается тайм-аут в 3-5 минут. Если предполагается большой объем перемещений блоков, тайм-аут необходимо увеличить. Возможны сценарии, при которых слишком много работы распределяется, и в результате многие узлы постоянно превышают ограничение по пропускной способности. В этом случае может потребоваться настройка других параметров балансировщика. По умолчанию тайм-аут отключен (0)

0

dfs.balancer.max-no-move-interval

Если время, указанное данным параметром, истекло, а блоки не были перемещены из исходного DataNode, выполнится еще одна попытка перемещения блоков из этого DataNode в текущей итерации балансировщика

60000

dfs.balancer.max-iteration-time

Максимальное количество времени для выполнения итерации балансировщика. По истечении этого времени балансировщик останавливает итерацию и анализирует действия, которые необходимо выполнить для балансировки кластера. Значение по умолчанию — 20 минут

1200000

dfs.blocksize

Размер блока по умолчанию для новых файлов (в байтах). Вы можете использовать следующие постфиксы для указания единиц размера (регистро-независимые): k (кило), m (мега), g (гига), t (тера), p (пета), e (eкзa). Например, 128k, 512m, 1g и так далее. Также вы можете указать размер в байтах, например, 134217728 для 128 МБ

134217728

dfs.client.read.shortcircuit

Активирует функцию локального чтения

true

dfs.datanode.balance.max.concurrent.moves

Максимальное количество потоков для балансировщика DataNode, ожидающих перемещения. Это значение можно изменить с помощью команды dfsadmin -reconfig

50

dfs.datanode.data.dir

Определяет, где в локальной файловой системе DFS DataNode должен хранить свои блоки. Если указаны несколько каталогов, то данные будут храниться во всех именованных каталогах, как правило, на разных устройствах. Каталоги должны быть помечены соответствующими типами хранения (SSD/DISK/ARCHIVE/RAM_DISK) для политик хранения HDFS. Типом хранилища по умолчанию служит DISK, если каталог не имеет явного тега типа хранилища. Несуществующие каталоги будут созданы, если имеются соответствующие права локальной файловой системы

/srv/hadoop-hdfs/data:DISK

dfs.disk.balancer.max.disk.throughputInMBperSec

Максимальная пропускная способность диска, с которой может работать балансировщик дисков при чтении с исходного диска. Единица измерения — МБ/с

10

dfs.disk.balancer.block.tolerance.percent

Параметр указывает, когда достигается достаточное значение для любого шага копирования (в процентах). Например, если установлено значение 10, то приближение к 10% от целевого значения считается достаточным размером. Другими словами, если размер операции перемещения составляет 20 ГБ и удается переместить 18 ГБ (20 * (1-10%)), операция перемещения считается успешной

10

dfs.disk.balancer.max.disk.errors

Во время перемещения блока с исходного на целевой диск могут возникать различные ошибки. Этот параметр определяет количество допустимых ошибок прежде чем считать перемещение между двумя дисками неудачным

5

dfs.disk.balancer.plan.valid.interval

Максимальное время, в течение которого план балансировщика дисков (набор настроек, описывающий объем данных для перемещения между двумя дисками) остается валиден. Этот параметр поддерживает различные единицы времени, как описано в dfs.heartbeat.interval. Если единица времени не указана, используются миллисекунды

1d

dfs.disk.balancer.plan.threshold.percent

Определяет порог хранения данных в процентах, при достижении которого диски принимают участие в перераспределении данных и балансировке

10

dfs.domain.socket.path

Путь к сокету домена UNIX, который будет использоваться для коммуникации между DataNode и локальными клиентами HDFS. Если в этом пути присутствует строка _PORT, она будет заменена TCP-портом DataNode. Параметр опциональный

/var/lib/hadoop-hdfs/dn_socket

dfs.hosts

Имя файла, который содержит список хостов, которым разрешено подключаться к NameNode. Путь к файлу должен быть абсолютным. Если значение пустое, разрешены все хосты

/etc/hadoop/conf/dfs.hosts

dfs.mover.movedWinWidth

Минимальный интервал времени для повторного перемещения блока в другую локацию (в миллисекундах)

5400000

dfs.mover.moverThreads

Устанавливает размер пула потоков балансировщика

1000

dfs.mover.retry.max.attempts

Максимальное количество повторных попыток, прежде чем mover посчитает перемещение неудачным

10

dfs.mover.max-no-move-interval

Указывает временной отрезок. Если время истекло, и ни один блок не был перемещен из исходного DataNode, будет предпринята еще одна попытка переместить блоки из этого DataNode в текущей итерации перемещения

60000

dfs.namenode.name.dir

Определяет, где в локальной файловой системе DFS NameNode должен хранить таблицу имен (fsimage). Если указаны несколько каталогов, то таблица имен реплицируется во все каталоги для избыточности

/srv/hadoop-hdfs/name

dfs.namenode.checkpoint.dir

Определяет, где в локальной файловой системе Secondary DFS NameNode должен хранить временные образы для слияния. Если указаны несколько каталогов, то образ реплицируется во все каталоги для избыточности

/srv/hadoop-hdfs/checkpoint

dfs.namenode.hosts.provider.classname

Имя класса, предоставляющего доступ к хост-файлам. По умолчанию используется org.apache.hadoop.hdfs.server.blockmanagement.HostFileManager, который загружает файлы, указанные в dfs.hosts и dfs.hosts.exclude. Если используется org.apache.hadoop.hdfs.server.blockmanagement.CombinedHostFileManager, этот класс загружает файл JSON, определенный в dfs.hosts. Чтобы изменить имя класса, требуется перезапуск NameNode. Команда dfsadmin -refreshNodes обновляет только файлы конфигурации, используемые классом

org.apache.hadoop.hdfs.server.blockmanagement.CombinedHostFileManager

dfs.namenode.rpc-bind-host

Фактический адрес, к которому будет привязан сервер RPC. Если этот необязательный адрес установлен, он переопределяет только часть имени хоста dfs.namenode.rpc-address. Его также можно указать для NameNode или службы имен для режимов высокой доступности или федерации. При установке значения 0.0.0.0 NameNode слушает все интерфейсы

0.0.0.0

dfs.permissions.superusergroup

Имя группы суперпользователей. В значении должно быть указано имя одной группы

hadoop

dfs.replication

Репликация блока по умолчанию. Фактическое количество репликаций можно указать при создании файла. Используется значение по умолчанию, если репликация не указана во время создания файла

3

dfs.journalnode.http-address

HTTP-адрес веб-интерфейса JournalNode

0.0.0.0:8480

dfs.journalnode.https-address

HTTPS-адрес веб-интерфейса JournalNode

0.0.0.0:8481

dfs.journalnode.rpc-address

RPC-адрес веб-интерфейса JournalNode

0.0.0.0:8485

dfs.datanode.http.address

Адрес HTTP-сервера DataNode

0.0.0.0:9864

dfs.datanode.https.address

Адрес HTTPS-сервера DataNode

0.0.0.0:9865

dfs.datanode.address

Адрес DataNode для передачи данных

0.0.0.0:9866

dfs.datanode.ipc.address

IPC-адоес DataNode

0.0.0.0:9867

dfs.namenode.http-address

Адрес веб-интерфейса dfs NameNode

0.0.0.0:9870

dfs.namenode.https-address

HTTPS-адрес NameNode

0.0.0.0:9871

dfs.ha.automatic-failover.enabled

Определяет, включен ли механизм автоматической обработки отказа

true

dfs.ha.fencing.methods

Список скриптов или Java-классов, которые будут использоваться для восстановления Active NameNode во время обработки отказа

shell(/bin/true)

dfs.journalnode.edits.dir

Каталог, в котором хранятся edit-файлы журнала

/srv/hadoop-hdfs/journalnode

dfs.namenode.shared.edits.dir

Каталог в хранилище, которое расшарено между несколькими NameNode в кластере, работающем в режиме высокой доступности. В этот каталог данные будут записываться активными узлами и считываться резервными, чтобы поддерживать синхронизацию пространств имен. Этот каталог не нужно указывать в dfs.namenode.edits.dir. В кластере без высокой доступности данный параметр следует оставить пустым

---

dfs.internal.nameservices

Уникальный идентификатор служб имен для кластера или федераций. Для одиночного кластера — укажите имя, которое будет использоваться как алиас. Для федерации HDFS — укажите через запятую все пространства имен (namespace), связанные с этим кластером. Этот параметр позволяет использовать алиас вместо IP-адреса или FQDN для некоторых команд, например: hdfs dfs -ls hdfs://<dfs.internal.nameservices>. Может содержать только латинские буквы и цифры

 — 

dfs.block.access.token.enable

Если установлено значение true, токены доступа используются для доступа к узлам данных. Если установлено значение false, токены доступа не проверяются при доступе к узлам данных

false

dfs.namenode.kerberos.principal

Имя принципала NameNode-сервиса. Обычно используется значение nn/_HOST@REALM.TLD. Каждый NameNode заменяет _HOST своим собственным полным именем хоста во время запуска. Токен _HOST позволяет использовать один и тот же параметр конфигурации на обоих NameNodes в режиме высокой доступности

nn/_HOST@REALM

dfs.namenode.keytab.file

Файл keytab, используемый каждым демоном NameNode для входа в качестве принципала. Имя принципала настраивается с помощью dfs.namenode.kerberos.principal

/etc/security/keytabs/nn.service.keytab

dfs.namenode.kerberos.internal.spnego.principal

Имя принципала HTTP Kerberos для NameNode

HTTP/_HOST@REALM

dfs.web.authentication.kerberos.principal

Имя принципала Kerberos для WebHDFS

HTTP/_HOST@REALM

dfs.web.authentication.kerberos.keytab

Kerberos keytab-файл для WebHDFS

/etc/security/keytabs/HTTP.service.keytab

dfs.journalnode.kerberos.principal

Имя принципала JournalNode. Обычно используется значение jn/_HOST@REALM.TLD. Каждый JournalNode заменяет _HOST своим собственным полным именем хоста при запуске. Токен _HOST позволяет использовать один и тот же параметр конфигурации на всех JournalNodes

jn/_HOST@REALM

dfs.journalnode.keytab.file

Файл keytab, используемый каждым демоном JournalNode для входа в качестве сервисного принципала. Имя принципала задается с помощью dfs.journalnode.kerberos.principal

/etc/security/keytabs/jn.service.keytab

dfs.journalnode.kerberos.internal.spnego.principal

HTTP/_HOST@REALM

dfs.datanode.data.dir.perm

Разрешения для каталогов в локальной файловой системе, где DFS DataNode хранит свои блоки. Разрешения могут быть восьмеричными или символьными

700

dfs.datanode.kerberos.principal

Принципал DataNode. Обычно используется значение dn/_HOST@REALM.TLD. Каждый DataNode заменяет _HOST своим собственным полным именем хоста при запуске. Токен _HOST позволяет использовать один и тот же параметр конфигурации на всех DataNodes

dn/_HOST@REALM.TLD

dfs.datanode.keytab.file

Файл keytab, используемый каждым демоном DataNode для входа в качестве принципала. Имя принципала задается с помощью dfs.datanode.kerberos.principal

/etc/security/keytabs/dn.service.keytab

dfs.http.policy

Определяет, поддерживается ли HTTPS (SSL) в HDFS. Параметр определяет HTTP-endpoint для демонов HDFS. Поддерживаются следующие значения: HTTP_ONLY — доступен только протокол http; HTTPS_ONLY — доступен только https; HTTP_AND_HTTPS — доступны http и https

HTTP_ONLY

dfs.data.transfer.protection

 — 

dfs.encrypt.data.transfer

Определяет, должны ли фактические данные блока, которые считываются/записываются из/в HDFS, шифроваться в сети. Этот параметр нужно устанавливать только для NameNodes и DataNodes, клиенты сделают это автоматически. Можно переопределить этот параметр для каждого соединения, указав пользовательскую логику через dfs.trustedchannel.resolver.class

false

dfs.encrypt.data.transfer.algorithm

Это значение может быть установлено как 3des, так и rc4. Если значение не установлено, используется настроенный по умолчанию JCE в системе (обычно 3DES). Широко распространено мнение, что 3DES более безопасен, но RC4 значительно быстрее. Обратите внимание, что если AES поддерживается и клиентом, и сервером, то этот алгоритм шифрования будет использоваться только для первоначального обмена ключами AES

3des

dfs.encrypt.data.transfer.cipher.suites

Значение параметра может быть либо пустым, либо AES/CTR/NoPadding. Если значение задано, то dfs.encrypt.data.transfer использует указанный набор шифров для шифрования данных. Если не задано, используется только алгоритм, указанный в dfs.encrypt.data.transfer.algorithm

 — 

dfs.encrypt.data.transfer.cipher.key.bitlength

Длина ключа в битах, согласованная dfsclient и datanode для шифрования. Это значение может быть установлено на 128, 192 или 256

128

ignore.secure.ports.for.testing

Позволяет игнорировать HTTPS-требования в SASL-режиме

false

dfs.client.https.need-auth

Определяет, требуется ли аутентификация сертификата клиента SSL

false

httpfs.http.administrators

Cписок управления доступом для администраторов. Используется для управления доступом к сервлетам по умолчанию для сервера HttpFS. Значение должно содержать список пользователей и групп, разделенных запятыми. Список пользователей идет первым и отделяется пробелом, за которым следует список групп, например: user1,user2 group1,group2. Указание пользователей и групп являются опциональным, поэтому вы можете определить как пользователей, так и группы, или и то, и другое. Обратите внимание, что во всех этих случаях вы всегда должны использовать начальный пробел в списке групп. Использование символа * предоставляет доступ всем пользователям и группам

*

hadoop.http.temp.dir

Каталог HttpFS для временных файлов

${hadoop.tmp.dir}/httpfs

httpfs.ssl.enabled

Определяет, включен ли SSL. По умолчанию установлено значение false, то есть SSL отключен

false

httpfs.hadoop.config.dir

Расположение каталога конфигурации Hadoop

/etc/hadoop/conf

httpfs.hadoop.authentication.type

Определяет механизм аутентификации, используемый httpfs для HTTP-клиентов. Допустимые значения: simple и kerberos. Если используется simple, клиенты должны указать имя пользователя с параметром строки запроса user.name. Если используется kerberos, клиенты должны использовать HTTP SPNEGO или токены делегирования

simple

httpfs.hadoop.authentication.kerberos.keytab

Kerberos keytab-файл с учетными данными для принципала HTTP Kerberos, используемого httpfs в HTTP-endpoint. Параметр httpfs.authentication.kerberos.keytab устарел. Вместо этого используйте hadoop.http.authentication.kerberos.keytab

/etc/security/keytabs/httpfs.service.keytab

httpfs.hadoop.authentication.kerberos.principal

Принципал HTTP Kerberos, используемый HttpFS в HTTP-endpoint. Имя принципала HTTP Kerberos должно начинаться с HTTP/ в соответствии со спецификацией Kerberos HTTP SPNEGO. Параметр httpfs.authentication.kerberos.principal устарел. Вместо этого используйте hadoop.http.authentication.kerberos.principal

HTTP/${httpfs.hostname}@${kerberos.realm}

xasecure.audit.destination.solr.batch.filespool.dir

Путь к spool-каталогу

/srv/ranger/hdfs_plugin/audit_solr_spool

xasecure.audit.destination.solr.urls

URL сервера Solr для сохранения аудит-событий. Оставьте значение пустым или установите значение NONE при использовании ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.zookeepers

Указывает строку подключения ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.force.use.inmemory.jaas.config

Использует in-memory JAAS-файл для соединения с Solr

 — 

xasecure.audit.is.enabled

Активирует аудит Ranger

true

xasecure.audit.jaas.Client.loginModuleControlFlag

Определяет требование к успешному завершению работы модуля. Возможные значения: required, requisite, sufficient или optional

 — 

xasecure.audit.jaas.Client.loginModuleName

Имя класса-аутентификатора

 — 

xasecure.audit.jaas.Client.option.keyTab

Имя keytab-файла, из которого необходимо получить секретный ключ принципала

 — 

xasecure.audit.jaas.Client.option.principal

Имя используемого принципала

 — 

xasecure.audit.jaas.Client.option.serviceName

Имя пользователя или сервиса, для которого выполнятся логин

 — 

xasecure.audit.jaas.Client.option.storeKey

Установите значение true, чтобы keytab-файл или ключ принципала сохранялись в учетных данных субъекта

false

xasecure.audit.jaas.Client.option.useKeyTab

Установите значение true, чтобы модуль получал ключ принципала из keytab-файла

false

ranger.plugin.hdfs.policy.rest.url

 — 

ranger.plugin.hdfs.service.name

 — 

ranger.plugin.hdfs.policy.cache.dir

/srv/ranger/hdfs/policycache

ranger.plugin.hdfs.policy.pollIntervalMs

30000

ranger.plugin.hdfs.policy.rest.client.connection.timeoutMs

Время ожидания подключения HDFS-плагина RangerRestClient (в миллисекундах)

120000

ranger.plugin.hdfs.policy.rest.client.read.timeoutMs

Тайм-аут на чтение для HDFS-плагина RangerRestClient (в миллисекундах)

30000

ranger.plugin.hdfs.policy.rest.ssl.config.file

Путь к конфигурационному файлу RangerRestClient для HDFS-плагина

/etc/hadoop/conf/ranger-hdfs-policymgr-ssl.xml

Sources

Список источников, которые должны быть добавлены в httpfs-env.sh

 — 

HADOOP_CONF_DIR

Каталог конфигурации Hadoop

/etc/hadoop/conf

HADOOP_LOG_DIR

Расположение каталога с логами

${HTTPFS_LOG}

HADOOP_PID_DIR

Каталог с PID-файлами Hadoop

${HTTPFS_TEMP}

HTTPFS_SSL_ENABLED

Определяет, включен ли SSL для httpfs

false

HTTPFS_SSL_KEYSTORE_FILE

Путь к keystore-файлу

admin

HTTPFS_SSL_KEYSTORE_PASS

Пароль для доступа к keystore-файлу

admin

Final HTTPFS_ENV_OPTS

Итоговое значение параметра HTTPFS_ENV_OPTS в httpfs-env.sh

 — 

Sources

Список источников, которые должны быть добавлены в hadoop-env.sh

 — 

HDFS_NAMENODE_OPTS

NameNode Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для NameNode

-Xms1G -Xmx8G

HDFS_DATANODE_OPTS

DataNode Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для DataNode

-Xms700m -Xmx8G

HDFS_HTTPFS_OPTS

HttpFS Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для httpfs

-Xms700m -Xmx8G

HDFS_JOURNALNODE_OPTS

JournalNode Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для JournalNode

-Xms700m -Xmx8G

HDFS_ZKFC_OPTS

ZKFC Heap Memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap и параметры среды для ZKFC

-Xms500m -Xmx8G

Final HADOOP_ENV_OPTS

Итоговое значение параметра HADOOP_ENV_OPTS в hadoop-env.sh

 — 

ssl.server.truststore.location

Truststore-файл, используемый NameNodes и DataNodes

 — 

ssl.server.truststore.password

Пароль к truststore-файлу

 — 

ssl.server.truststore.type

Формат truststore-файла

jks

ssl.server.truststore.reload.interval

Интервал между проверками на обновление truststore-файла (в миллисекундах)

10000

ssl.server.keystore.location

Путь к keystore-файлу, используемому NameNodes и DataNodes

 — 

ssl.server.keystore.password

Пароль к keystore-файлу

 — 

ssl.server.keystore.keypassword

Пароль к ключу в keystore-файле

 — 

ssl.server.keystore.type

Формат keystore-файла

 — 

DECOMMISSIONED

Когда администратор выводит DataNode из эксплуатации, DataNode сначала переходит в состояние DECOMMISSION_INPROGRESS. После того, как все блоки, принадлежащие этому DataNode, полностью реплицированы на другие хосты с учетом коэффициента репликации каждого блока, DataNode переходит в состояние DECOMMISSIONED. После этого администратор может отключить узел для выполнения долгосрочного ремонта и обслуживания, которое может занять несколько дней или недель. После обслуживания машина может быть снова введена в эксплуатацию в кластере

 — 

IN_MAINTENANCE

Иногда администраторам нужно отключить DataNodes всего на несколько минут/часов для выполнения краткосрочного ремонта или обслуживания. В таких сценариях накладные расходы на репликацию блоков HDFS, связанные с выводом из эксплуатации, могут не понадобиться, и желателен облегченный процесс. Для этого используется состояние обслуживания (IN_MAINTENANCE). Когда администратор переводит DataNode в состояние обслуживания, DataNode сначала переходит в состояние ENTERING_MAINTENANCE. После того, как все блоки, принадлежащие этому DataNode, минимально реплицируются на других хостах, DataNode будет немедленно переведен в состояние IN_MAINTENANCE. После завершения обслуживания администратор может вывести DataNode из состояния обслуживания. Кроме того, состояние обслуживания поддерживает тайм-аут, который позволяет администраторам настраивать максимальную продолжительность, в течение которой DataNode может оставаться в состоянии обслуживания. По истечении тайм-аута DataNode будет автоматически переведен из состояния обслуживания HDFS без вмешательства человека

 — 

Additional nameservices

 — 

Custom core-site.xml

 — 

Custom hdfs-site.xml

 — 

Custom httpfs-site.xml

 — 

Ranger plugin enabled

 — 

Custom ranger-hdfs-audit.xml

 — 

Custom ranger-hdfs-security.xml

 — 

Custom ranger-hdfs-policymgr-ssl.xml

 — 

Custom httpfs-env.sh

 — 

Custom hadoop-env.sh

 — 

Custom ssl-server.xml

 — 

Custom ssl-client.xml

 — 

Topology script

Скрипт топологии, используемый в HDFS

 — 

Topology data

Опциональный параметр. Текстовый файл, используемый для сопоставления имен хостов и количества стоек (rack) для скрипта топологии. Сохраняется в /etc/hadoop/conf/topology.data

 — 

Custom log4j.properties

Custom httpfs-log4j.properties

Java agent path

Путь к Java-агенту JMX Prometheus

/usr/lib/adh-utils/jmx/jmx_prometheus_javaagent.jar

Prometheus metrics port

Порт, на котором будут доступны метрики HDFS DataNode в формате Prometheus

9202

Mapping config path

Путь к файлу конфигурации мэппинга метрик

/etc/hadoop/conf/jmx_hdfs_datanode_metric_config.yml

Mapping config

Файл конфигурации мэппинга метрик

Java agent path

Путь к Java-агенту JMX Prometheus

/usr/lib/adh-utils/jmx/jmx_prometheus_javaagent.jar

Prometheus metrics port

Порт, на котором будут доступны метрики HDFS JournalNode в формате Prometheus

9203

Mapping config path

Путь к файлу конфигурации мэппинга метрик

/etc/hadoop/conf/jmx_hdfs_journalnode_metric_config.yml

Mapping config

Файл конфигурации мэппинга метрик

Java agent path

Путь к Java-агенту JMX Prometheus

/usr/lib/adh-utils/jmx/jmx_prometheus_javaagent.jar

Prometheus metrics port

Порт, на котором будут доступны метрики HDFS NameNode в формате Prometheus

9201

Mapping config path

Путь к файлу конфигурации мэппинга метрик

/etc/hadoop/conf/jmx_hdfs_namenode_metric_config.yml

Mapping config

Файл конфигурации мэппинга метрик