Конфигурационные параметры YARN

mapreduce.application.classpath

mapreduce.cluster.local.dir

Локальный каталог, в котором MapReduce хранит промежуточные файлы данных. В значении параметра может быть указан разделенный запятыми список каталогов на разных устройствах для распределения нагрузки на диски. Несуществующие каталоги игнорируются

/srv/hadoop-yarn/mr-local

mapreduce.framework.name

Фреймворк для выполнения MapReduce-задач. Допустимые значения: local, classic или yarn

yarn

mapreduce.jobhistory.address

Адрес MapReduce JobHistory Server (в формате <host>:<port>)

 — 

mapreduce.jobhistory.bind-host

Установка значения 0.0.0.0 приводит к тому, что MapReduce-демоны слушают все адреса и интерфейсы хостов в кластере

0.0.0.0

mapreduce.jobhistory.webapp.address

Адрес для доступа к веб-интерфейсу MapReduce JobHistory Server (в формате <host>:<port>)

 — 

mapreduce.map.env

Переменные среды для процессов map-задач, добавленные пользователем в виде списка, разделенного запятыми. Пример: VAR1=value1,VAR2=value2

HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce

mapreduce.reduce.env

Переменные среды для процессов reduce-задач, добавленные пользователем в виде списка, разделенного запятыми. Пример: VAR1=value1,VAR2=value2

HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce

yarn.app.mapreduce.am.env

HADOOP_MAPRED_HOME=/usr/lib/hadoop-mapreduce

yarn.app.mapreduce.am.staging-dir

Промежуточный каталог, используемый при отправке задач

/user

mapreduce.jobhistory.keytab

Kerberos keytab-файл для MapReduce JobHistory Server

/etc/security/keytabs/mapreduce-historyserver.service.keytab

mapreduce.jobhistory.principal

Принципал Kerberos для MapReduce JobHistory Server

mapreduce-historyserver/_HOST@REALM

mapreduce.jobhistory.http.policy

HTTP_ONLY

mapreduce.jobhistory.webapp.https.address

HTTPS-адрес веб-приложения MapReduce JobHistory Server

0.0.0.0:19890

mapreduce.shuffle.ssl.enabled

Определяет, использовать ли SSL для HTTP-endpoint shuffle

false

xasecure.audit.destination.solr.batch.filespool.dir

Путь к spool-каталогу

/srv/ranger/hdfs_plugin/audit_solr_spool

xasecure.audit.destination.solr.urls

URL сервера Solr для сохранения аудит-событий. Оставьте значение пустым или установите значение NONE при использовании ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.zookeepers

Указывает строку подключения ZooKeeper для подключения к Solr

 — 

xasecure.audit.destination.solr.force.use.inmemory.jaas.config

Использует in-memory JAAS-файл для соединения с Solr

 — 

xasecure.audit.is.enabled

Активирует аудит Ranger

true

xasecure.audit.jaas.Client.loginModuleControlFlag

Определяет требование к успешному завершению работы модуля. Возможные значения: required, requisite, sufficient или optional

 — 

xasecure.audit.jaas.Client.loginModuleName

Имя класса-аутентификатора

 — 

xasecure.audit.jaas.Client.option.keyTab

Имя keytab-файла, из которого необходимо получить секретный ключ принципала

 — 

xasecure.audit.jaas.Client.option.principal

Имя используемого принципала

 — 

xasecure.audit.jaas.Client.option.serviceName

Имя пользователя или сервиса, для которого выполнятся логин

 — 

xasecure.audit.jaas.Client.option.storeKey

Установите значение true, чтобы keytab-файл или ключ принципала сохранялись в учетных данных субъекта

false

xasecure.audit.jaas.Client.option.useKeyTab

Установите значение true, чтобы модуль получал ключ принципала из keytab-файла

false

ranger.plugin.yarn.policy.rest.url

 — 

ranger.plugin.yarn.service.name

 — 

ranger.plugin.yarn.policy.cache.dir

/srv/ranger/yarn/policycache

ranger.plugin.yarn.policy.pollIntervalMs

30000

ranger.plugin.yarn.policy.rest.client.connection.timeoutMs

Время ожидания подключения YARN-плагина RangerRestClient (в миллисекундах)

120000

ranger.plugin.yarn.policy.rest.client.read.timeoutMs

Тайм-аут на чтение для YARN-плагина RangerRestClient (в миллисекундах)

30000

Установите значение true для использования списков управления доступом Ranger

false

ranger.plugin.yarn.policy.rest.ssl.config.file

Путь к конфигурационному файлу RangerRestClient SSL плагина YARN

/etc/yarn/conf/ranger-yarn-policymgr-ssl.xml

yarn.cluster.max-application-priority

Определяет максимальный приоритет приложения в кластере. Приоритет на уровне Leaf Queue: каждая Leaf-очередь предоставляет приоритет по умолчанию администратором. Приоритет очереди по умолчанию будет использоваться для любого приложения, отправленного без явно указанного приоритета. $HADOOP_HOME/etc/hadoop/capacity-scheduler.xml является файлом конфигурации приоритетов на уровне очереди

0

URL сервера агрегации логов

 — 

Активирует агрегацию логов. Логи агрегируются из каждого контейнера и перемещаются в файловую систему, например HDFS, после завершения работы приложения. Пользователи могут настроить свойства yarn.nodemanager.remote-app-log-dir и yarn.nodemanager.remote-app-log-dir-suffix, чтобы определить, куда перемещаются логи. Доступ к логам можно получить через Application Timeline Server

true

yarn.log-aggregation.retain-seconds

Определяет, как долго хранить логи перед их удалением. Значение -1 отключает сохранение логов. Будьте осторожны: установка слишком маленького значения приведет к спаму NameNode

172800

yarn.nodemanager.local-dirs

/srv/hadoop-yarn/nm-local

Активирует функцию меток узлов

true

yarn.node-labels.fs-store.root-dir

hdfs:///system/yarn/node-labels

yarn.timeline-service.bind-host

Фактический адрес, к которому будет привязан сервер. Если этот необязательный адрес установлен, серверы RPC и Webapp будут привязаны к этому адресу и порту, указанным в yarn.timeline-service.address и yarn.timeline-service.webapp.address, соответственно. Данный параметр может быть полезен, чтобы заставить сервис слушать все интерфейсы, установив значение 0.0.0.0

0.0.0.0

yarn.timeline-service.leveldb-timeline-store.path

Сохраняет имя файла для leveldb Timeline-хранилища

/srv/hadoop-yarn/leveldb-timeline-store

yarn.nodemanager.address

Адрес менеджера контейнеров в NodeManager

0.0.0.0:8041

yarn.nodemanager.aux-services

Список сервисов, разделенных запятыми, где имя сервиса должно содержать только символы a-zA-Z0-9_ и не может начинаться с цифр

mapreduce_shuffle,spark_shuffle

yarn.nodemanager.aux-services.mapreduce_shuffle.class

Вспомогательный класс сервиса

org.apache.hadoop.mapred.ShuffleHandler

yarn.nodemanager.aux-services.spark_shuffle.class

Имя класса YarnShuffleService — внешнего shuffle-сервиса для Spark3 в YARN

org.apache.spark.network.yarn.YarnShuffleService

yarn.nodemanager.aux-services.spark_shuffle.classpath

classpath для внешнего shuffle-сервиса Spark3 в YARN. Список файлов и директорий, которые должны быть добавлены в classpath. Чтобы добавить директорию или файл в classpath, кликните

Позволяет NodeManager восстанавливаться после запуска

true

Локальный каталог файловой системы, в котором NodeManager сохраняет состояние, если функция восстановления включена

/srv/hadoop-yarn/nm-recovery

Определяет каталог для агрегации логов

/logs

Включает дополнительное обнаружение/изоляцию ресурсов в NodeManager. По умолчанию этот параметр пуст. Допустимые значения: yarn.io/gpu, yarn.io/fpga

 — 

yarn.nodemanager.resource-plugins.gpu.path-to-discovery-executables

Если yarn.nodemanager.resource.gpu.allowed-gpu-devices=auto, YARN NodeManager должен запустить бинарный файл обнаружения графического процессора (в данный момент поддерживается только nvidia-smi), чтобы получить информацию о GPU. если значение не установлено (по умолчанию), YARN NodeManager попытается самостоятельно найти файл обнаружения. Пример значения конфигурации: /usr/local/bin/nvidia-smi

/usr/bin/nvidia-smi

Включает автоматическое определение параметров узла, таких как память и CPU

true

Определяет, будут ли применяться ограничения виртуальной памяти для контейнеров

false

Типы ресурсов, которые будут использоваться для планирования. Используйте resource-types.xml для указания сведений об отдельных типах ресурсов

 — 

yarn.resourcemanager.bind-host

Фактический адрес, к которому будет привязан сервер. Если этот необязательный адрес установлен, серверы RPC и Webapp будут привязаны к этому адресу и порту, указанным в yarn.resourcemanager.address и yarn.resourcemanager.webapp.address, соответственно. При установке значения 0.0.0.0 Resource Manager слушает все интерфейсы

0.0.0.0

yarn.resourcemanager.cluster-id

Имя кластера. В режиме высокой доступности (High Availability, HA) этот параметр используется для того, чтобы Resource Manager участвовал в выборе лидера для этого кластера и чтобы он не влиял на другие кластеры

 — 

yarn.resource-types.memory-mb.increment-allocation

FairScheduler предоставляет память, равную приращениям значения параметра. Если вы отправляете задачу с запросом ресурсов, который не кратен memory-mb.increment-allocation, запрос будет округлен до ближайшего увеличения

1024

yarn.resource-types.vcores.increment-allocation

FairScheduler предоставляет vcore с приращением значения, указанного в параметре. Если вы отправляете задачу с запросом ресурсов, который не кратен vcores.increment-allocation, запрос будет округлен до ближайшего увеличения

1

yarn.resourcemanager.ha.enabled

false

Список узлов Resource Manager в кластере, в режиме высокой доступности. Для дополнительной информации смотрите описание параметра yarn.resourcemanager.ha.enabled

 — 

Имя хоста Resource Manager

 — 

Локальный путь, по которому будет храниться состояние Resource Manager при использовании org.apache.hadoop.yarn.server.resourcemanager.recovery.LeveldbRMStateStore в качестве значения для yarn.resourcemanager.store.class

/srv/hadoop-yarn/leveldb-state-store

Время между вызовами политики QueueManagementDynamicEditPolicy (в миллисекундах)

1500

Активирует ReservationSystem в ResourceManager

false

yarn.resourcemanager.reservation-system.planfollower.time-step

Частота таймера PlanFollower (в миллисекундах)

1000

Resource scheduler

Тип подключаемого планировщика для Hadoop. Доступные значения: CapacityScheduler и FairScheduler. CapacityScheduler позволяет нескольким участникам безопасно использовать общий кластер, чтобы их приложениям своевременно выделялись ресурсы с учетом ограничений выделенных мощностей. FairScheduler позволяет поровну распределять ресурсы между YARN-приложениями в больших кластерах

CapacityScheduler

Включает набор периодических мониторов (monitors, указанных в yarn.resourcemanager.scheduler.monitor.policies), которые влияют на планировщик

false

yarn.resourcemanager.scheduler.monitor.policies

Список классов SchedulingEditPolicy, взаимодействующих с планировщиком. Конкретный модуль может быть несовместим с планировщиком, другими политиками или их конфигурацией

org.apache.hadoop.yarn.server.resourcemanager.monitor.capacity.ProportionalCapacityPreemptionPolicy

yarn.resourcemanager.monitor.capacity.preemption.observe_only

Если установлено значение true, запускает политику, но в кластере не будут выполняться события вытеснения (preemption) и уничтожения

false

yarn.resourcemanager.monitor.capacity.preemption.monitoring_interval

Время между вызовами политики ProportionalCapacityPreemptionPolicy (в миллисекундах)

3000

yarn.resourcemanager.monitor.capacity.preemption.max_wait_before_kill

Время между запросом на вытеснение из приложения и уничтожением контейнера (в миллисекундах)

15000

yarn.resourcemanager.monitor.capacity.preemption.total_preemption_per_round

Максимальный процент ресурсов, вытесняемых за один раунд. Управляя этим значением, можно регулировать скорость, с которой контейнеры удаляются из кластера. После вычисления общего объема данных на вытеснение политика уменьшает это значение в пределах установленного лимита

0.1

yarn.resourcemanager.monitor.capacity.preemption.max_ignored_over_capacity

Максимальное количество ресурсов, которое может превышать целевой объем и игнорируется при вытеснении. Этот параметр определяет мертвую зону вокруг целевого объема, что помогает предотвратить погрешности вычисляемого целевого баланса. Высокие значения замедлят время достижения заданного объема и (при отсутствии natural.completions) могут помешать достижению гарантированного объема

0.1

yarn.resourcemanager.monitor.capacity.preemption.natural_termination_factor

Для определенного объекта вытеснения учитывает контейнеры с естественным сроком действия и вытесняет только процент от дельты. Это определяет скорость геометрического вхождения в мертвую зону (MAX_IGNORED_OVER_CAPACITY). Например, коэффициент завершения 0,5 вернет почти 95% ресурсов в течение 5 * #WAIT_TIME_BEFORE_KILL, даже при отсутствии естественного завершения

0.2

yarn.resourcemanager.nodes.exclude-path

Путь к файлу с узлами для исключения

/etc/hadoop/conf/exclude-path.xml

yarn.resourcemanager.nodes.include-path

Путь к файлу с узлами для включения

/etc/hadoop/conf/include-path

yarn.resourcemanager.recovery.enabled

Позволяет Resource Manager восстанавливать состояние после запуска. Если установлено значение true, необходимо указать yarn.resourcemanager.store.class

true

yarn.resourcemanager.store.class

 — 

Параметр определяет, должен ли Resource Manager публиковать системные метрики YARN в Timeline Server

true

Определяет, использовать ли имя пользователя, связанное с выделением ресурсов, в качестве имени очереди по умолчанию в случае, если имя очереди не указано. Если установлено значение false или параметр не задан, все задачи используют общую очередь по умолчанию с именем default. Значение по умолчанию — true. Если в файле распределения задана политика размещения очереди, это свойство игнорируется

true

yarn.scheduler.fair.preemption

Определяет, использовать ли вытеснение (preemption)

false

yarn.scheduler.fair.preemption.cluster-utilization-threshold

Порог использования, после которого срабатывает вытеснение (preemption). Использование определяется как максимальное отношение использования к объему среди всех ресурсов

0.8f

yarn.scheduler.fair.sizebasedweight

Определяет, следует ли предоставлять общие ресурсы отдельным приложениям в зависимости от их размера, вместо того, чтобы предоставлять равное количество ресурсов всем приложениям независимо от размера. Если установлено значение true, приложения оцениваются по формуле: натуральный логарифм единицы + (память приложения, деленная на натуральный логарифм двойки)

false

Определяет, разрешать ли несколько назначений контейнеров за один heartbeat

false

Если assignmultiple=true, параметр указывает, следует ли динамически определять количество ресурсов, выделяемых за один hearbeat. При значении true примерно половина нераспределенных ресурсов на узле выделяется контейнерам за один hearbeat

true

Если assignmultiple=true, параметр указывает максимальное количество контейнеров, которое может быть назначено за один такт. Значение по умолчанию: -1, что не устанавливает ограничений

-1

Для приложений, которые запрашивают контейнеры на определенных узлах, параметр определяет количество возможностей планирования с момента последнего назначения контейнера до размещения на другом узле. Валидное значение — число с плавающей запятой от 0 до 1, пропорциональное размеру кластера и выражающее количество возможностей планирования, которые нужно пропустить. Значение по умолчанию -1.0 означает не упускать возможности планирования

-1.0

Для приложений, которые запрашивают контейнеры на RAID-массивах, количество возможностей планирования с момента последнего назначения контейнера для ожидания перед принятием размещения на другой стойке. Выражается в виде числа с плавающей запятой от 0 до 1 пропорционального размеру кластера и представляющее количество возможностей планирования, которые необходимо упустить. Значение по умолчанию -1.0 означает не упускать возможности планирования

-1.0

При значении true могут создаваться новые очереди во время отправки приложения. Очередь приложения может быть указана как отправителем, так и параметром user-as-default-queue. При значении false каждый раз, когда приложение помещается в очередь, не указанную в файле распределения, вместо этого оно помещается в очередь default. По умолчанию true. Если в файле распределения задана политика размещения очереди, это свойство игнорируется

true

Интервал времени, в течение которого необходимо заблокировать планировщик, пересчитать fair-доли, спрос и проверить, нет ли кандидатов на вытеснение

500

Устанавливает для Resource Manager минимальное выделение ресурсов для каждого запроса контейнера (в МБ). Запросы памяти ниже этого значения вызовут исключение InvalidResourceRequestException

1024

Устанавливает для Resource Manager максимальное выделение ресурсов для каждого запроса контейнера (в МБ). Запросы памяти выше этого значения вызовут исключение InvalidResourceRequestException

4096

yarn.scheduler.minimum-allocation-vcores

Минимальное количество ресурсов (с точки зрения виртуальных ядер CPU), выделяемых Resource Manager для каждого запроса контейнера. Запросы ниже этого значения будут вызывать исключение InvalidResourceRequestException

1

Максимальное количество ресурсов (с точки зрения виртуальных ядер CPU), выделяемых Resource Manager для каждого запроса контейнера. Запросы выше этого значения будут вызывать исключение InvalidResourceRequestException

2

На стороне сервера этот параметр указывает, включен ли сервис Timeline. На стороне клиента этот параметр может использоваться, чтобы указать, хочет ли клиент использовать сервис Timeline. Если этот параметр установлен на стороне клиента и безопасность включена, YARN-клиент пытается получить токены делегирования для Timeline-сервера

true

Имя хоста веб-приложения службы временной шкалы

 — 

Активирует совместное использование ресурсов между разными источниками (Cross Origin Support, CORS) для Timeline-сервера

true

На стороне сервера этот параметр указывает, активен ли новый YARN UI v2

true

yarn.resourcemanager.proxy-user-privileges.enabled

Если установлено значение true, Resource Manager будет иметь привилегии прокси-пользователя. Если установлено значение true, Resource Manager может запрашивать новые токены делегирования hdfs от имени пользователя. Это необходимо для долговременных сервисов, поскольку срок действия токенов hdfs в конечном итоге истечет, а YARN требует новых действительных токенов для локализации и агрегации логов. Обратите внимание, что для этой опции соответствующий HDFS NameNode должен иметь Resource Manager, настроенный как прокси-пользователь, чтобы Resource Manager мог сам запрашивать новые токены от имени пользователя, когда токены истекли

false

yarn.resourcemanager.webapp.spnego-principal

Принципал Kerberos, который будет использоваться для фильтра SPNEGO для веб-интерфейса Resource Manager

HTTP/_HOST@REALM

yarn.resourcemanager.webapp.spnego-keytab-file

Kerberos keytab-файл, который будет использоваться для фильтра SPNEGO для веб-интерфейса Resource Manager

/etc/security/keytabs/HTTP.service.keytab

yarn.nodemanager.linux-container-executor.group

Группа UNIX, от имени которой должен работать linux-container-executor

yarn

yarn.resourcemanager.webapp.delegation-token-auth-filter.enabled

Флаг, позволяющий переопределить фильтр проверки подлинности Kerberos по умолчанию фильтром проверки подлинности Resource Manager, чтобы разрешить проверку подлинности с использованием токенов делегирования (возврат к Kerberos в случае отсутствия токенов). Применимо только в том случае, если тип HTTP-аутентификации задан kerberos

false

yarn.resourcemanager.principal

Принципал Kerberos для Resource Manager

yarn-resourcemanager/_HOST@REALM

yarn.resourcemanager.keytab

Kerberos keytab-файл для Resource Manager

/etc/security/keytabs/yarn-resourcemanager.service.keytab

yarn.resourcemanager.webapp.https.address

HTTPS-адрес веб-приложения Resource Manager. Если в качестве значения указан только хост, веб-приложение будет использовать случайный порт

${yarn.resourcemanager.hostname}:8090

yarn.nodemanager.principal

Принципал Kerberos для NodeManager

yarn-nodemanager/_HOST@REALM

yarn.nodemanager.keytab

Kerberos keytab-файл для NodeManager

/etc/security/keytabs/yarn-nodemanager.service.keytab

yarn.nodemanager.webapp.spnego-principal

Принципал Kerberos для использования SPNEGO-фильтра для веб-интерфейса NodeManager

HTTP/_HOST@REALM

yarn.nodemanager.webapp.spnego-keytab-file

Kerberos keytab-файл для использования SPNEGO-фильтра для веб-интерфейса NodeManager

/etc/security/keytabs/HTTP.service.keytab

yarn.nodemanager.webapp.https.address

HTTPS-адрес веб-приложения NodeManager

0.0.0.0:8044

yarn.timeline-service.http-authentication.type

simple

yarn.timeline-service.http-authentication.simple.anonymous.allowed

Указывает, разрешены ли анонимные запросы от Timeline Server с использованием simple аутентификации

true

yarn.timeline-service.http-authentication.kerberos.keytab

Kerberos keytab-файл, который используется для Timeline Server (Collector/Reader) HTTP endpoint

/etc/security/keytabs/HTTP.service.keytab

yarn.timeline-service.http-authentication.kerberos.principal

Принципал Kerberos, который испольузется для Timeline Server (Collector/Reader) HTTP endpoint

HTTP/_HOST@REALM

yarn.timeline-service.principal

Принципал Kerberos для сервиса timeline reader. Принципал NodeManager будет использован для timeline collector, так как является вспомогательным сервисом внутри NodeManager

yarn/_HOST@REALM

yarn.timeline-service.keytab

Kerberos keytab-файл для timeline reader. Keytab-файл NodeManager будет использован для timeline collector, так как является вспомогательным сервисом внутри NodeManager

/etc/security/keytabs/yarn.service.keytab

yarn.timeline-service.delegation.key.update-interval

Интервал обновления ключей делегирования

86400000

yarn.timeline-service.delegation.token.renew-interval

Интервал обновления токенов делегирования

86400000

yarn.timeline-service.delegation.token.max-lifetime

Максимальное время жизни токена

86400000

yarn.timeline-service.client.best-effort

Определяет, считать ли ошибку при получении токена делегирования ошибкой приложения (false), или клиент должен попытаться опубликовать информацию без токена (true)

false

yarn.timeline-service.webapp.https.address

HTTPS-адрес веб-приложения сервиса Timeline

${yarn.timeline-service.hostname}:8190

yarn.http.policy

HTTP_ONLY

yarn.nodemanager.container-executor.class

Имя container-executor Java-класса

org.apache.hadoop.yarn.server.nodemanager.LinuxContainerExecutor

yarn.nodemanager.recovery.supervised

Указывает, следует ли сохранять локальные данные, если в кластере присутствует NodeManager. Если установлено значение true, локальные данные могут быть восстановлены после перезапуска NodeManager

true

banned.users

СС пользователей, разделенных запятой, которые не могут запускать приложения

bin

min.user.id

Исключает других super-пользователей

500

yarn.nodemanager.webapp.cross-origin.enabled

Обеспечивает поддержку кросс-источников для веб-сервисов NodeManager

true

yarn.resourcemanager.webapp.cross-origin.enabled

Обеспечивает поддержку кросс-источников для веб-сервисов ResourceManager

true

yarn_site.enable_cors.active

Включает CORS (Cross-Origin Resource Sharing)

true

YARN_RESOURCEMANAGER_OPTS

YARN ResourceManager heap memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap для ResourceManager

-Xms1G -Xmx8G

YARN_NODEMANAGER_OPTS

YARN NodeManager heap memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap для NodeManager

 — 

YARN_TIMELINESERVER_OPTS

YARN Timeline Server heap memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap для Timeline Server

-Xms700m -Xmx8G

DECOMMISSIONED

Список хостов в состоянии DECOMMISSIONED

 — 

xasecure.policymgr.clientssl.keystore

Путь к keystore-файлу, который использует Ranger

 — 

xasecure.policymgr.clientssl.keystore.credential.file

Путь к файлу с паролями для keystore-файла

/etc/yarn/conf/ranger-yarn.jceks

xasecure.policymgr.clientssl.truststore.credential.file

Путь к truststore-файлу с учетными данными

/etc/yarn/conf/ranger-yarn.jceks

xasecure.policymgr.clientssl.truststore

Путь к truststore-файлу, который использует Ranger

 — 

xasecure.policymgr.clientssl.keystore.password

Пароль для доступа к keystore-файлу

 — 

xasecure.policymgr.clientssl.truststore.password

Пароль для доступа к truststore-файлу

 — 

HADOOP_JOB_HISTORYSERVER_OPTS

MapReduce History Server heap memory. Задает начальный (-Xms) и максимальный (-Xmx) размер Java heap для History Server

-Xms700m -Xmx8G

GPU on YARN

Определяет, использовать ли GPU на YARN

false

capacity-scheduler.xml

Содержимое файла capacity-scheduler.xml, который используется CapacityScheduler

fair-scheduler.xml

Содержимое файла fair-scheduler.xml, который используется FairScheduler

Custom mapred-site.xml

 — 

Ranger plugin enabled

false

Custom yarn-site.xml

 — 

Custom ranger-yarn-audit.xml

 — 

Custom ranger-yarn-security.xml

 — 

Custom ranger-yarn-policymgr-ssl.xml

 — 

Custom mapred-env.sh

 — 

Custom yarn-env.sh

 — 

container-executor.cfg template

 — 

Java agent path

Путь к Java-агенту JMX Prometheus

/usr/lib/adh-utils/jmx/jmx_prometheus_javaagent.jar

Prometheus metrics port

Порт, на котором будут доступны метрики YARN NodeManager в формате Prometheus

9205

Mapping config path

Путь к файлу конфигурации мэппинга метрик

/etc/hadoop/conf/jmx_yarn_nodemanager_metric_config.yml

Mapping config

Файл конфигурации мэппинга метрик

Java agent path

Путь к Java-агенту JMX Prometheus

/usr/lib/adh-utils/jmx/jmx_prometheus_javaagent.jar

Prometheus metrics port

Порт, на котором будут доступны метрики YARN ResourceManager в формате Prometheus

9204

Mapping config path

Путь к файлу конфигурации мэппинга метрик

/etc/hadoop/conf/jmx_yarn_resourcemanager_metric_config.yml

Mapping config

Файл конфигурации мэппинга метрик

Java agent path

Путь к Java-агенту JMX Prometheus

/usr/lib/adh-utils/jmx/jmx_prometheus_javaagent.jar

Prometheus metrics port

Порт, на котором будут доступны метрики YARN Timeline Server в формате Prometheus

9206

Mapping config path

Путь к файлу конфигурации мэппинга метрик

/etc/hadoop/conf/jmx_yarn_timelineserver_metric_config.yml

Mapping config

Файл конфигурации мэппинга метрик