Управление сервисом YARN через ADCM

Елена Костюченко

Пользовательский интерфейс ADCM позволяет выполнять действия, управляющие сервисом YARN. За информацией о том, как их запускать, обратитесь к статье Действия с сервисами ADH.

Действия, доступные для сервиса YARN, перечислены в таблице ниже.

Подробное описание компонентов YARN приведено в статье Архитектура YARN.

Действие Описание

Add/Remove components

При выполнении этого действия открывается интерфейс распределения компонентов, где вы можете добавить, удалить или перераспределить компоненты YARN

NodeManager Decommission/Recommission

Позволяет выводить из эксплуатации и восстанавливать компоненты NodeManager. Данная функция может использоваться для временного вывода NodeManager из эксплуатации или для его безопасного удаления. При выполнении этого действия необходимо указать хосты с компонентами NodeManager, которые нужно вывести из эксплуатации, в списке Hosts in decommissioned mode. Для каждого элемента в списке введите полное доменное имя (FQDN) хоста (поле Enter field name), а также время старта вывода из эксплуатации в секундах (поле Enter field value). По умолчанию процесс вывода из эксплуатации стартует моментально. Когда все хосты указаны, проверьте конфигурацию и запустите действие. Чтобы применить Graceful Decommission, воспользуйтесь командой refreshNodes с параметром -g

Manage Ranger plugin

Включает или отключает плагин Ranger для YARN

Add/modify node labels

Добавляет или редактирует метки узлов. Метки узлов можно использовать для группирования узлов по типам в зависимости от их назначения или характеристик, например, для распределения ресурсов узлов между очередями. При выборе этого действия введите метки, которые будут использоваться в кластере, и их эксклюзивность (True или False). Эксклюзивность по умолчанию — True

Add/modify node-to-labels mapping

Назначает хостам метки узлов, добавленные с помощью действия Add/modify node labels. При выполнении этого действия необходимо указать FQDN хостов с компонентом NodeManager и метки, которые следует для них назначить

Reload Scheduler config

Перезагружает списки управления доступом, состояния и свойства планировщика. Используйте это действие, чтобы применить изменения, внесенные в файл конфигурации CapacityScheduler. FairScheduler не требует перезагрузки после изменения конфигурации

Remove node label

Удаляет метки узлов из кластера. При использовании этого действия введите список меток, которые хотите удалить, через запятую

Check

Выполняет проверку работоспособности сервиса и его отдельных компонентов

Start

Запускает сервис. Для этого действия доступна опция Apply configs from ADCM. Если выбрано значение true, то запуск сервиса выполняется с учетом всех параметров, указанных в настройках этого сервиса в ADCM. В противном случае настройки сервиса в ADCM игнорируются

Stop

Останавливает сервис

Remove

Удаляет сервис из кластера. Данное действие предназначено для удаления уже установленных сервисов. В то время как кнопка delete используется для удаления сервисов, чьи компоненты еще не были распределены по узлам кластера

Restart

Перезапускает сервис. Для этого действия доступна опция Apply configs from ADCM. Если выбрано значение true, то рестарт сервиса выполняется с учетом всех параметров, указанных в настройках этого сервиса в ADCM. В противном случае настройки сервиса в ADCM игнорируются ​.

Сервис поддерживает функцию Rolling restart, которая позволяет перезапускать компоненты NodeManager по одному (или партиями), а не все сразу. При использовании режима высокой доступности данная опция позволяет выполнять рестарт сервиса YARN без потери активных YARN-контейнеров.

Опция Rolling restart имеет следующие параметры:

  • batch_size — количество компонентов NodeManager, которые будут перезапущены за одну итерацию.

  • batch_delay — задержка в секундах между перезапусками партий компонентов.

  • health_checks — указывает, нужно ли выполнять проверку компонентов после рестарта.

  • max_failed_batches_number — максимально допустимое количество партий компонентов NodeManager с ошибками при рестарте. При достижении этого значения ADCM-действие Restart завершается с ошибкой.
Действия с компонентами YARN
Действие Описание

Check

Проверяет, правильно ли работают все экземпляры компонента в кластере

Restart

Перезапускает все экземпляры компонента в кластере

Start

Запускает все экземпляры компонента в кластере

Stop

Останавливает все экземпляры компонента в кластере
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней