Высокая доступность (HA) и добавление/удаление YARN ResourceManager

При изначальной установке сервиса YARN в кластере ADH компонент YARN ResourceManager является единой точкой отказа (Single point of failure). Это означает, что для обслуживания хоста или в случае его отказа, весь сервис YARN становится неработоспособным. Для решения этой проблемы существует механизм высокой доступности YARN ResourceManager (high availability или HA), более подробно описанный в документации Apache Hadoop. Этот механизм предполагает больше одного хоста с YARN ResourceManager, требует сервиса ZooKeeper, но устойчив к недоступности компонента YARN ResourceManager на хостах кластера. До тех пор, пока хотя бы один хост с YARN ResourceManager остается доступным – весь сервис YARN тоже остается работоспособным.

После активации НА компонент YARN ResourceManager становится масштабируемым, что означает возможность добавления или удаления данного компонента с хостов кластера.

Для активации HA, добавления или удаления YARN ResourceManager с хостов необходимо воспользоваться соответствующими кнопками выпадающего меню, доступного по нажатию на иконку в поле “Actions” сервиса YARN (Рис.34.).

../../_images/buttons1.png

Рис. 34. Выпадающее меню “Actions” сервиса YARN

Important

Описанные далее операции не удаляют/добавляют хост из кластера – они лишь управляют компонентом YARN ResourceManager на хостах

Удаление хоста из кластера возможно в разделе “Hosts” кластера в случаях, когда к хосту не привязан ни один компонент.

Добавление хоста осуществляется согласно инструкции.

Активация HA YARN ResourceManager

Important

Операция активации высокой доступности (HA) необратима. Для функционирования сервиса YARN после активации HA требуется доступный сервис ZooKeeper и два хоста с YARN ResourceManager

Перед непосредственной активацией HA необходимо убедиться в удовлетворении двух условий:

  1. Сервис ZooKeeper установлен;
  2. В кластер ADH добавлено больше одного хоста.

Для активации высокой доступности (HA) YARN ResourceManager необходимо:

  1. Нажать кнопку “Enable ResourceManagers HA”, что приводит к появлению окна, аналогичному разделу “Hosts - Components” кластера, описанному в Размещение компонентов сервисов на хостах.
  2. Любым из двух способов назначить добавляемому компоненту хост (компонент YARN ResourceManager выделяется белым как возможный к расширению):
    • Выбрать компонент в колонке “Components” и назначить для него хост в колонке “Hosts”;
    • Выбрать хост в колонке “Hosts” и определить для него компонент в колонке “Components”.
  3. Нажать кнопку “Run” в нижней части окна.

Добавление YARN ResourceManager

Для добавления одной или нескольких дополнительных YARN ResourceManager на хосты кластера необходимо:

  1. Нажать кнопку “Add ResourceManagers”, что приводит к появлению окна, аналогичному разделу “Hosts - Components” кластера, описанному в Размещение компонентов сервисов на хостах.
  2. Любым из двух способов назначить добавляемому компоненту хост (компонент YARN ResourceManager выделяется белым как возможный к расширению):
    • Выбрать компонент в колонке “Components” и назначить для него хост в колонке “Hosts”;
    • Выбрать хост в колонке “Hosts” и определить для него компонент в колонке “Components”.
  3. Нажать кнопку “Run” в нижней части окна.

Удаление YARN ResourceManager

Important

Для функционирования сервиса YARN после активации HA требуется как минимум два хоста с YARN ResourceManager

Для удаления одной или нескольких YARN ResourceManager с хостов кластера необходимо:

  1. Нажать кнопку “Remove ResourceManagers”, что приводит к появлению окна, аналогичному разделу “Hosts - Components” кластера, описанному в Размещение компонентов сервисов на хостах.
  2. Любым из двух способов удалить привязку компонента к хосту (компонент YARN ResourceManager выделяется белым как возможный к удалению с хостов):
    • Выбрать компонент в колонке “Components” и убрать выделение с хостов в колонке “Hosts”, рамки которых выделены зеленым;
    • Выбрать хост в колонке “Hosts” и убрать выделение с компонента YARN ResourceManager в колонке “Components”, если рамка компонета YARN ResourceManager выделяется зеленым.
  3. Нажать кнопку “Run” в нижней части окна.