Удаление хоста из кластера
Удаление хоста из кластера — нетривиальная операция, которую приходится выполнять, когда хост выходит из строя. Обычно при выполнении действий Remove, Move и Decommiss на недоступных хостах появляются ошибки, сообщающие о недоступности хоста. Для игнорирования таких ошибок был разработан режим обслуживания (maintenance mode).
Чтобы удалить узел из кластера, следуйте шагам ниже.
Шаг 1. Подготовка хоста
-
Включите режим обслуживания на хосте, который хотите удалить. Это можно сделать на странице Hosts или на вкладке Hosts на странице выбранного кластера, кликнув на иконку
.
Включение режима обслуживания -
Убедитесь, что фактор репликации в HDFS имеет значение не меньше, чем количество активных хостов с DataNode. В противном случае, добавьте новый хост с DataNode или уменьшите значение параметра
dfs.replication. Если этого не сделать, то NameNode перейдет в безопасный режим (safe mode), из-за чего упадут DataNode и зависимые компоненты (HBase RegionServer, Tez и т.д.).
Шаг 2. Удаление компонентов с хоста
Для удаления всех компонентов с хоста повторите следующие шаги для каждого компонента:
-
Проверьте в разделе Mapping, есть ли компонент на хосте, вышедшем из строя.
Раздел Mapping -
Если компонент размещен на недоступном хосте, перейдите в раздел Services, найдите соответствующий компоненту сервис и запустите действие удаления компонента.
Меню действий сервиса -
В появившемся окне нажмите на
возле названия недоступного хоста. Затем кликните Run и дождитесь окончания операции.
Удаление компонента
-
Некоторые компоненты нельзя удалить пока они не были добавлены на другой хост (например, HBase Master Server). В таком случае для них следует запустить действие Add в меню действий соответствующего сервиса, выбрав дополнительный хост. После окончания операции можно удалить компонент с недоступного хоста.
-
У некоторых компонентов допускается только один инстанс (instance) в кластере (например, MapReduce History Server). Если такой компонент оказался на недоступном хосте, то для него нужно выполнить действие Move в меню действий соответствующего сервиса. Когда хост находится в режиме обслуживания, для него допускается только удаление компонентов, поэтому для выполнения действия Move стоит вывести хост из режима обслуживания, а по завершении снова активировать его.
-
Если удаляемый компонент это HDFS DataNode или YARN NodeManager, то перед удалением его необходимо вывести из эксплуатации. Это можно сделать запустив действия Maintenance/Decommiss DataNodes и Decommiss/Recommiss NodeManagers в меню действий HDFS и YARN, соответственно.
-
Часть сервисов требуют перезапуска после перемещения некоторых компонентов. Так, при перемещении компонентов YARN следует перезапустить Hive и Spark; после перемещения HDFS NameNode — HBase; после перемещения Hive Metastore — Spark; после перемещения, удаления или добавления Zookeeper Server — все HA-сервисы (Hive, YARN, Flink).
