Управление сервисом HDFS через ADCM

Елена Костюченко

Обзор

Пользовательский интерфейс ADCM позволяет выполнять действия, управляющие сервисом HDFS. За информацией о том, как их запускать, обратитесь к статье Действия с сервисами ADH.

Действия, доступные для сервиса HDFS, перечислены в таблице ниже.

Действие Описание

Check

Выполняет проверку работоспособности сервиса и его отдельных компонентов

Start

Запускает сервис. Для этого действия доступна опция Apply configs from ADCM. Если выбрано значение true, то запуск сервиса выполняется с учетом всех параметров, указанных в настройках этого сервиса в ADCM. В противном случае настройки сервиса в ADCM игнорируются

Stop

Останавливает сервис

Restart

Перезапускает сервис. Для этого действия доступна опция Apply configs from ADCM. Если выбрано значение true, то рестарт сервиса выполняется с учетом всех параметров, указанных в настройках этого сервиса в ADCM. В противном случае настройки сервиса в ADCM игнорируются

Remove

Удаляет сервис из кластера. Данное действие предназначено для удаления уже установленных сервисов. В то время как кнопка delete используется для удаления сервисов, чьи компоненты еще не были распределены по узлам кластера

Add Client(s)

Добавляет клиент(ы) HDFS. При выполнении этого действия открывается интерфейс распределения компонентов, где вы можете добавить клиент(ы) HDFS

Remove Client(s)

Удаляет клиент(ы) HDFS. При выполнении этого действия открывается интерфейс распределения компонентов, где вы можете удалить клиент(ы) HDFS

Start balancer

Запускает HDFS Balancer

Stop balancer

Останавливает HDFS Balancer

Expand DataNode

Добавляет DataNode. При выполнении этого действия открывается интерфейс распределения компонентов, где вы можете добавить новые DataNode

Remove DataNode

Удаляет DataNode. При выполнении этого действия открывается интерфейс распределения компонентов, где вы можете удалить DataNode

Decommiss DataNodes

Позволяет реплицировать данные выбранных узлов на другие, например, чтобы безопасно удалить DataNode или отключить его для долгосрочного обслуживания. Для краткосрочного вывода из эксплуатации используйте Maintenance

Maintenance DataNodes

Выводит DataNode из эксплуатации. В этом режиме блоки данных на узле нельзя изменять, реплицировать или удалять

Recommiss DataNodes

Восстанавливает выведенный из эксплуатации DataNode и балансирует данные между узлами

Exit Maintenance Mode

Возвращает DataNode, находящийся на обслуживании, обратно в работу

Check disk balancer

Получает текущий статус балансировщика дисков на указанных DataNode. Чтобы просмотреть отчет, перейдите на страницу Jobs

Report disk balancer

Сообщает информацию о занятом дисковом пространстве из указанных DataNode. Чтобы просмотреть отчет, перейдите на страницу Jobs

Start disk balancer

Запускает Disk balancer

Stop disk balancer

Останавливает Disk balancer

Add HttpFS Server(s)

Добавляет компоненты HDFS HttpFS servers в кластер. При выполнении этого действия открывается интерфейс распределения компонентов, где вы можете добавить новые компоненты HttpFS Server(s)

Remove HttpFS Server(s)

Удаляет компоненты HDFS HttpFS servers из кластера. При выполнении этого действия открывается интерфейс распределения компонентов, где вы можете удалить компоненты HttpFS Server(s)

Add JournalNodes

Добавляет JournalNodes на выбранные хосты. При выполнении этого действия открывается интерфейс распределения компонентов, где вы можете добавить новые JournalNodes

Remove JournalNodes

Удаляет JournalNodes с выбранных хостов. При выполнении этого действия открывается интерфейс распределения компонентов, где вы можете удалить JournalNodes

Start mover

Запускает Mover. При выборе этого действия укажите директории, для которых нужно проверить выполнение политик хранения данных

Stop mover

Останавливает Mover

Add NameNode(s)

Добавляет NameNodes на выбранные хосты. При выполнении этого действия открывается интерфейс распределения компонентов, где вы можете добавить новые NameNode

Remove NameNode(s)

Удаляет NameNodes с выбранных хостов. При выполнении этого действия открывается интерфейс распределения компонентов, где вы можете удалить NameNode

Change internal nameservices

Позволяет изменить internal nameservices. Используйте только латинские буквы и цифры

Manage Ranger plugin

Включает или отключает плагин Ranger для HDFS

Balancer

Balancer позволяет управлять нагрузкой DataNodes в кластере. Он может помочь при неравномерном распределении данных между DataNode, например, если был создан новый узел DataNode. Balancer останавливается, когда нагрузка узлов достигает допустимого порога (Threshold) или ниже.

Порог указывается в процентах от дискового пространства и отражает то, насколько нагрузка конкретного DataNode может отличаться от нагрузки всего кластера.

После выбора действия Start balancer в появившемся окне заполните следующие поля (или оставьте их пустыми, чтобы использовать значения по умолчанию):

  • Threshold — процентное значение от 1 до 100. Значение по умолчанию — 10%. Меньшие значения сделают кластер более сбалансированным, но балансировка займет больше времени. Если значение слишком мало и нагрузка узлов постоянно меняется, кластер может не достичь сбалансированного состояния.

  • Hosts to exclude — FDQN хостов, узлы которых должны игнорироваться балансировщиком.

  • Hosts to include — FDQN хостов, узлы которых должны быть включены в процесс балансировки. По умолчанию включены все хосты.

  • Source hosts — FDQN хостов, узлы которых требуют балансировки в первую очередь. Балансировщик будет перемещать блоки только из указанных узлов данных. По умолчанию используются все хосты.

  • Idle iterations — количество итераций, в течение которых балансировщик может оставаться бездействующим, прежде чем он остановится. Значение по умолчанию — 5.

Вы можете запустить Balancer с дополнительными параметрами, используя CLI-команду balancer или изменив его параметры в файле конфигурации hdfs-site.xml.

Disk balancer

Disk balancer позволяет равномерно распределять нагрузку по дискам внутри одного узла. Вы можете добавить дополнительные диски в параметре dfs.datanode.data.dir.

Вы можете запустить балансировщик дисков с дополнительными параметрами, используя CLI-команду disk balancer или изменив его параметры в файле конфигурации hdfs-site.xml.

Mover

Mover — это инструмент переноса данных, который проверяет, соответствуют ли данные в указанном каталоге политике хранения, и, если это не так, перемещает реплики в другое хранилище, чтобы выполнить требование политики хранения.

После изменения политики хранения данных она не применяется автоматически. Используйте действие перемещения, чтобы обеспечить выполнение новой политики хранения данных.

Вы можете запустить Mover с дополнительными параметрами, используя CLI-команду mover или изменив его параметры в файле конфигурации hdfs-site.xml.

Internal nameservice

Internal nameservice — это дополнительное (внутреннее) имя для кластера HDFS, позволяющее запрашивать другой кластер HDFS из текущего. Например, для передачи данных между кластерами или создания задач.

Вы можете запрашивать любой Internal nameservice, указанный в параметре dfs.internal.nameservices файла конфигурации hdfs-site.xml. Узлы этого кластера будут отчитываться перед всеми службами имен в этом списке.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней