Управление сервисом HDFS через ADCM

Елена Костюченко

Обзор

Пользовательский интерфейс ADCM позволяет выполнять действия, управляющие сервисом HDFS. За информацией о том, как их запускать, обратитесь к статье Действия с сервисами ADH.

Действия, доступные для сервиса HDFS, перечислены в таблице ниже.

Действие Описание

Start balancer

Запускает HDFS Balancer

Stop balancer

Останавливает HDFS Balancer

Add/Remove components

При выполнении этого действия открывается интерфейс распределения компонентов, где вы можете где вы можете добавить, удалить или перераспределить компоненты HDFS

DataNode Maintenance/Decommission

Позволяет переводить DataNode в режим обслуживания (maintenance), выводить их из эксплуатации (decommission) или восстанавливать работу DataNode. Данные выведенного из эксплуатации DataNode будут реплицированы на другие DataNode. Этот режим можно использовать для безопасного удаления DataNode или его отключения для долгосрочного обслуживания. Для краткосрочного вывода из эксплуатации используйте режим обслуживания. В режиме обслуживания DataNode не принимает изменения и не реплицирует и не удаляет блоки

Check disk balancer

Получает текущий статус балансировщика дисков на указанных DataNode. Чтобы просмотреть отчет, перейдите на страницу Jobs

Report disk balancer

Сообщает информацию о занятом дисковом пространстве из указанных DataNode. Чтобы просмотреть отчет, перейдите на страницу Jobs

Start disk balancer

Запускает Disk balancer

Stop disk balancer

Останавливает Disk balancer

Start mover

Запускает Mover. При выборе этого действия укажите директории, для которых нужно проверить выполнение политик хранения данных

Stop mover

Останавливает Mover

Change internal nameservices

Позволяет изменить internal nameservices. Используйте только латинские буквы и цифры

Manage Ranger plugin

Включает или отключает плагин Ranger для HDFS

Check

Выполняет проверку работоспособности сервиса и его отдельных компонентов

Start

Запускает сервис. Для этого действия доступна опция Apply configs from ADCM. Если выбрано значение true, то запуск сервиса выполняется с учетом всех параметров, указанных в настройках этого сервиса в ADCM. В противном случае настройки сервиса в ADCM игнорируются

Stop

Останавливает сервис

Remove

Удаляет сервис из кластера. Данное действие предназначено для удаления уже установленных сервисов. В то время как кнопка delete используется для удаления сервисов, чьи компоненты еще не были распределены по узлам кластера

Restart

Перезапускает сервис. Для этого действия доступна опция Apply configs from ADCM. Если выбрано значение true, то рестарт сервиса выполняется с учетом всех параметров, указанных в настройках этого сервиса в ADCM. В противном случае настройки сервиса в ADCM игнорируются ​.

Сервис поддерживает функцию Rolling restart, которая позволяет перезапускать компоненты DataNode по одному (или партиями), а не все сразу. Это помогает избежать простоя сервиса и позволяет сохранить работоспособность кластера при рестарте.

Опция Rolling restart имеет следующие параметры:

  • batch_size — количество компонентов DataNode, которые необходимо перезапустить за одну итерацию. Рестарт компонентов партиями эффективен только в случае, если настроен rack awareness, а минимальное количество стоек равно . Рекомендуется устанавливать размер партии не больше количества хостов в стойке, чтобы одновременно перезапускались хосты только одной стойки, а остальные оставались активными. Если функция rack awareness не настроена, рекомендуется использовать размер партии равный 1.

  • batch_delay — задержка в секундах между перезапусками партий компонентов.

  • health_checks — указывает, нужно ли выполнять проверку компонентов после рестарта.

  • max_failed_batches_number — максимально допустимое количество партий с ошибками при рестарте. При достижении этого значения ADCM-действие Restart завершается с ошибкой.
Действия с компонентами HDFS
Действие Описание

Check

Проверяет, правильно ли работают все экземпляры компонента в кластере

Restart

Перезапускает все экземпляры компонента в кластере

Start

Запускает все экземпляры компонента в кластере

Stop

Останавливает все экземпляры компонента в кластере

Balancer

Balancer позволяет управлять нагрузкой DataNodes в кластере. Он может помочь при неравномерном распределении данных между DataNode, например, если был создан новый узел DataNode. Balancer останавливается, когда нагрузка узлов достигает допустимого порога (Threshold) или ниже.

Порог указывается в процентах от дискового пространства и отражает то, насколько нагрузка конкретного DataNode может отличаться от нагрузки всего кластера.

После выбора действия Start balancer в появившемся окне заполните следующие поля (или оставьте их пустыми, чтобы использовать значения по умолчанию):

  • Threshold — процентное значение от 1 до 100. Значение по умолчанию — 10%. Меньшие значения сделают кластер более сбалансированным, но балансировка займет больше времени. Если значение слишком мало и нагрузка узлов постоянно меняется, кластер может не достичь сбалансированного состояния.

  • Hosts to exclude — FDQN хостов, узлы которых должны игнорироваться балансировщиком.

  • Hosts to include — FDQN хостов, узлы которых должны быть включены в процесс балансировки. По умолчанию включены все хосты.

  • Source hosts — FDQN хостов, узлы которых требуют балансировки в первую очередь. Балансировщик будет перемещать блоки только из указанных узлов данных. По умолчанию используются все хосты.

  • Idle iterations — количество итераций, в течение которых балансировщик может оставаться бездействующим, прежде чем он остановится. Значение по умолчанию — 5.

Вы можете запустить Balancer с дополнительными параметрами, используя CLI-команду balancer или изменив его параметры в файле конфигурации hdfs-site.xml.

Disk balancer

Disk balancer позволяет равномерно распределять нагрузку по дискам внутри одного узла. Вы можете добавить дополнительные диски в параметре dfs.datanode.data.dir.

Вы можете запустить балансировщик дисков с дополнительными параметрами, используя CLI-команду disk balancer или изменив его параметры в файле конфигурации hdfs-site.xml.

Mover

Mover — это инструмент переноса данных, который проверяет, соответствуют ли данные в указанном каталоге политике хранения, и, если это не так, перемещает реплики в другое хранилище, чтобы выполнить требование политики хранения.

После изменения политики хранения данных она не применяется автоматически. Используйте действие перемещения, чтобы обеспечить выполнение новой политики хранения данных.

Вы можете запустить Mover с дополнительными параметрами, используя CLI-команду mover или изменив его параметры в файле конфигурации hdfs-site.xml.

Internal nameservice

Internal nameservice — это дополнительное (внутреннее) имя для кластера HDFS, позволяющее запрашивать другой кластер HDFS из текущего. Например, для передачи данных между кластерами или создания задач.

Вы можете запрашивать любой Internal nameservice, указанный в параметре dfs.internal.nameservices файла конфигурации hdfs-site.xml. Узлы этого кластера будут отчитываться перед всеми службами имен в этом списке.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней