dfsadmin

Запускает клиент HDFS dfsadmin.

Использование показано ниже:

$ hdfs dfsadmin [-report [-live] [-dead] [-decommissioning] [-enteringmaintenance] [-inmaintenance]]
$ hdfs dfsadmin [-safemode enter | leave | get | wait | forceExit]
$ hdfs dfsadmin [-saveNamespace [-beforeShutdown]]
$ hdfs dfsadmin [-rollEdits]
$ hdfs dfsadmin [-restoreFailedStorage true |false |check]
$ hdfs dfsadmin [-refreshNodes]
$ hdfs dfsadmin [-setQuota <quota> <dirname>...<dirname>]
$ hdfs dfsadmin [-clrQuota <dirname>...<dirname>]
$ hdfs dfsadmin [-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>...<dirname>]
$ hdfs dfsadmin [-clrSpaceQuota [-storageType <storagetype>] <dirname>...<dirname>]
$ hdfs dfsadmin [-finalizeUpgrade]
$ hdfs dfsadmin [-rollingUpgrade [<query> |<prepare> |<finalize>]]
$ hdfs dfsadmin [-upgrade [query | finalize]]
$ hdfs dfsadmin [-refreshServiceAcl]
$ hdfs dfsadmin [-refreshUserToGroupsMappings]
$ hdfs dfsadmin [-refreshSuperUserGroupsConfiguration]
$ hdfs dfsadmin [-refreshCallQueue]
$ hdfs dfsadmin [-refresh <host:ipc_port> <key> [arg1..argn]]
$ hdfs dfsadmin [-reconfig <namenode|datanode> <host:ipc_port> <start |status |properties>]
$ hdfs dfsadmin [-printTopology]
$ hdfs dfsadmin [-refreshNamenodes datanodehost:port]
$ hdfs dfsadmin [-getVolumeReport datanodehost:port]
$ hdfs dfsadmin [-deleteBlockPool datanode-host:port blockpoolId [force]]
$ hdfs dfsadmin [-setBalancerBandwidth <bandwidth in bytes per second>]
$ hdfs dfsadmin [-getBalancerBandwidth <datanode_host:ipc_port>]
$ hdfs dfsadmin [-fetchImage <local directory>]
$ hdfs dfsadmin [-allowSnapshot <snapshotDir>]
$ hdfs dfsadmin [-disallowSnapshot <snapshotDir>]
$ hdfs dfsadmin [-shutdownDatanode <datanode_host:ipc_port> [upgrade]]
$ hdfs dfsadmin [-evictWriters <datanode_host:ipc_port>]
$ hdfs dfsadmin [-getDatanodeInfo <datanode_host:ipc_port>]
$ hdfs dfsadmin [-metasave filename]
$ hdfs dfsadmin [-triggerBlockReport [-incremental] <datanode_host:ipc_port> [-namenode <namenode_host:ipc_port>]]
$ hdfs dfsadmin [-listOpenFiles [-blockingDecommission] [-path <path>]]
$ hdfs dfsadmin [-help [cmd]]
Аргументы

--report [-live] [-dead] [-decommissioning] [-enteringmaintenance] [-inmaintenance]

Сообщает основную информацию о файловой системе и статистику. Использование dfs может отличаться от использования du, поскольку измеряет необработанное пространство, используемое репликацией, контрольными суммами, моментальными снимками и т.д. на всех DataNode. Дополнительные флаги могут использоваться для фильтрации списка отображаемых DataNodes

-safemode enter|leave|get|wait|forceExit

Команда обслуживания безопасного режима. Безопасный режим — это состояние узла имен, в котором он:

  • не принимает изменения в пространстве имен (только для чтения);

  • не реплицирует и не удаляет блоки. Безопасный режим вводится автоматически при запуске узла NameNode и автоматически выходит из безопасного режима, когда настроенный минимальный процент блоков удовлетворяет условию минимальной репликации. Если NameNode обнаружит какую-либо аномалию, то он будет находиться в безопасном режиме до тех пор, пока эта проблема не будет решена. Если эта аномалия является следствием преднамеренного действия, то администратор может использовать -safemode forceExit для выхода из безопасного режима.

Случаи, когда может потребоваться принудительный выход, следующие:

  • метаданные NameNode не согласованы. Если NameNode обнаруживает, что метаданные были изменены вне диапазона и могут привести к потери данных, то NameNode перейдет в состояние forceExit. В этот момент пользователь может либо перезапустить NameNode с правильными файлами метаданных, либо принудительно выйти из системы (если потеря данных допустима);

  • откат приводит к замене метаданных, и в редких случаях он может вызвать состояние forceExit безопасного режима в NameNode. В этом случае вы можете продолжить работу, передав команду -safemode forceExit.

В безопасный режим можно также войти вручную, но тогда и выключить его тоже можно только вручную

-saveNamespace [-beforeShutdown]

Сохранить текущее пространство имен в каталогах хранения и сбросить журнал правок. Если задана опция beforeShutdown, узел NameNode выполняет контрольную точку тогда и только тогда, когда ни одна контрольная точка не была выполнена в течение временного окна (настраиваемое количество периодов контрольных точек). Обычно этот параметр используется перед выключением узла NameNode для предотвращения возможного повреждения fsimage/editlog

-rollEdits

Сворачивает логи редактирования на активной NameNode

-restoreFailedStorage true|false|check

Эта опция включает/отключает автоматическую попытку восстановления отказавших реплик хранилища. Если отказавшее хранилище снова станет доступным, система попытается восстановить правки и/или fsimage во время контрольной точки

-refreshNodes

Перечитывает файлы hosts и exclude, чтобы обновить набор DataNodes, которым разрешено подключаться к NameNode, и те, которые должны быть выведены из эксплуатации или вновь введены в эксплуатацию

-setQuota <quota> <dirname>…<dirname>

Устанавливает квоту для каждого каталога

-clrQuota <dirname>…<dirname>

Удаляет любую квоту имен для каждого каталога. Лучше всего для каждого каталога, с сообщением об ошибках, если каталог не существует или является файлом. Не является ошибкой, если каталог не имеет квоты

-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>…<dirname>

Устанавливает квоту типа хранения на байты типа хранения, указанного для каждого каталога

-clrSpaceQuota [-storageType <storagetype>] <dirname>…<dirname>

Удаляет квоты типа хранилища, указанной для каждого каталога. Лучше всего для каждого каталога, с сообщением об ошибках, если каталог не существует или является файлом. Это не является ошибкой, если для каталога не установлена квота для указанного типа хранения Квота для конкретного типа хранения удаляется при указании опции -storageType

-finalizeUpgrade

Завершает обновления HDFS. Узлы данных удаляют свои рабочие каталоги предыдущей версии, затем то же самое делает узел имени. Это завершает процесс обновления

-rollingUpgrade [<query>|<prepare>|<finalize>]

Выполняет действия по скользящему обновлению:

  • query — запрос текущего состояния скользящего обновления;

  • prepare — подготовить новое скользящее обновление;

  • finalize — завершить текущее скользящее обновление.

-upgrade query|finalize

Выполняет запрос текущего статуса обновления. Завершить обновление HDFS (эквивалентно -finalizeUpgrade)

-refreshServiceAcl

Перезагружает файл политики авторизации на уровне сервиса

-refreshUserToGroupsMappings

Обновляет соответствий пользователей с группами

-refreshSuperUserGroupsConfiguration

Обновляет соответствия прокси групп суперпользователя

-refreshCallQueue

Перезагружает очередь вызовов из конфигурации

-refresh <host:ipc_port> <key> [arg1..argn]

Запускает runtime-refresh ресурса, указанного key, на host:ipc_port. Все остальные последующие аргументы отправляются на хост

-reconfig <datanode |namenode> <host:ipc_port> <start|status|properties>

Запускает реконфигурацию или получает статус текущей реконфигурации, или получает список реконфигурируемых свойств. Второй параметр задает тип ноды

-printTopology

Выводит дерево стоек и их узлов, о которых сообщает NameNode

-refreshNameNodes datanodehost:port

Для данной DataNode перезагружает файлы конфигурации, прекращает обслуживание удаленных блок-пулов и начинает обслуживать новые блок-пулы

-getVolumeReport datanodehost:port

Получить отчет о томе для данной DataNode

-deleteBlockPool datanode-host:port blockpoolId [force]

Если передано значение force, каталог блок-пула для данного идентификатора блок-пула на данной DataNode удаляется вместе с его содержимым, иначе каталог удаляется, только если он пуст. Команда завершится с ошибкой, если DataNode все еще обслуживает пул блоков. Используйте команду -refreshNameNodes для отключения службы данных блок-пулов на DataNode

-setBalancerBandwidth <bandwidth in bytes per second>

Изменяет пропускную способность сети, используемую каждой DataNode во время балансировки блоков HDFS. <bandwidth> — это максимальное количество байт в секунду, которое будет использоваться каждым DataNode. Это значение переопределяет параметр fs.datanode.balance.bandwidthPerSec. Новое значение не сохраняется на DataNode

-getBalancerBandwidth <datanode_host:ipc_port>

Получает пропускную способность сети (в байтах в секунду) для данной DataNode. Это максимальная пропускная способность сети, используемая узлом данных во время балансировки блоков HDFS

-fetchImage <local directory>

Загружает последний fsimage с узла NameNode и сохраняет его в указанном локальном каталоге

-allowSnapshot <snapshotDir>

Разрешение создания моментальных снимков каталога. Если операция завершается успешно, каталог становится таблицей моментальных снимков

-disallowSnapshot <snapshotDir>

Запрет на создание моментальных снимков каталога Все моментальные снимки каталога должны быть удалены перед запрещением создания моментальных снимков

-shutdownDatanode <datanode_host:ipc_port> [upgrade]

Отправляет запрос на отключение для данной DataNode

-evictWriters <datanode_host:ipc_port>

Удаляет все клиенты, которые записывают блок в DataNode. Это полезно, если вывод из эксплуатации завис из-за медленной записи

-getDatanodeInfo <datanode_host:ipc_port>

Получает информацию о данной DataNode

-metasave filename_

Сохраняет первичные структуры данных NameNode в файл в директории, указанной свойством hadoop.log.dir. Имя файла будет перезаписано, если оно существует. Имя файла будет содержать по одной строке для каждого из следующих параметров:

  • DataNodes heart beating с NameNode;

  • Блоки, ожидающие репликации;

  • Блоки, реплицируемые в настоящее время;

  • Блоки, ожидающие удаления.

-triggerBlockReport [-incremental] <datanode_host:ipc_port> [-namenode <namenode_host:ipc_port>]

Запускает блока отчета для данной DataNode Если указано -incremental, то это будет полный блочный отчет. Если указано -namenode <namenode_host:ipc_port>, отправляет блочный отчет только на указанный NameNode

-listOpenFiles [-blockingDecommission] [-path <path>]

Показывает список всех открытых файлов, которыми в настоящее время управляет NameNode вместе с именем клиента и клиентской машиной, осуществляющей доступ к ним. Список открытых файлов будет отфильтрован по заданному типу и пути. Параметр -blockingDecommission, позволяет перечислить только те открытые файлы, которые блокируют вывод узла данных из эксплуатации

-help [cmd]

Отображает справку для данной команды или для всех команд, если никакая из команд не указана

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней