Hadoop CLI

Обзор

Эта статья содержит справочную документацию по оболочке Hadoop shell CLI.

ПРИМЕЧАНИЕ

В настоящее время команда hadoop dfs устарела.

Все команды и подпроекты Hadoop имеют одну и ту же базовую структуру:

$ shellcommand [SHELL_OPTIONS] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
Базовая структура оболочки Hadoop

shellcommand

Команда вызываемого проекта. Например, в Hadoop обычно используется hadoop, в HDFS — hdfs, а в YARN — yarn

SHELL_OPTIONS

Параметры, которые оболочка (shell) обрабатывает перед выполнением Java

COMMAND

Действия для выполнения

GENERIC_OPTIONS

Общий набор опций, поддерживаемых несколькими командами

COMMAND_OPTIONS

Различные варианты опций для подпроектов Hadoop

Все команды командного интерпретатора принимают общий набор параметров. Для некоторых команд эти параметры игнорируются. Например, передача параметра --hostnames команде, которая выполняется только на одном хосте, будет проигнорирована.

Shell options

--buildpaths

Позволяет использовать версии JAR для разработчиков

--config confdir

Перезаписывает каталог конфигурации по умолчанию. По умолчанию используется $HADOOP_HOME/etc/hadoop

--daemon mode

Если команда поддерживает демонизацию (например, hdfs namenode), то она выполняется в соответствующем режиме.

Поддерживаются следующие режимы: start для запуска процесса в режиме демона, stop для остановки процесса и status для определения активного состояния процесса.

Статус возвращает код результата, см. LSB-compliant.

Если опция не указана, команды, поддерживающие демонизацию, будут выполняться в фоновом режиме.

Для команд, которые не поддерживают демонизацию, этот параметр игнорируется

--debug

Включает отладочную информацию о конфигурации на уровне оболочки

--help

Выводит справочную информацию об использовании всех команд

--hostnames

Если используется аргумент --workers, то происходит переопределение файла workers со списком имен хостов, разделенных пробелами, для выполнения подкоманды на нескольких хостах.

Если аргумент --workers не используется, то параметр --hostnames игнорируется

--hosts

Когда используется аргумент --workers, происходит подмена файла workers другим файлом, содержащим список имен хостов для выполнения мультихостовой подкоманды.

Если аргумент --workers не используется, то параметр -hosts игнорируется

--loglevel loglevel

Отменяет уровень логов. Доступные уровни логов: FATAL, ERROR, WARN, INFO, DEBUG и TRACE. По умолчанию — INFO

--workers

Используется на всех хостах, где есть файл workers

Многие подкоманды используют общий набор параметров конфигурации для изменения своего поведения.

Generic options

-archives <comma separated list of archives>

Указывает список архивов, разделенных запятыми, для разархивирования на вычислительных (compute) машинах.

Применяется только к задаче (job)

-conf <configuration file>

Задает файл конфигурации приложения

-D <property>=<value>

Использует значение для данного свойства

-files <comma separated list of files>

Указывает разделенные запятыми файлы для копирования в кластер MapReduce.

Применяется только к задаче (job)

-fs <file:///> or <hdfs://namenode:port>

Указывает URL-адрес файловой системы по умолчанию.

Переопределяет параметр fs.defaultFS

-jt <local> or <resourcemanager:port>

Указывает ResourceManager.

Применяется только к задаче (job)

-libjars <comma separated list of jars>

Указывает разделенные запятыми JAR-файлы для включения в classpath.

Применяется только к задаче (job)

Пользовательские команды

Эти команды используются пользователями кластера Hadoop.

Команда Описание

archive

Создает архив Hadoop

checknative

Проверяет доступность нативного кода Hadoop

CLASSNAME

Запускает Java-класс

classpath

Выводит classpath

credential

Управляет учетными данными, паролями и секретами

distch

Изменяет права собственности и разрешения на файлы

distcp

Копирует файл или каталоги рекурсивно

dtutil

Утилита для получения и управления токенами Hadoop

envvars

Отображает вычисляемые переменные окружения Hadoop

fs

Это синоним hdfs dfs, когда используется HDFS

gridmix

Инструмент бенчмарка для кластера Hadoop

jar

Запускает JAR-файл

jnipath

Выводит вычисленное значение java.library.path

kerbname

Преобразует именованный принципал с помощью правил auth_to_local в имя пользователя Hadoop

kdiag

Диагностика проблем Kerberos

key

Управление ключами через KeyProvider

kms

Запускает сервер управления ключами (KMS)

trace

Просмотр и изменение настроек трассировки Hadoop

version

Выводит текущую версию Hadoop

Административные команды

Команды используются администраторами кластера Hadoop.

Команда Описание

daemonlog

Получает/устанавливает уровень логов

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней