Hadoop CLI
Обзор
Эта статья содержит справочную документацию по оболочке Hadoop shell CLI.
ПРИМЕЧАНИЕ
В настоящее время команда |
Все команды и подпроекты Hadoop имеют одну и ту же базовую структуру:
$ shellcommand [SHELL_OPTIONS] [COMMAND] [GENERIC_OPTIONS] [COMMAND_OPTIONS]
shellcommand |
Команда вызываемого проекта.
Например, в Hadoop обычно используется |
SHELL_OPTIONS |
Параметры, которые оболочка (shell) обрабатывает перед выполнением Java |
COMMAND |
Действия для выполнения |
GENERIC_OPTIONS |
Общий набор опций, поддерживаемых несколькими командами |
COMMAND_OPTIONS |
Различные варианты опций для подпроектов Hadoop |
Все команды командного интерпретатора принимают общий набор параметров.
Для некоторых команд эти параметры игнорируются.
Например, передача параметра --hostnames
команде, которая выполняется только на одном хосте, будет проигнорирована.
--buildpaths |
Позволяет использовать версии JAR для разработчиков |
--config confdir |
Перезаписывает каталог конфигурации по умолчанию. По умолчанию используется $HADOOP_HOME/etc/hadoop |
--daemon mode |
Если команда поддерживает демонизацию (например, Поддерживаются следующие режимы: Статус возвращает код результата, см. LSB-compliant. Если опция не указана, команды, поддерживающие демонизацию, будут выполняться в фоновом режиме. Для команд, которые не поддерживают демонизацию, этот параметр игнорируется |
--debug |
Включает отладочную информацию о конфигурации на уровне оболочки |
--help |
Выводит справочную информацию об использовании всех команд |
--hostnames |
Если используется аргумент Если аргумент |
--hosts |
Когда используется аргумент Если аргумент |
--loglevel loglevel |
Отменяет уровень логов. Доступные уровни логов: |
--workers |
Используется на всех хостах, где есть файл workers |
Многие подкоманды используют общий набор параметров конфигурации для изменения своего поведения.
-archives <comma separated list of archives> |
Указывает список архивов, разделенных запятыми, для разархивирования на вычислительных (compute) машинах. Применяется только к задаче (job) |
-conf <configuration file> |
Задает файл конфигурации приложения |
-D <property>=<value> |
Использует значение для данного свойства |
-files <comma separated list of files> |
Указывает разделенные запятыми файлы для копирования в кластер MapReduce. Применяется только к задаче (job) |
-fs <file:///> or <hdfs://namenode:port> |
Указывает URL-адрес файловой системы по умолчанию. Переопределяет параметр |
-jt <local> or <resourcemanager:port> |
Указывает ResourceManager. Применяется только к задаче (job) |
-libjars <comma separated list of jars> |
Указывает разделенные запятыми JAR-файлы для включения в classpath. Применяется только к задаче (job) |
Пользовательские команды
Эти команды используются пользователями кластера Hadoop.
Команда | Описание |
---|---|
Создает архив Hadoop |
|
Проверяет доступность нативного кода Hadoop |
|
Запускает Java-класс |
|
Выводит classpath |
|
Управляет учетными данными, паролями и секретами |
|
Изменяет права собственности и разрешения на файлы |
|
Копирует файл или каталоги рекурсивно |
|
Утилита для получения и управления токенами Hadoop |
|
Отображает вычисляемые переменные окружения Hadoop |
|
Это синоним |
|
Инструмент бенчмарка для кластера Hadoop |
|
Запускает JAR-файл |
|
Выводит вычисленное значение java.library.path |
|
Преобразует именованный принципал с помощью правил auth_to_local в имя пользователя Hadoop |
|
Диагностика проблем Kerberos |
|
Управление ключами через KeyProvider |
|
Запускает сервер управления ключами (KMS) |
|
Просмотр и изменение настроек трассировки Hadoop |
|
Выводит текущую версию Hadoop |