frameworkuploader

Команда собирает JAR-файлы фреймворка и загружает их в HDFS в виде архива.

Использование показано ниже:

$ mapred frameworkuploader -target <target> args
Аргументы

-input <classpath>

Входной classpath, по которому выполняется поиск JAR-файлов для включения в архив

-fs <filesystem>

Тип целевой файловой системы. По умолчанию используется тип файловой системы, заданной fs.defaultFS

-target <target>

Целевое расположение для сохранения архива фреймворка, за которым может следовать символ # с локализованным alias. Например, /usr/lib/framework.tar#framework. Чтобы обеспечить безопасность кластера, важно, чтобы целевой каталог был доступен для чтения всем пользователям и закрыт на запись для всех, кроме администраторов

-blacklist <list>

Указывает массив регулярных выражений, разделенных запятыми, для фильтрации имен JAR-файлов, чтобы исключить их из classpath. Например, это можно использовать для исключения тестовых JAR-файлов или Hadoop-сервисов, которые не нужны для локализации

-whitelist <list>

Указывает массив регулярных выражений, разделенных запятыми, для включения определенных JAR-файлов. Это можно использовать для обеспечения дополнительной безопасности, чтобы ни один внешний источник не мог включить вредоносный код в classpath при запуске инструмента

-nosymlink

Позволяет исключать символические ссылки, указывающие на один и тот же каталог. Например, путь /a/foo.jar и символическая ссылка /a/bar.jar, указывающая на /a/foo.jar, обычно добавляют foo.jar и bar.jar в архив как отдельные файлы, несмотря на то, что на самом деле это один и тот же файл. Этот флаг позволяет инструменту исключить /a/bar.jar, поэтому будет добавлена только одна копия файла

-initialReplication <num>

Фактор репликации, который используется для создания архива фреймворка. Допустимо оставить значение по умолчанию 3

-finalReplication <num>

Инструмент загрузки устанавливает фактор репликации после того, как все блоки собраны и загружены. Если требуется быстрый первоначальный запуск, рекомендуется установить это значение равным количеству введенных в эксплуатацию (commissioned) узлов, деленному на два, но менее 512

-acceptableReplication <num>

Инструмент ждет, пока архив не будет реплицирован указанное количество раз, прежде чем выйти. Значение должно быть равно фактору репликации, который меньше или равен значению finalReplication. Оптимальное значение составляет 90% от значения finalReplication для учета отказавших узлов

-timeout <seconds>

Время до достижения acceptableReplication перед тем, как инструмент заканчивает работу (в секундах). В противном случае инструмент логирует ошибку и завершает работу

Пример:

$ mapred frameworkuploader -timeout 10
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней