archive-logs

Константин Алпашкин

Для кластеров с большим количеством YARN-логов логи можно объединить в Hadoop-архивы, чтобы уменьшить количество небольших файлов и, следовательно, нагрузку на NameNode. Данная команда позволяет выполнить архивацию.

Агрегированные логи в Hadoop-архивах доступны для чтения с помощью Job History Server и команды YARN logs.

Использование показано ниже:

$ mapred archive-logs
Аргументы

-force

Принудительно создает рабочую директорию в случае, если такая директория уже была обнаружена. Этот параметр стоит использовать, если вы уверены, что не запущен другой экземпляр

-maxEligibleApps <n>

Максимальное количество приложений для обработки, которые подходят для архивации. По умолчанию используется -1 (все приложения)

-maxTotalLogsSize <megabytes>

Максимальный общий размер логов, необходимый для архивирования (в мегабайтах). По умолчанию используется 1024

-memory <megabytes>

Количество памяти для каждого контейнера (в мегабайтах). По умолчанию используется 1024

-minNumberLogFiles <n>

Минимальное количество лог-файлов, необходимое для архивирования. По умолчанию используется 20

-noProxy

Если параметр задан, вся обработка выполняется под пользователем, выполняющим эту команду (или пользователем YARN, если используется DefaultContainerExecutor). Если параметр не задан, вся обработка выполняется под пользователем-владельцем этого приложения; если пользователь, выполняющий эту команду, не имеет прав на имперсонацию под нужным пользователем, команда не будет работать

-help

Выводит справочную информацию
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней