archive-logs
Для кластеров с большим количеством YARN-логов логи можно объединить в Hadoop-архивы, чтобы уменьшить количество небольших файлов и, следовательно, нагрузку на NameNode. Данная команда позволяет выполнить архивацию.
Агрегированные логи в Hadoop-архивах доступны для чтения с помощью Job History Server и команды YARN logs.
Использование показано ниже:
$ mapred archive-logs-force |
Принудительно создает рабочую директорию в случае, если такая директория уже была обнаружена. Этот параметр стоит использовать, если вы уверены, что не запущен другой экземпляр |
-maxEligibleApps <n> |
Максимальное количество приложений для обработки, которые подходят для архивации.
По умолчанию используется |
-maxTotalLogsSize <megabytes> |
Максимальный общий размер логов, необходимый для архивирования (в мегабайтах).
По умолчанию используется |
-memory <megabytes> |
Количество памяти для каждого контейнера (в мегабайтах).
По умолчанию используется |
-minNumberLogFiles <n> |
Минимальное количество лог-файлов, необходимое для архивирования.
По умолчанию используется |
-noProxy |
Если параметр задан, вся обработка выполняется под пользователем, выполняющим эту команду (или пользователем YARN, если используется DefaultContainerExecutor). Если параметр не задан, вся обработка выполняется под пользователем-владельцем этого приложения; если пользователь, выполняющий эту команду, не имеет прав на имперсонацию под нужным пользователем, команда не будет работать |
-help |
Выводит справочную информацию |