Обзор UI YARN

Елена Костюченко

Веб-интерфейсы (UI) YARN предоставляют диагностическую информацию и обеспечивают доступ к логам, конфигурации, состоянию заданий и компонентов YARN. Пользовательские интерфейсы доступны по URL-адресу http://<имя_хоста>:<порт>/, где <имя_хоста> — это IP-адрес хоста или, если вы настроили перенаправление в файле hosts, FQDN хоста. А <порт> — это порт пользовательского интерфейса компонента YARN.

Если у вас настроен сертификат SSL, используйте https:// вместо http://.

Веб-интерфейсы YARN
Компонент Адрес

MapReduce History Server

http://<IP>:19888/jobhistory

YARN NodeManager

http://<IP>:8042/node

YARN ResourceManager (legacy)

http://<IP>:8088/cluster/cluster

YARN ResourceManager (UI2)

http://<IP>:8088/ui2/

YARN Timeline Server

http://<IP>:8188/applicationhistory/

Ссылки на пользовательские интерфейсы YARN также доступны в ADCM:

  1. На странице Clusters выберите нужный кластер.

  2. Перейдите на вкладку Services и нажмите YARN.

  3. Выберите Info.

Ссылки на веб-интерфейс YARN в ADCM
Ссылки на веб-интерфейс YARN в ADCM

MapReduce History Server

На главной странице пользовательского интерфейса MapReduce History Server слева расположено навигационное меню с двумя разделами: Application, которое содержит информацию о версии сборки и времени запуска сервера, и Tools.

Раздел Tools содержит ссылки на следующую информацию:

  • Configuration — XML-файл, содержащий файлы конфигурации HDFS и YARN;

  • Local logs — список логов MapReduce History Server, расположенных на хосте;

  • Server stacks — список активных потоков и их статус;

  • Server metrics — список метрик JMX.

MapReduce History Server: главная страница
MapReduce History Server: главная страница
MapReduce History Server: главная страница
MapReduce History Server: главная страница

NodeManager

На главной странице пользовательского интерфейса NodeManager слева расположено навигационное меню с тремя разделами:

  • ResourceManager — содержит ссылку на пользовательский интерфейс ResourceManager.

  • NodeManager — содержит информацию о NodeManager, список запущенных приложений и список запущенных контейнеров.

  • Tools — содержит ссылки на следующую информацию:

    • Configuration — XML-файл, содержащий файлы конфигурации HDFS и YARN;

    • Local logs — логи NodeManager, расположенные на хосте;

    • Server stacks — список активных потоков и их статус;

    • Server metrics — список метрик JMX.

NodeManager UI: главная страница
NodeManager UI: главная страница
NodeManager UI: главная страница
NodeManager UI: главная страница

ResourceManager

У ResourceManager есть два интерфейса:

  • Устаревший (Legacy UI): http://<IP>:8088/cluster/cluster.

  • Новый (UI2): http://<IP>:8088/ui2/.

Устаревший UI ResourceManager: главная страница
Устаревший UI ResourceManager: главная страница
Устаревший UI ResourceManager: главная страница
Устаревший UI ResourceManager: главная страница

Оба интерфейса содержат информацию о кластере:

  • About — информация о кластере, список его метрик, а также метрики хостов с компонентами NodeManager и метрики планировщика.

  • Nodes — информация о NodeManager и таблица метрик из раздела About.

  • Node Labels — метки узлов кластера и информация о них.

  • Applications — список приложений с информацией о них и ссылками на страницы каждого приложения.

    Устаревший UI ResourceManager: страница приложения
    Устаревший UI ResourceManager: страница приложения
    Устаревший UI ResourceManager: страница приложения
    Устаревший UI ResourceManager: страница приложения

  • Scheduler — информация об очередях приложений и таблица метрик из раздела About.

    Устаревший UI ResourceManager: таблица очереди приложений
    Устаревший UI ResourceManager: таблица очереди приложений
    Устаревший UI ResourceManager: таблица очереди приложений
    Устаревший UI ResourceManager: таблица очереди приложений

Как и другие веб-интерфейсы YARN, оба интерфейса ResourceManager содержат ссылки на инструменты YARN (Tools):

  • Configuration — XML-файл, содержащий файлы конфигурации HDFS и YARN;

  • Local logs — логи YARN, расположенные на хосте;

  • Server stacks — список активных потоков и их статус;

  • Server metrics — список метрик JMX.

Новый веб-интерфейс ResourceManager (UI2) предоставляет ту же информацию, что и устаревший интерфейс, но в виде вкладок, а не ссылок. Кроме того, некоторая информация из таблиц представлена в виде графиков.

ResourceManager UI2: главная страница
ResourceManager UI2: главная страница
ResourceManager UI2: главная страница
ResourceManager UI2: главная страница

Вкладки веб-интерфейса ResourceManager UI2 содержат следующую информацию:

  • Cluster Overview — статистика ресурсов кластера и метрики приложений в виде графиков.

  • Queues — графики очередей планировщика и статистика использования ресурсов кластера.

  • Applications — список приложений с информацией о них и ссылками на страницы каждого приложения.

  • Services — список сервисов, запускающих приложения, и инструмент для их создания.

    ResourceManager UI2: страница создания сервиса
    ResourceManager UI2: страница создания сервиса
    ResourceManager UI2: страница создания сервиса
    ResourceManager UI2: страница создания сервиса

  • Flow Activity — страница с информацией от Timeline server.

  • Nodes — сведения о хостах кластера, на которых размещены NodeManager.

  • Tools — веб-интерфейс для просмотра логов YARN и файлов конфигурации.

Timeline server

На главной странице пользовательского интерфейса Timeline server слева расположено навигационное меню с двумя разделами:

  • Application History — содержит общую информацию о Timeline server и список всех запущенных приложений, которые можно фильтровать по состоянию: успешно завершено (FINISHED), завершено с ошибкой (FAILED) и остановлено (*KILLED).

  • Tools — содержит ссылки на следующую информацию:

    • Configuration — XML-файл, содержащий файлы конфигурации HDFS и YARN;

    • Local logs — логи Timeline server, расположенные на хосте;

    • Server stacks — список активных потоков и их статус;

    • Server metrics — список метрик JMX.

Timeline server UI: главная страница
Timeline server UI: главная страница
Timeline server UI: главная страница
Timeline server UI: главная страница
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней