Обзор HDFS UI

Елена Костюченко

Веб-интерфейсы (UI) HDFS обеспечивают доступ к файловой системе и отображают информацию о ее состоянии. Пользовательские интерфейсы доступны по URL-адресу http://<имя_хоста>:<порт>/, где <имя_хоста> — это IP-адрес хоста или, если вы настроили перенаправление в файле hosts, FQDN хоста. А <порт> — это порт пользовательского интерфейса компонента HDFS.

Если у вас настроен сертификат SSL, используйте https:// вместо http://.

HDFS предоставляет несколько веб-интерфейсов:

  • интерфейс для каждой NameNode;

  • интерфейс для каждой DataNode;

  • интерфейс HttpFS.

Порты веб-сервера по умолчанию перечислены в таблице ниже.

Компонент Порт HTTP Порт HTTPs

NameNode

9870

9871

DataNode

9864

9865

HttpFS

14000

14000

Чтобы изменить порт веб-сервера, измените значение соответствующего параметра http-address в конфигурационном файле hdfs-site.xml.

Ссылки на пользовательские интерфейсы HDFS также доступны в ADCM:

  1. На странице Clusters выберите нужный кластер.

  2. Перейдите на вкладку Services и нажмите на HDFS.

  3. Выберите Info.

Ссылки на веб-интерфейс сервиса HDFS
Ссылки на веб-интерфейс сервиса HDFS

NameNode

Интерфейс NameNode включает информацию о конфигурации кластера, состоянии DataNode, веб-интерфейс файловой системы и логи.

Overview

На главной странице содержится следующая информация:

  • Overview — основная информация о NameNode: тип (активная или резервная), имя хоста, идентификатор кластера и другая информация.

  • Summary — информация о состоянии и конфигурации.

  • NameNode Journal Status — информация о файле edits.

  • NameNode Storage — информация о хранилище NameNode: каталог, тип и состояние.

  • Типы хранилищ DFS — используемые типы хранилищ и их размер.

Веб-интерфейс NameNode: главная страница
Веб-интерфейс NameNode: главная страница
Веб-интерфейс NameNode: главная страница
Веб-интерфейс NameNode: главная страница

DataNodes

На странице Datanodes отображается гистограмма использования диска для каждой DataNode, информация о их состоянии и ссылки на веб-интерфейсы DataNodes.

Если в кластере есть ноды, которые готовятся к переводу в режим Maintenance или выводятся из эксплуатации, на странице будут отображаться имена их хостов и статистика по репликации блоков.

.Веб-интерфейс NameNode: страница Datanodes
Веб-интерфейс NameNode: страница Datanodes
.Веб-интерфейс NameNode: страница Datanodes
Веб-интерфейс NameNode: страница Datanodes

У нод может быть одно из следующих состояний:

  • In service — нода активна и регулярно отправляет heartbeat в NameNode.

  • Down — нода не отправляла heartbeat более 10 минут.

  • Decommissioned — нода находится в состоянии Decommissioned, но может быть восстановлена.

  • Decommissioned & Dead — нода находилась в состоянии Decommissioned и теперь находится в состоянии Down.

  • In Maintenance — нода находится в состоянии Maintenance.

  • In Maintenance & Dead — нода была переведена в состояние Maintenance и теперь находится в состоянии Down.

Datanode Volume Failures

На странице представлена информация об ошибках типа volume failure, зарегистрированных на узлах данных.

Snapshot

Страница Snapshot предоставляет информацию о созданных снимках и о каталогах, для которых можно сделать снимок.

Startup Progress

На странице представлена информация о последней загруженной версии fsimage и внесенных изменениях (edits).

Веб-интерфейс NameNode: страница Startup Progress
Веб-интерфейс NameNode: страница Startup Progress
Веб-интерфейс NameNode: страница Startup Progress
Веб-интерфейс NameNode: страница Startup Progress

Utilities

Страницы из меню Utilities предоставляют доступ к файловой системе, конфигурации, показывают информацию о доступных метриках, логи и список активных процессов.

NameNode UI: Utilities menu
NameNode UI: Utilities menu
NameNode UI: Utilities menu
NameNode UI: Utilities menu
Browse the file system

 

Эта страница является веб-интерфейсом файловой системы. Доступ к ней возможен только через веб-интерфейс активной NameNode.

Веб-интерфейс NameNode: страница Browse Directory
Веб-интерфейс NameNode: страница Browse Directory
Веб-интерфейс NameNode: страница Browse Directory
Веб-интерфейс NameNode: страница Browse Directory

Для каждого файла или каталога доступна следующая информация:

  • Permission — разрешения, установленные для файла или каталога. Нажмите на список разрешений, чтобы внести изменения.

  • Owner — владелец файла или каталога.

  • Group — группа безопасности для файла или каталога.

  • Size — размер файла или каталога.

  • Last Modified — дата внесения последних изменений в файле или каталоге.

  • Replication — количество реплик для каждого блока. Нажмите на этот параметр, чтобы установить другой фактор репликации для файла. Фактор репликации по умолчанию — 3.

  • Block Size — размер одного блока в файле. Размер блока по умолчанию — 128 МБ.

  • Name — имя файла или каталога. При нажатии на имя каталога открывается дочерний каталог. Нажатие на имя файла открывает окно информации о файле, где вы можете скачать файл и посмотреть информацию о его блоках.

 
На этой же странице доступны следующие действия:

  • add dir Create directory — создание нового каталога.

  • upload Upload files — загрузка файла через веб-интерфейс.

  • cut paste Cut & Paste — вырезание или вставка.

  • hdfs ui delete Delete — удаление файла или директории.

Для выполнения некоторых действий необходимо выдать дополнительные права для приложения веб-интерфейса (пользователь dr.who).

Logs

 
На странице Logs представлен список логов для компонентов DataNode, NameNode, JournalNode и службы HDFS ZKFC.

Metrics

 
На страницы Metrics представлен список метрик доступных для HDFS.

Configuration

 
На странице Configuration представлен XML-файл со списком всех параметров конфигурации HDFS и их значения.

Process Thread Dump

 
На странице Process Thread Dump представлен список активных потоков и их статус.

DataNode

Интерфейс DataNode отображает базовую информацию о DataNode, ее статусе, конфигурации HDFS и логи.

Веб-интерфейс DataNode: главная страница
Веб-интерфейс DataNode: главная страница
Веб-интерфейс DataNode: главная страница
Веб-интерфейс DataNode: главная страница

Overview

На главной странице содержится следующая информация:

  • DataNode on — таблица с информацией о ноде: имя хоста DataNode, порт, идентификатор кластера и версия.

  • Block Pools — информация о наборах блоков (Block Pools), размещенных на узле.

  • Volume Information — информация о каталогах DataNode и использовании дискового пространства.

Utilities

Страница Utilities веб-интерфейса DataNode предоставляет ту же информацию, что и страница Utilities веб-интерфейса NameNode: конфигурация HDFS, доступные метрики, логи и активные процессы.

Logs

 
На странице Logs представлен список логов для компонентов DataNode, NameNode, JournalNode и службы HDFS ZKFC.

Metrics

 
На страницы Metrics представлен список метрик доступных для HDFS.

Configuration

 
На странице Configuration представлен XML-файл со списком всех параметров конфигурации HDFS и их значения.

Process Thread Dump

 
На странице Process Thread Dump представлен список активных потоков и их статус.

HttpFS Server

Пользовательский интерфейс сервера HttpFS — это веб-приложение, которое обеспечивает доступ к файловой системе через webhdfs REST HTTP API.

Интерфейс содержит список ссылок:

  • /webhdfs/v1/?op=LISTSTATUS — список корневых каталогов.

  • HttpFS configuration properties — XML-файл со списком всех параметров конфигурации HDFS и их значения.

  • HttpFS JMX — список метрик доступных для HDFS.

  • HttpFS log level — методы GET и SET для уровней логирования.

  • HttpFS log files — список логов HttpFS-сервера.

  • HttpFS stacks — список активных потоков и их статус.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней