Обзор веб-интерфейсов Impala

Евгения Кузина

У каждого из демонов Impala (impalad, statestored и catalogd) есть встроенный веб-сервер, который отображает диагностическую информацию и информацию о состоянии демона. Ссылки на веб-интерфейсы можно найти на вкладке Info сервиса Impala в пользовательском интерфейсе ADCM.

Ссылки на веб-интерфейсы Impala
Ссылки на веб-интерфейсы Impala

URL-адрес имеет следующую форму: http://<server‑hostname>:<port>/.

Пример: http://adh-host1.ru-central1.internal:25000/.

Для защищённых кластеров используйте https:// вместо http://.

Порты веб-серверов, используемые по умолчанию, перечислены в таблице ниже.

Компонент Демон Порт

Impala Daemon

impalad

25000

Impala Statestore

statestored

25010

Impala Catalog Service

catalogd

25020

Чтобы изменить порт веб-сервера, откройте вкладку Primary Configuration соответствующего компонента Impala и установите параметр webserver_port. Чтобы отключить веб-интерфейс, снимите флажок enable_webserver и перезапустите требуемый компонент с помощью действия компонента Restart Impala Daemon, или Restart Impala Statestore, или Restart Impala Catalog.

Веб-интерфейсы Impala поддерживают SPNEGO, чтобы обеспечить защиту по протоколу Kerberos. SPNEGO передает токены согласования через заголовки HTTP для защиты HTTP-запросов с помощью Kerberos. Чтобы включить авторизацию с помощью SPNEGO, установите флажок webserver_require_spnego (на вкладке компонента Primary Configuration в интерфейсе ADCM) для каждого компонента, который должен использовать SPNEGO.

Вы можете использовать меню в верхней части веб-интерфейсов для навигации по страницам, описанным ниже. Также можно добавить слеш (/) и имя страницы (например, /memz) к HTTP-адресу в браузере, чтобы на неё перейти.

Страница Memory Usage
Страница Memory Usage
Страница Memory Usage
Страница Memory Usage

Веб-интерфейс Impala Daemon (impalad)

Веб-интерфейс impalad содержит информацию о параметрах конфигурации, выполняемых и завершенных запросах, а также о производительности и использовании ресурсов.

Веб-интерфейс impalad
Веб-интерфейс impalad
Веб-интерфейс impalad
Веб-интерфейс impalad

Каждый хост impalad имеет собственный экземпляр веб-интерфейса с подробной информацией о запросах, для которых этот хост был координатором. Для исследования проблемных запросов необходимо выбрать ноду, которая была для них координатором.

Главная страница веб-интерфейса impalad содержит следующую информацию об impalad:

  • Version — версия демона и информация о том, когда была собрана Impala и какие флаги сборки использовались.

  • Process start time — время запуска демона.

  • Hardware info — информация об оборудовании хоста.

  • OS information — информация об операционной системе, которая установлена на хосте.

  • Process information — информация о процессе демона.

  • CGroup information — информация о настройках CGroup.

admission

 

На странице Admission Controller перечислены все пулы ресурсов, в которые запросы были отправлены хотя бы один раз, а также их состояние и статистика.

На странице представлена следующая информация о каждом пуле ресурсов:

  • Время, прошедшее с того момента, как statestored получил последнее обновление.

  • Предупреждение, если этот impalad отключен от statestored и информация на странице может быть устаревшей.

  • Конфигурация пула.

  • Запросы в очереди, отправленные этому координатору, в порядке отправки.

  • Выполняемые запросы этого координатора.

  • Статистика пула. Время в очереди рассчитывается как экспоненциальное скользящее среднее, которое представляет собой среднее время в очереди последних 10–12 запросов. Если запрос принимается немедленно, это среднее время рассчитывается с использованием времени ожидания 0.

  • Гистограмма пикового распределения памяти. Она учитывает память, используемую запросами, допущенными к пулу. На гистограмме отображаются данные для всех запросов, допущенных в пул, включая завершенные, отмененные и закончившиеся неудачей.

Вы можете кликнуть Reset informational stats, чтобы обнулить статистические данные, в том числе итоговую статистику, время в очереди и гистограмму для определенного пула или нажать Reset informational stats for all pulls, чтобы очистить статистику для всех пулов сразу.

Обнуление статистики
Обнуление статистики
Обнуление статистики
Обнуление статистики

Статистика Admission Controller также доступна в виде объекта JSON из следующей конечной точки HTTP (HTTP endpoint): http://<server‑hostname>:<port>/admission?json. Пример: /http://adh-host1.ru-central1.internal:25000/admission?json. За дополнительной информацией обратитесь к статье Admission Control and Query Queuing.

backends

 

На этой странице приведена следующая информация для каждого из узлов impalad в кластере:

  • Address — адрес ноды (имя хоста и порт).

  • KRPC Address — KRPC-адрес ноды. Может быть использован в команде SHUTDOWN.

  • Backend Id.

  • Coordinator — логическое значение, показывающее, является ли нода координатором.

  • Executor — логическое значение, показывающее, является ли нода исполнителем запросов.

  • Memory Limit for Admission — объем памяти, который выделен контроллером допуска этой ноде.

  • Memory Reserved — объем памяти, зарезервированный для запросов на этой ноде.

  • Memory Admitted by Queries Submitted to this Coordinator — память, необходимая для запросов, обрабатываемых этим координатором.

  • Admission Control Slots In Use — количество используемых слотов контроллера доступа.

  • Num. Queries Admitted by this Coordinator — количество запросов, обрабатываемых текущим координатором.

  • Executor Groups.

Если в кластере есть какой-либо остановленный демон impalad, ноды разбиваются на две таблицы: Active backend(s) и Quiescing backend(s).

Поскольку каждый демон impalad знает о других демонах impalad через Statestore, все веб-серверы impalad должны отображать одну и ту же информацию.

catalog

 
На странице Catalog отображается список баз данных и связанных с ними таблиц. Вы можете использовать эту страницу, чтобы определить, какая база данных включает определённую таблицу, проверить правильность написания имени базы данных или таблицы, найти одинаковые имена таблиц в нескольких базах данных. Основным сценарием использования этой страницы при отладке является проверка того, знает ли экземпляр impalad о таблице, которая находится в определенной базе данных.

hadoop-varz

 
На этой странице отображаются общие параметры конфигурации Hadoop, с которыми работает Impala.

jmx

 
На этой странице отображается информация мониторинга о различных подсистемах JVM в формате JSON, например, o пулах памяти, управлении потоками, времени выполнения и других.

log_level

 
На этой странице отображаются текущие уровни важности сообщений, попадающих в логи Java и серверной части демона. Также страница позволяет динамически изменять уровни логирования без перезапуска демона.

logs

 
Страница отображает последние записи из лог-файла impalad.INFO, включающего сообщения с уровнем info, warning и error. Позволяет просмотреть сведения о последних операциях, чтобы определить, были ли операции успешными или возникли ошибки.

Эта страница позволяет избежать поиска лог-файлов в файловой системе.

memz

 

На этой странице отображается сводная и подробная информация об использовании памяти демоном impalad.

metrics

 

На странице отображается текущий набор метрик, счетчиков и флагов, представляющих различные аспекты внутренних операций демона.

profile_docs

 

На странице перечислены счетчики оператора PROFILE.

queries

 

Страница содержит следующие таблицы:

  • Queries in flight — выполняемые запросы.

  • Waiting to be closed — запросы, которые закончили выполнять действия, но еще не были завершены.

  • Last 100 completed queries — последние завершенные запросы. Вы можете управлять количеством запросов и, следовательно, объемом памяти, выделенной для хранения информации о завершенных запросах, используя параметр запуска --query_log_size для impalad.

  • Query Locations — отображает, как запущенные запросы распределяются между хостами impalad.

Запросы перечислены в обратном хронологическом порядке, самые последние находятся вверху таблицы.

Ссылка Details для каждого запроса отображает альтернативные представления запроса, включая графическое представление плана и вывод операторов EXPLAIN, SUMMARY и PROFILE из impala-shell. На вкладке Profile страницы Details можно экспортировать выходные данные в Thrift, JSON или текстовый формат.

rpcz

 

На странице отображается информация о продолжительности RPC-соединений демона с другими демонами Impala.

sessions

 

На странице отображается информация о сессиях, подключенных к этому экземпляру impalad. Например, сессии могут включать соединения из impala-shell или JDBC.

threadz

 
Страница отображает информацию о потоках (threads), используемых демоном, и о категориях, в которые они сгруппированы.

varz

 

Страница отображает параметры конфигурации, которые используются, когда этот демон взаимодействует с другими компонентами Hadoop, такими как HDFS и YARN. Параметры собираются из конфигурационных файлов.

Prometheus metrics

 

На странице представлены метрики в формате Prometheus. Prometheus может использовать эти данные для мониторинга и оповещения.

Меню не содержит опции /metrics_prometheus. Чтобы отобразить эту страницу, добавьте /metrics_prometheus к HTTP-адресу в браузере.

Веб-интерфейс Impala Statestore (statestored)

Веб-интерфейс statestored включает информацию об использовании памяти, параметрах конфигурации и текущих проверках работоспособности. Поскольку в кластере есть только одна нода с statestored, вы можете получить доступ к веб-интерфейсу statestored только на хосте с компонентом Impala Statestore.

Веб-интерфейс statestored
Веб-интерфейс statestored
Веб-интерфейс statestored
Веб-интерфейс statestored

Главная страница веб-интерфейса statestored содержит следующую информацию о statestored:

  • Version — версия демона и информация о том, когда была собрана Impala и какие флаги сборки использовались.

  • Process start time — время запуска демона.

  • Hardware info — информация об оборудовании хоста.

  • OS information — информация об операционной системе, которая установлена на хосте.

  • Process information — информация о процессе демона.

  • CGroup information — информация о настройках CGroup.

log_level

 
На этой странице отображаются текущие уровни важности сообщений, попадающих в логи Java и серверной части демона. Также страница позволяет динамически изменять уровни логирования без перезапуска демона.

logs

 
Страница отображает последние записи из лог-файла statestored.INFO, включающего сообщения с уровнем info, warning и error. Позволяет просмотреть сведения о последних операциях, чтобы определить, были ли операции успешными или возникли ошибки.

Эта страница позволяет избежать поиска лог-файлов в файловой системе.

memz

 

На этой странице отображается сводная и подробная информация об использовании памяти демоном statestored.

metrics

 

На странице отображается текущий набор метрик, счетчиков и флагов, представляющих различные аспекты внутренних операций демона.

profile_docs

 

На странице перечислены счетчики оператора PROFILE.

rpcz

 

На странице отображается информация о продолжительности RPC-соединений демона с другими демонами Impala.

subscribers

 
На странице отображается информация о демонах Impala, зарегистрированных в statestored для получения и отправки обновлений.

threadz

 
Страница отображает информацию о потоках (threads), используемых демоном, и о категориях, в которые они сгруппированы.

topics

 

На странице отображается информация о разделах метаданных (topics), на которые подписаны другие демоны Impala для получения обновлений.

varz

 

Страница отображает параметры конфигурации, которые используются, когда этот демон взаимодействует с другими компонентами Hadoop, такими как HDFS и YARN. Параметры собираются из конфигурационных файлов.

Prometheus metrics

 

На странице представлены метрики в формате Prometheus. Prometheus может использовать эти данные для мониторинга и оповещения.

Меню не содержит опции /metrics_prometheus. Чтобы отобразить эту страницу, добавьте /metrics_prometheus к HTTP-адресу в браузере.

Веб-интерфейс Impala Catalog Service (catalogd)

Веб-интерфейс catalogd включает информацию о базах данных, таблицах и других объектах, которыми управляет Impala, в дополнение к использованию ресурсов и параметрам конфигурации catalogd. Поскольку в кластере есть только одна нода с catalogd, вы можете получить доступ к веб-интерфейсу catalogd только на хосте с компонентом Impala Catalog Service.

Веб-интерфейс catalogd
Веб-интерфейс catalogd
Веб-интерфейс catalogd
Веб-интерфейс catalogd

Главная страница веб-интерфейса catalogd содержит следующую информацию о catalogd:

  • Version — версия демона и информация о том, когда была собрана Impala и какие флаги сборки использовались.

  • Process start time — время запуска демона.

  • Hardware info — информация об оборудовании хоста.

  • OS information — информация об операционной системе, которая установлена на хосте.

  • Process information — информация о процессе демона.

  • CGroup information — информация о настройках CGroup.

catalog

 
На странице Catalog отображается список баз данных и связанных с ними таблиц. Вы можете использовать эту страницу, чтобы определить, какая база данных включает определённую таблицу, проверить правильность написания имени базы данных или таблицы, найти одинаковые имена таблиц в нескольких базах данных. Основным сценарием использования этой страницы при отладке является проверка того, знает ли экземпляр impalad о таблице, которая находится в определенной базе данных.

Помимо данных, которые есть на странице catalog демона impalad, эта страница содержит списки таблиц с самыми высокими требованиями к памяти, с наибольшим количеством операций с метаданными, с наибольшим количеством файлов и с наибольшим временем загрузки метаданных.

jmx

 
На этой странице отображается информация мониторинга о различных подсистемах JVM в формате JSON, например, o пулах памяти, управлении потоками, времени выполнения и других.

log_level

 
На этой странице отображаются текущие уровни важности сообщений, попадающих в логи Java и серверной части демона. Также страница позволяет динамически изменять уровни логирования без перезапуска демона.

logs

 

Страница отображает последние записи из лог-файла catalogd.INFO, включающего сообщения с уровнем info, warning и error. Позволяет просмотреть сведения о последних операциях, чтобы определить, были ли операции успешными или возникли ошибки.

Эта страница позволяет избежать поиска лог-файлов в файловой системе.

memz

 

На этой странице отображается сводная и подробная информация об использовании памяти демоном catalogd.

metrics

 

На странице отображается текущий набор метрик, счетчиков и флагов, представляющих различные аспекты внутренних операций демона.

operations

 
На странице отображается информация об операциях catalogd.

profile_docs

 

На странице перечислены счетчики оператора PROFILE.

rpcz

 

На странице отображается информация о продолжительности RPC-соединений демона с другими демонами Impala.

threadz

 
Страница отображает информацию о потоках (threads), используемых демоном, и о категориях, в которые они сгруппированы.

varz

 

Страница отображает параметры конфигурации, которые используются, когда этот демон взаимодействует с другими компонентами Hadoop, такими как HDFS и YARN. Параметры собираются из конфигурационных файлов.

Prometheus metrics

 

На странице представлены метрики в формате Prometheus. Prometheus может использовать эти данные для мониторинга и оповещения.

Меню не содержит опции /metrics_prometheus. Чтобы отобразить эту страницу, добавьте /metrics_prometheus к HTTP-адресу в браузере.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней