Главная
Arenadata Streaming
Базовые операции
NiFi
Основные операции
Встроенный мониторинг

Встроенный мониторинг в интерфейсе NiFi

Ольга Семме

Содержание

Строка состояния
Сводка данных о работе компонентов системы
Счетчики событий
Бюллетени
Процессор
Группа процессов
Удаленная группа процессов
Очередь

В данной статье описано, как в пользовательском интерфейсе NiFi представлена информация о потоке и его компонентах для отслеживания его работоспособности и состояния.

Строка состояния

Информация об общем состоянии системы представлена в строке состояния интерфейса NiFi Server.

Сводка данных о работе компонентов системы

Сводка данных о работе всех компонентов системы представлена в окне Summary, которое открывается при нажатии одноименного пункта меню в глобальном меню интерфейса NiFi Server.

Сводка предоставляет информацию обо всех основных компонентах, созданных при помощи панели инструментов, в табличном формате.

Окно Summary глобального меню

Данные о работе компонентов

Информацию о выбранном компоненте можно получить, кликнув по соответствующей иконке:

— предоставляет основные сведения о компоненте. Данные окна повторяют данные окна Configure контекстного меню, вызываемого правой кнопкой мыши.

Сведения о процессоре

Сведения о процессоре
— предоставляет основные данные по работе каждого хоста кластера. Данная иконка доступна только для кластера, состоящего из нескольких хостов.

Сведения о работе хостов кластера

Сведения о работе хостов кластера
— отображает статистику состояний для выбранного компонента.

Статистика состояний для процессора

Статистика состояний для процессора

В левой части представлена следующая информация:
- Type — тип компонента.
- Id — идентификатор компонента, для которого отображается статистика.
- Group Id — идентификатор группы процессов, в которой находится компонент.
- Name — имя компонента, для которого отображается статистика.
- Start — самое раннее время, показанное на графике.
- End — последнее время, показанное на графике.
- Min/Max/Mean — минимальное, максимальное и среднее (среднее арифметическое или среднее) значения. Эти значения основаны только на выбранном диапазоне времени. Каждый узел отображается своим цветом.
В правой части представлены:
- Раскрывающийся список различных типов метрик, отображаемых на графиках ниже.
- Увеличенный верхний график, обеспечивающий более легкое чтение информации. В правом нижнем углу этого графика находится небольшой маркер, который можно перетаскивать, чтобы изменить размер графика.
- Нижний график, предоставляющий возможность выбора временного диапазона для отображения на верхнем графике.

Работа с данными

Для навигации и упрощения пользования данными в окне Summary используются следующие элементы:

Фильтр в верхней части таблицы позволяет пользователям фильтровать содержимое сводной таблицы, вводя все или часть некоторых критериев, таких как тип процессора или имя процессора.
— позволяет обновить отображаемую информацию, не закрывая диалоговое окно и не открывая его снова. Информация на странице не обновляется автоматически.
— закрывает страницу Summary и переносит пользователя непосредственно к компоненту на холсте NiFi. Это может изменить группу процессов, в которой в данный момент находится пользователь.
— приводит к открытию всего диалогового окна Summary в новой вкладке или окне браузера. В открывшемся окне доступны к просмотру только данные, вызываемые при помощи иконки .

Окно Summary, открытое в новой вкладке

Данные о работе системы

Для получения информации об использовании системных ресурсов необходимо кликнуть строку system diagnostics в правом нижнем углу окна Summary. В открывшемся окне представлена сводная информация о системе.

Диагностика системы

Счетчики событий

Счетчики событий по каждому компоненту представлены в окне Counters, которое открывается при нажатии одноименного пункта меню в глобальном меню интерфейса NiFi Server.

Счетчики событий

Бюллетени

Бюллетени произошедших событий представлены в окне Bulletin Board, которое открывается при нажатии одноименного пункта меню в глобальном меню интерфейса NiFi Server.

Бюллетени

Процессор

Графическое отображение процессора на холсте включает в себя данные о процессоре и его работе.

Процессор

Ниже описаны информационные элементы на примере представленного процессора:

ConsumeKafka_1_0 — определяемое пользователем имя процессора. По умолчанию имя процессора совпадает с типом процессора. Имя процессора можно изменить во время настройки процессора на вкладке SETTINGS.
ConsumeKafka_1_0 1.18.0 — тип процессора. Данный процессор предназначен для приема сообщений от Apache Kafka, созданных для API Kafka 1.0 Consumer.
org.apache.nifi - nifi-kafka-1-0-nar — название бандла процессора.
— индикатор бюллетеня, обозначающий, что для данного процессора создан бюллетень в результате произошедшего события. Уровень бюллетеня можно изменить во время настройки процессора на вкладке SETTINGS. Когда иконка присутствует, при наведении мыши на значок появится всплывающая подсказка, объясняющая сообщение, предоставленное процессором, а также уровень бюллетеня. Если экземпляр NiFi сгруппирован, он также покажет узел, выпустивший бюллетень. Бюллетени автоматически истекают через пять минут.

Индикатор состояния, показывающий текущее состояние процессора. Возможны следующие индикаторы:
- — процессор в данный момент работает.
- — процессор действителен и включен, но не работает.
- — процессор включен, но в настоящее время недействителен и не может быть запущен. При наведении курсора на этот значок появится всплывающая подсказка, указывающая, почему процессор недействителен.
- — процессор не работает и не может быть запущен, пока он не будет включен. Этот статус не указывает, действителен ли процессор.
— количество задач, которые в данный момент выполняет процессор. Ограничение количества задач настраивается при помощи параметра Concurrent Tasks во время настройки процессора на вкладке SCHEDULING.

5-минутная статистика:
- In — объем данных, которые процессор извлек из очередей своих входящих подключений. Это значение представлено в следующем формате: <количество> (<размер>), где <количество> — количество FlowFile, которые были извлечены из очередей, а <размер> — общий размер содержимого этих FlowFiles, включая единицу измерения (например, 15 (20.1 MB)).
- Read/Write — общий размер содержимого FlowFile, прочитанного процессором с диска и записанного на диск.
- Out — объем данных, которые процессор передал своим исходящим соединениям. Сюда не входят файлы FlowFiles, которые Процессор удаляет сам, или файлы FlowFiles, которые перенаправляются на автоматически завершаемые соединения. Это значение представлено в следующем формате: <количество> (<размер>), где <количество> — количество FlowFile, которые были извлечены из очередей, а <размер> — общий размер содержимого этих FlowFiles, включая единицу измерения (например, 15 (20.1 MB)).
- Tasks/Time — количество раз, когда процессор запускался для запуска за последние 5 минут, и количество времени, затраченное на выполнение этих задач. Формат времени: <часы>:<минуты>:<секунды>.

Группа процессов

Графическое отображение группы процессов на холсте включает в себя данные о ее работе.

Группа процессов

Ниже описаны информационные элементы на примере представленной группы процессов:

New group — имя, определяемое пользователем во время создания группы процессов. Имя группы процессов можно изменить во время настройки группы процессов на вкладке GENERAL.
— индикатор, обозначающий, что для для дочернего компонента группы процессов выдан бюллетень.
— количество задач, которые в данный момент выполняют компоненты этой группы процессов.
5-минутная статистика:
- Queued — количество файлов FlowFiles, находящихся в настоящее время в очереди в группе процессов. Это значение представлено в следующем формате: <количество> (<размер>), где <количество> — количество FlowFile, которые были извлечены из очередей, а <размер> — общий размер содержимого этих FlowFiles, включая единицу измерения (например, 15 (20.1 MB)).
- In — количество файлов FlowFiles, которые были переданы в группу процессов через все входные порты за последние 5 минут. Это значение представлено в следующем формате: <количество> (<размер>) → <порты>, где <количество> — количество FlowFile, которые были извлечены из очередей, <размер> — общий размер содержимого этих FlowFiles, включая единицу измерения, а <порты> — количество входных портов.
- Read/Write — общий размер содержимого FlowFile, которое компоненты в группе процессов считывали с диска и записывали на диск.
- Out — количество файлов FlowFiles, которые были переданы из группы процессов через ее порты вывода за последние 5 минут. Это значение представлено в следующем формате: <порты> → <количество> (<размер>), где <порты> — количество выходных портов, <количество> — количество FlowFile, которые были извлечены из очередей, <размер> — общий размер содержимого этих FlowFiles, включая единицу измерения.
Счетчики состояний для компонентов в соответствии со строкой состояния в интерфейсе NiFi Server.

Удаленная группа процессов

Графическое отображение удаленной группы процессов на холсте включает в себя данные о ее работе.

Удаленная группа процессов

Ниже описаны информационные элементы на примере представленной группы процессов:

Статус передачи, указывающий, включена ли в данный момент передача данных между текущим и удаленным экземплярами NiFi. Возможны следующие показатели:
- — передача активна, какой-либо из входных или выходных портов в настоящее время настроен на передачу;
- — передача неактивна, если все входные и выходные порты, которые в настоящее время подключены, остановились.
NiFi Flow — имя экземпляра NiFi, о котором сообщил удаленный экземпляр.
http://10.92.17.231:9090/nifi — URL-адрес удаленного экземпляра, на который указывает группа удаленных процессов. Этот URL-адрес вводится при добавлении группы удаленных процессов на холст, и его нельзя изменить.
индикатор безопасности, указывающий, защищена ли связь с удаленным экземпляром NiFi:
- — связь защищена, этот экземпляр NiFi не сможет взаимодействовать с удаленным экземпляром, пока администратор удаленного экземпляра не предоставит доступ.
- — связь не защищена.
5-минутная статистика:
- Sent — количество FlowFiles, которые были отправлены. Это значение представлено в следующем формате: <количество> (<размер>) → <порты>, где <количество> — количество FlowFile, которые были извлечены из очередей, <размер> — общий размер содержимого этих FlowFiles, включая единицу измерения, а <порты> — количество входных портов.
- Received — это количество FlowFiles, которые были получены. Это значение представлено в следующем формате: <порты> → <количество> (<размер>), где <порты> — количество выходных портов, <количество> — количество FlowFile, которые были извлечены из очередей, <размер> — общий размер содержимого этих FlowFiles, включая единицу измерения.
Время последнего обновления удаленного потока.