Главная
Arenadata Streaming
Базовые операции
NiFi
Основные операции
Работа с процессорами

Работа с процессорами

Ольга Семме

Содержание

Отдельный процессор
Группа процессов

Работа с процессорами осуществляется в интерфейсе NiFi Server.

Отдельный процессор

Создание процессора

Создание процессора производится в следующей последовательности:

Перенести иконку с панели инструментов на холст.

Выбрать нужный процессор в открывшемся диалоговом окне. При выборе можно воспользоваться тегом из облака тегов.

Выбор процессора

Процессоры с ограниченным доступом

Виды процессоров с ограниченным доступом отмечены иконкой restricted .

Прежде чем пользователю будет разрешено создавать и изменять процессоры с ограниченным доступом, ему должен быть предоставлен доступ. При наведении указателя мыши на restricted отобразятся определенные разрешения, которые требуются для процессора с ограниченным доступом.

Разрешения для использования процессора

ПРИМЕЧАНИЕ

Для получения информации об авторизации в сервисе NiFi обратитесь к следующим статьям:

Кликнуть ADD.

В результате на холсте отображается выбранный процессор.

Процессор на холсте

Процессор на холсте

Управление процессором

Взаимодействие с процессором на холсте осуществляется при помощи параметров контекстного меню, вызываемого правой кнопкой мыши.

Контекстное меню процессора

Параметры, доступные в контекстном меню, различаются в зависимости от назначенных пользователю разрешений. Следующие параметры обычно доступны, когда есть все разрешения для работы с процессором:

Configure — позволяет пользователю установить или изменить конфигурацию процессора. Функционально совпадает с иконкой на палитре операций.

После создания процессор будет отмечен иконкой , при наведении на которую отображаются параметры, необходимые для работы процессора.

Необходимые параметры

Необходимые параметры
Start or Stop — позволяет пользователю запускать или останавливать процессор. Функционально совпадает с иконками и на палитре операций.

При добавлении компонента в рабочую область NiFi он находится в статусе остановки. Для перевода компонента в рабочее состояние его необходимо запустить. После запуска он может быть остановлен в любой момент времени. В статусе остановки компонент можно настроить, запустить или отключить.

Для запуска компонента должны быть выполнены следующие условия:
- Конфигурация компонента действительна.
- Все определенные связи компонента подключены к другим компонентам или настроены на автоматическое завершение.
- Компонент остановлен.
- Компонент доступен.
- Компонент не имеет активных задач.
Run Once — эта опция позволяет пользователю запустить выбранный процессор ровно один раз. Если процессор не может выполняться (например, нет входящих файлов FlowFiles или к исходящему соединению применяется backpressure), процессор не сработает.
Enable или Disable — позволяет пользователю включать или отключать процессор. Функционально совпадает с иконками и на палитре операций.
View Data Provenance — отображает таблицу происхождения данных NiFi с информацией о событиях происхождения данных для FlowFiles, направляемых через этот процессор.
Replay last event — воспроизводит последнее событие Provenance, эффективно помещая в очередь последний FlowFile, который был обработан процессором (подробно описано в Replaying a FlowFile).
View status history — открывает графическое представление статистической информации процессора с течением времени.
View usage — переводит пользователя к документации по использованию процессора.
View connections → Upstream — позволяет пользователю видеть и "переходить" к восходящим соединениям, поступающим в процессор. Это особенно полезно, когда процессоры подключаются к другим группам процессов и выходят из них.
View connections → Downstream — позволяет пользователю видеть и "переходить" к нисходящим соединениям, которые выходят из процессора. Это особенно полезно, когда процессоры подключаются к другим группам процессов и выходят из них.
Center in view — центрирует представление холста на данном процессоре.
Change color — позволяет пользователю изменить цвет процессора, что может упростить визуальное управление большими потоками. Функционально совпадает с иконкой на палитре операций.
Create template — позволяет пользователю создать шаблон из выбранного процессора. Функционально совпадает с иконкой на палитре операций.
Copy — помещает копию выбранного элемента в буфер обмена. Далее элемент можно вставить в другое место на холсте, нажав правой кнопкой мыши на холсте и выбрав Paste. Функционально совпадает с иконкой на палитре операций.
Delete — позволяет удалить элемент с холста. Функционально совпадает с иконкой на палитре операций.

Подключение и отключение процессоров

Для того, чтобы выполнить подключение созданного процессора к другому процессору или другому компоненту, необходимо выполнить:

Выделить нужный процессор.

Выбор процессора

Выбор процессора
Перенести графическую стрелку, которя появляется при наведении на процессор и отпустить над подключаемым компонентом (другим процессором).

Подключение

Подключение
В открывшейся конфигурации соединения настроить параметры соединения и кликнуть ADD.

Добавление соединения

Добавление соединения

В результате установливается соединение между двумя компонентами.

Соединение установлено

Соединение установлено

Чтобы разорвать соединение процессора с другим компонентом, необходимо:

Остановить процессор при помощи иконки на палитре операций.
Выделить линию соединения.

Выделение линии соединения

Выделение линии соединения
Удалить линию соединения при помощи строки DELETE контекстного меню или иконки на палитре операций.

Группа процессов

Группы процессов можно использовать для логической группировки набора компонентов, чтобы упростить понимание и обслуживание потока данных.

Создание группы процессов

Создание группы процессов производится в следующей последовательности:

Перенести иконку с панели инструментов на холст.
Ввести наименование группы процессов в открывшемся диалоговом окне.

Ввод наименования группы процессов

Ввод наименования группы процессов
Кликнуть ADD.

В результате на холсте отображается созданная группа процессов.

Группа процессов на холсте

Группа процессов на холсте

Управление группой процессов

Взаимодействие с группой процессов на холсте осуществляется при помощи параметров контекстного меню, вызываемого правой кнопкой мыши.

Контекстное меню группы процессов

Configure — позволяет пользователю установить или изменить конфигурацию группы процессов. Функционально совпадает с иконкой на палитре операций.
Variables — позволяет пользователю создавать или настраивать переменные в пользовательском интерфейсе NiFi.
Version → Start version control — позволяет начать контроль версий.
Enter Group — позволяет пользователю войти в группу процессов. Внутри группы процессов допускается составлять потоки как из отдельных процессоров, так и групп процессов. Выйти из группы процессов можно при помощи команды контекстного меню Leave group.
Start or Stop — позволяет пользователю запускать или останавливать группу процессов. Функционально совпадает с иконками и на палитре операций.

При запуске группы процессов запускаются все компоненты группы (включая дочерние), за исключением недействительных или отключенных.
Enable или Disable — позволяет пользователю включать или отключать группу процессов. Функционально совпадает с иконками и на палитре операций.
View Data Provenance — отображает таблицу происхождения данных NiFi с информацией о событиях происхождения данных для FlowFiles, направляемых через группу процессов.
View status history — открывает графическое представление статистической информации группы процессов с течением времени.
View connections → Upstream — позволяет пользователю видеть и "переходить" к восходящим соединениям, поступающим в группу процессов.
View connections → Downstream — позволяет пользователю видеть и "переходить" к нисходящим соединениям, которые выходят из группы процессов.
Center in view — центрирует представление холста на данной группе процессов.
Group — позволяет пользователю создать новую группу процессов, содержащую выбранную группу процессов и любые другие компоненты, выбранные на холсте.
Download flow definition — позволяет пользователю загрузить определение потока группы процессов в виде файла JSON. Файл можно использовать в качестве резервной копии или импортировать в реестр NiFi с помощью интерфейса командной строки NiFi. Существует два варианта загрузки определения потока:
- Without external services — службы контроллера, на которые ссылается выбранная группа процессов, но которые находятся вне ее области действия (например, службы в родительской группе), не будут включены в определение потока как службы.
- With external services — службы контроллера, на которые ссылается выбранная группа процессов, но не входящие в ее область действия (например, службы в родительской группе), будут включены в определение потока.
Create template — позволяет пользователю создать шаблон из выбранной группы процессов. Функционально совпадает с иконкой на палитре операций.
Copy — помещает копию выбранного элемента в буфер обмена. Далее элемент можно вставить в другое место на холсте, нажав правой кнопкой мыши на холсте и выбрав Paste. Функционально совпадает с иконкой на палитре операций.
Empty All Queues — позволяет пользователю очистить все очереди в выбранной группе процессов. Все FlowFiles из всех соединений, ожидающих на момент запроса, будут удалены.
Delete — позволяет удалить элемент с холста. Функционально совпадает с иконкой на палитре операций.

Подключение и отключение группы процессов

Подключение и отключение группы процессов осуществляется так же, как для отдельных процессоров. При этом перед подключением группы процессов необходимо внутри группы разместить входной порт nifi ui input dark nifi ui input light и выходной порт nifi ui output dark nifi ui output light , перенеся соответствующие иконки с панели инструментов на холст.

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней