Настройка процессоров и групп процессов

Name — имя процессора. Имя процессора по умолчанию совпадает с типом процессора. Рядом с именем процессора находится флажок Enabled, указывающий включен ли процессор.

Id — уникальный идентификатор процессора.

Type — тип процессора.

Bundle — пакет NAR.

Yield Duration — период времени без ответа от удаленной службы, по истечении которого процессор должен "уступить", что предотвратит запланированное выполнение процессора в течение некоторого периода времени.

Penalty Duration — период времени, в течении которого предотвращается запланированное выполнение процессора в случае ошибки приема или передачи файлов в удаленную службу.

Bulletin Level — самый низкий уровень бюллетеня, который должен отображаться в пользовательском интерфейсе.

Scheduling Strategy — стратегия планирования. Возможные варианты планирования компонентов:

Concurrent Tasks — определяет, сколько потоков будет использовать процессор. Другими словами, это определяет, сколько FlowFiles должно обрабатываться этим процессором одновременно.

Run Schedule — определяет, как часто процессор должен запускаться по расписанию. Допустимые значения для этого поля зависят от выбранной стратегии планирования.

Execution — используется для определения, на каком узле (узлах) будет запланировано выполнение процессора.

Вкладка PROPERTIES предоставляет механизм для настройки поведения конкретного процессора. Свойства по умолчанию отсутствуют. Каждый тип процессора должен определять, какие свойства имеют смысл для его варианта использования.

Настройка свойств процессора описана в статье Работа с атрибутами.

Automatically Terminate / Retry Relationships:

Number of Retry Attempts — для отношений, настроенных на повторную попытку, это число указывает, сколько раз FlowFile будет пытаться повторно обработать, прежде чем он будет направлен в другое место.

Retry Back Off Policy — когда FlowFile необходимо повторить, пользователь может настроить политику отсрочки с двумя параметрами:

Retry Maximum Back Off Period — первоначальные повторные попытки основаны на значениях Penalty Duration и Yield Duration, указанных на вкладке SETTINGS. Время продолжительности многократно удваивается для каждой последующей попытки повтора. Это число указывает максимально допустимый период времени до следующей повторной попытки.

Bulletin Level — самый низкий уровень бюллетеня, который должен отображаться в пользовательском интерфейсе.

Вкладка предоставляет пользователям область для включения любых комментариев, подходящих для этого компонента.

Process Group Name — имя группы процессов. Это имя отображается в верхней части группы процессов на холсте, а также в навигационных цепочках в нижней части пользовательского интерфейса. Для корневой группы процессов (т.е. группы самого высокого уровня) это также имя, которое отображается в качестве заголовка вкладки браузера. Обратите внимание, что эта информация видна любому другому экземпляру NiFi, который удаленно подключается к этому экземпляру (с использованием групп удаленных процессов, также известных как Site-to-Site).

Process Group Parameter Context — контекст параметров группы процессов, который используется для предоставления параметров компонентам потока. В этом раскрывающемся списке пользователь может выбрать, какой контекст параметров должен быть привязан к этой группе процессов, и при желании может создать новый контекст для привязки к группе процессов.

Process Group Comments — комментарии группы процессов, которые обеспечивают механизм для добавления любой полезной информации о группе процессов.

Process Group FlowFile Concurrency — используется для управления тем, как данные передаются в группу процессов.

Доступны три варианта:

Process Group Outbound Policy — в то время как FlowFile Concurrency диктует, как данные должны быть доставлены в группу процессов, исходящая политика контролирует поток данных из группы процессов. Доступны два варианта:

Default Settings for Connections — срок действия FlowFile по умолчанию.

Default Back Pressure Object Threshold — пороговое значение объекта backpressure по умолчанию.

Default Back Pressure Data Size Threshold — пороговое значение размера данных backpressure по умолчанию.

На вкладке отображаются сервисы контроллера для потоков данных.

На вкладке DETAILS представлена ​​информация об исходном и целевом компонентах, включая имя компонента, тип компонента и группу процессов, в которой находится компонент.

For Relationships — предоставляет возможность выбрать, какие отношения должны быть включены в это соединение. Должно быть выбрано хотя бы одно отношение. Если доступно только одно отношение, оно выбирается автоматически.

Если с одним и тем же отношением добавляется несколько соединений, любой FlowFile, маршрутизируемый к этому отношению, будет автоматически "клонирован", и его копия будет отправлена ​​каждому из этих соединений.

Name — имя соединения. Можно оставить пустым.

FlowFile Expiration — концепция, согласно которой данные, которые не могут быть своевременно обработаны, могут быть автоматически удалены из потока. Это полезно, например, когда ожидается, что объем данных превысит объем, который можно отправить на удаленный узел.

Back Pressure — два элемента конфигурации для backpressure:

Load Balance Strategy — для распределения данных в потоке по узлам в кластере NiFi предлагает следующие стратегии балансировки нагрузки:

Prioritization — приоритет данных в очереди, чтобы данные с более высоким приоритетом обрабатывались в первую очередь. Приоритезаторы можно перемещать сверху (Available prioritizers) вниз (Selected prioritizers). Можно выбрать несколько приоритетов. Приоритет, который находится вверху списка Selected prioritizers, имеет наивысший приоритет. Если два FlowFile имеют одинаковое значение в соответствии с этим приоритезатором, второй приоритезатор будет определять, какой FlowFile обрабатывать первым, и так далее. Если приоритезатор больше не нужен, его можно переместить из списка Selected prioritizers в список Available prioritizers.

Доступны следующие приоритеты: