Работа с Kafka Connect в ADS Control
Обзор страницы Kafka Connects
Страница Clusters → <cluster name> → Kafka Connects в web-интерфейсе ADS Control предназначена для отображения информации о доступных экземплярах сервиса Kafka Connect в кластере ADS. Страница Kafka Connects становится доступна после выбора кластера в секции управления кластерами и перехода на нужную вкладку на странице General.
Страница Kafka Connects содержит таблицу c информацией о экземплярах сервиса Kafka Connect. Описание столбцов таблицы приведено ниже.
| Поле | Описание |
|---|---|
Kafka Connects |
Наименование экземпляра сервиса Kafka Connect. Кликнув на наименование, можно перейти на страницу обзора экземпляра Kafka Connect |
Running |
Количество запущенных коннекторов |
Paused |
Количество приостановленных коннекторов |
Degraded |
Количество коннекторов в статусе |
Failed |
Количество коннекторов с ошибкой |
Total |
Общее количество коннекторов |
Обзор экземпляра Kafka Connect
После нажатия на имя открывается страница обзора экземпляра Kafka Connect Clusters → <cluster name> → Kafka Connects → <cluster name> connector.
На странице обзора сервиса Kafka Connects содержатся:
-
Секция поиска и фильтрации:
-
поле для поиска коннектора по наименованию;
-
поле Type для фильтрации коннекторов по типу:
SourceилиSink; -
поле Status для фильтрации коннекторов по статусу:
-
Running -
Stopped -
Paused -
Unassigned -
Failed -
Degraded
-
-
кнопка
для обнуления результатов поиска и фильтрации; -
кнопка Create Connector для создания новых коннекторов.
-
-
Таблица c информацией о созданных коннекторах Kafka Connect. Описание столбцов таблицы приведено ниже.
| Поле | Описание |
|---|---|
Name |
Имя коннектора |
Type |
Тип коннектора |
Plugin |
Наименование плагина коннектора |
Topics |
Топики, связанные с работой коннектора |
Broker |
Брокер, на котором запущен коннектор |
Tasks |
Количество задач коннектора |
Actions |
В столбце размещены иконки для управления коннектором:
Все действия требуют подтверждения |
Создание коннектора
Для создания коннектора выполните:
-
Нажмите кнопку Create Connector на странице обзора экземпляра Kafka Connect. После нажатия кнопки Create Connector открывается окно выбора плагина коннектора Clusters → <cluster name> → Kafka Connects → <cluster name> connector → Kafka connector plugins.
Окно выбора плагина коннектора
Окно выбора плагина коннектора -
Выберите необходимый плагин коннектора.
Доступны к использованию следующие плагины: MirrorCheckpointConnector, MirrorHeartbeatConnector, MirrorSourceConnector — коннекторы, предназаченные для репликации топиков с использованием механизма Mirror Maker 2. Подробнее работа с этими коннекторами описана в статье Mirror Maker 2 в ADS Control.
-
Далее заполните конфигурацию коннектора в открывшемся окне. Вы можете использовать заполнение конфигурации в виде файла JSON. Для этого активируйте соответствующий переключатель.
Конфигурация коннектора
Конфигурация коннектора
JSON-файл конфигурации коннектора
JSON-файл конфигурации коннектора -
После заполнения кликните Save и получите сообщение об успешном создании коннектора.
Сообщение об успешном создании коннектора
Сообщение об успешном создании коннектора -
Убедитесь, что открылась страница созданного коннектора с отображением задач.
Созданный коннектор
Созданный коннектор -
Проверьте, что на странице Connectors for ads отображаются созданные коннекторы в рабочем статусе. Статус определяется в зависимости от индикатора перед названием коннектора:
-
— коннектор/задача запущены; -
— коннектор/задача были административно приостановлены; -
— ошибка в работе коннектора/задачи, или коннектор в статусе статусе degraded; -
— коннектор/задача еще не назначены процессу.
Созданные коннекторы
Созданные коннекторы -