ADB to Kafka (kafka-connector)¶

Установка с помощью ADCM¶

Для установки коннектора с помощью ADCM требуется инсталлировать сервис PXF на все сегментные ноды кластера, а также в списке сервисов выбрать сервис ADB to Kafka. При этом необходимые пакеты и файлы автоматически устанавливаются на машины кластера.

Установка из rpm-пакетов¶

Установка из rpm-пакетов предполагает, что в кластере ADB установлен сервис PXF.

Для установки коннектора из rpm-пакетов необходимо:

Установить пакет kafka-connector на всех хостах кластера ADB, где установлен сервис PXF;

Добавить в файл /etc/pxf/conf/pxf-profiles-default.xml на каждом хосте кластера следующую секцию:

<profile>
     <name>kafka</name>
     <description>A profile for export data into Apache Kafka</description>
     <plugins>
         <accessor>org.greenplum.pxf.plugins.kafka.KafkaAccessor</accessor>
         <resolver>org.greenplum.pxf.plugins.kafka.KafkaResolver</resolver>
     </plugins>
     <optionMappings>
         <mapping option="BOOTSTRAP_SERVERS" property="kafka.bootstrap.servers"/>
         <mapping option="BATCH_SIZE" property="kafka.batch.size"/>
     </optionMappings>
 </profile>

Перезапустить сервис PXF на всех хостах кластера.

Пример использования¶

CREATE WRITABLE EXTERNAL TABLE kafka_tbl (a TEXT, b TEXT, c TEXT)
  LOCATION ('pxf://<topic>?PROFILE=kafka&BOOTSTRAP_SERVERS=<server>')
  FORMAT 'CUSTOM' (FORMATTER='pxfwritable_export');

INSERT INTO kafka_tbl VALUES ('a', 'b,c', 'd'), ('x', 'y', 'z');

DROP EXTERNAL TABLE kafka_tbl;