ADB to Kafka (kafka-connector)

Установка с помощью ADCM

Для установки коннектора с помощью ADCM требуется инсталлировать сервис PXF на все сегментные ноды кластера, а также в списке сервисов выбрать сервис ADB to Kafka. При этом необходимые пакеты и файлы автоматически устанавливаются на машины кластера.

Установка из rpm-пакетов

Установка из rpm-пакетов предполагает, что в кластере ADB установлен сервис PXF.

Для установки коннектора из rpm-пакетов необходимо:

  1. Установить пакет kafka-connector на всех хостах кластера ADB, где установлен сервис PXF;

  2. Добавить в файл /etc/pxf/conf/pxf-profiles-default.xml на каждом хосте кластера следующую секцию:

    <profile>
         <name>kafka</name>
         <description>A profile for export data into Apache Kafka</description>
         <plugins>
             <accessor>org.greenplum.pxf.plugins.kafka.KafkaAccessor</accessor>
             <resolver>org.greenplum.pxf.plugins.kafka.KafkaResolver</resolver>
         </plugins>
         <optionMappings>
             <mapping option="BOOTSTRAP_SERVERS" property="kafka.bootstrap.servers"/>
             <mapping option="BATCH_SIZE" property="kafka.batch.size"/>
         </optionMappings>
     </profile>
    
  3. Перезапустить сервис PXF на всех хостах кластера.

Пример использования

CREATE WRITABLE EXTERNAL TABLE kafka_tbl (a TEXT, b TEXT, c TEXT)
  LOCATION ('pxf://<topic>?PROFILE=kafka&BOOTSTRAP_SERVERS=<server>')
  FORMAT 'CUSTOM' (FORMATTER='pxfwritable_export');

INSERT INTO kafka_tbl VALUES ('a', 'b,c', 'd'), ('x', 'y', 'z');

DROP EXTERNAL TABLE kafka_tbl;