Конференция Arenadata
ArenaTech 2026 – для всех, кому интересны технологии Big Data
Приглашаем вас принять участие в технической онлайн-конференции, посвященной работе с большими данными. Участие бесплатно для всех желающих.

В программе 3 блока докладов:

  • СУБД: архитектура и эксплуатация. Обсудим новые возможности Greengage DB и Arenadata DB на его основе, включая hot standby, обзор утилиты изменения кластерной топологии ggrebalance, вопросы безопасности и устранения CVE.
  • Платформа данных: безопасность и Kubernetes в ADH, аналитика в ADQM. Расскажем об управлении секретами и доступом в Arenadata Hyperwave с использованием OpenBao, особенности переноса сервисов в Kubernetes, а также про аналитические методы в инструментах ADQM.
  • Инструменты: кластерный менеджер, документация, ИИ-поиск. Поделимся опытом разработки технической документации (включая интеллектуальный поиск и ИИ-ассистент) и поговорим про развитие нашего кластерного менеджера ADCM.
Онлайн-конференция состоится 29 октября 2026 года, время трансляции: с 12:00 до 19:00 по московскому времени.
Осталось до события

Kafka API

Ольга Семме

Обзор

Kafka включает в себя пять основных API:

API в Kafka используются для реализации клиентских приложений, которые потребляют и передают данные в Kafka, управляют брокерами и топиками Kafka, а также выполняют потоковую обработку.

Клиенты для приложений Java поддерживаются как часть основного проекта Kafka, остальные доступны как независимые проекты с открытым исходным кодом.

ПРИМЕЧАНИЕ

Список клиентов, отличных от Java, приведен в статье Kлиенты для работы с Kafka.

Установка зависимостей

Для создания API в Kafka используется Apache Maven — инструмент, основанный на концепции объектной модели проекта POM (Project Object Model), управляющий сборкой проекта, загружающий подходящие версии пакетов и библиотеки. Для загрузки необходимого пакета необходимо установить зависимость (dependency) в файле pom.xml. На основе заданной зависимости Maven загрузит и добавит JAR-файл (Java-архив) к пути Java. После этого Java сможет найти и использовать классы, заданные в файле JAR.

Для указания зависимости используются параметры GAV (groupId, artifactId, version):

  • groupId — идентификатор производителя объекта. Часто используется схема, принятая в обозначении пакетов Java.

  • artifactId — идентификатор объекта. Обычно это имя создаваемого модуля или приложения.

  • version — версия описываемого объекта.

Для использования API зависимости Maven в файле pom.xml устанавливаются следующим образом:

<dependency>
	<groupId>org.apache.kafka</groupId>
	<artifactId>kafka-clients</artifactId>
	<version>3.5.0</version>
</dependency>

Producer API

Producer API позволяет приложениям отправлять потоки данных в топики в кластере Kafka.

Consumer API

Consumer API позволяет приложениям считывать потоки данных из топиков в кластере Kafka.

Streams API

Streams API позволяет преобразовывать потоки данных из входных топиков в выходные топики.

ПРИМЕЧАНИЕ

  • Для получения дополнительной информации о Kafka Streams можно обратиться к статье KAFKA STREAMS.

  • Для получения информации о создании приложения Kafka Streams c использованием кластера ADS можно обратиться к статье Создание приложения Kafka Streams.

Connect API

Connect API позволяет реализовывать коннекторы, которые в непрерывном режиме извлекают данные из какой-либо системы исходных данных в Kafka или передают данные из Kafka в какую-либо систему-приемник данных. Предварительно созданные коннекторы используются без необходимости написания кода.

ПРИМЕЧАНИЕ

  • Для получения дополнительной информации о Kafka Connect можно обратиться к статье KAFKA CONNECT.

  • Для получения информации о работе с Kafka Connect при помощи инструментов интерфейса ADS Control можно обратиться к статьям:

Admin API

Admin API поддерживает управление топиками, брокерами, списками управления доступом и другими объектами Kafka, а также их проверку.

ПРИМЕЧАНИЕ

Полный список доступных API приведен в статье kafka 2.8.1 API
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней