Arenadata Streaming

Apache ZooKeeper – это служба распределенной координации, используемая Arenadata Streaming для управления конфигурацией и координацией своих кластеров. Это важнейший компонент системы, поскольку он помогает обеспечить высокую доступность и отказоустойчивость в кластерах потоковой передачи Arenadata.

ZooKeeper предоставляет иерархическое пространство имен, которое позволяет Arenadata Streaming хранить данные конфигурации, управлять распределенными блокировками и координировать распределенные процессы. Он обеспечивает единообразное представление состояния системы на всех узлах кластера, что помогает предотвратить несогласованность данных и обеспечить их целостность.

Например, Arenadata Streaming использует ZooKeeper для управления брокерами Kafka, топиками и партициями. Когда в кластер добавляется новый брокер, ZooKeeper используется для присвоения ему уникального идентификатора и координации распределения данных по кластеру.

Apache Kafka – это распределенная платформа потоковой передачи, используемая Arenadata Streaming для управления приемом, обработкой и анализом потоков данных в реальном времени. Он предоставляет масштабируемую, отказоустойчивую и высокодоступную инфраструктуру для обработки и хранения данных в реальном времени.

Arenadata Streaming использует возможности Kafka для обработки больших объемов данных и поддержки нескольких источников данных. Он предоставляет платформу обработки данных в режиме реального времени, которая позволяет предприятиям анализировать данные по мере их прохождения через систему, обеспечивая почти мгновенное понимание бизнес-операций.

Schema Registry – это централизованный репозиторий, используемый Arenadata Streaming для хранения и управления схемами данных, создаваемых и потребляемых Apache Kafka. Он позволяет пользователям определять, развивать и совместно использовать схемы в различных приложениях и системах, использующих Kafka.

В Arenadata Streaming сервис Schema Registry позволяет пользователям обеспечивать совместимость данных в различных версиях их приложений и систем. Он обеспечивает способ принудительной проверки данных и гарантирует, что все данные, создаваемые и потребляемые Kafka, соответствуют предопределенной схеме.

KSQL – это потоковый механизм SQL, используемый Arenadata Streaming для обработки потоков данных в реальном времени. Он позволяет пользователям писать SQL-запросы для преобразования, агрегирования и анализа данных в режиме реального времени, что упрощает создание конвейеров обработки данных в реальном времени без необходимости сложного программирования.

В Arenadata Streaming сервис KSQL предоставляет простой, но мощный способ взаимодействия с потоками данных, позволяя пользователям запрашивать, объединять и фильтровать данные по мере их прохождения через систему. Он поддерживает широкий спектр операций SQL, включая работу с окнами, агрегирование и объединение, что позволяет пользователям создавать сложную логику обработки без необходимости в специальном коде.

Kafka Connect – это платформа интеграции данных, используемая Arenadata Streaming для перемещения данных между Apache Kafka и другими системами. Она предоставляет масштабируемую и отказоустойчивую инфраструктуру для приема и экспорта данных в Kafka и из нее, что упрощает интеграцию различных систем и технологий с Kafka.

В Arenadata Streaming сервис Kafka Connect позволяет пользователям интегрировать с Kafka данные из различных источников, таких как базы данных, файловые системы и системы обмена сообщениями. Kafka Connect предоставляет коннекторы, которые можно настроить для извлечения данных из разных систем и записи их в топики Kafka или для чтения данных из топиков Kafka и записи их во внешние системы.

Kafka Connect также используется для MirrorMaker 2. MirrorMaker 2 – это инструмент, используемый Arenadata Streaming для репликации данных между кластерами Apache Kafka. Он заменяет оригинальный инструмент MirrorMaker и предоставляет несколько новых функций и улучшений по сравнению с его предшественником.

Kafka REST Proxy – это инструмент, используемый Arenadata Streaming для предоставления функциональности Apache Kafka в виде RESTful API. Он предоставляет простой и масштабируемый способ интеграции Kafka с другими системами и технологиями, поддерживающими RESTful API.

Apache NiFi – это инструмент интеграции данных с открытым исходным кодом, используемый Arenadata Streaming для автоматизации потока данных между различными системами и технологиями. Он предоставляет визуальный интерфейс drag-and-drop для проектирования и настройки потоков данных, что позволяет пользователям легко создавать сложные конвейеры данных без написания кода.

В Arenadata Streaming сервис Apache NiFi позволяет пользователям создавать и управлять потоками данных в различных системах и технологиях. Он предоставляет широкий спектр процессоров и коннекторов, которые можно использовать для интеграции с различными источниками данных и местами назначения, включая базы данных, очереди сообщений и облачные платформы.

Apache MiNiFi – это облегченный инструмент сбора данных, используемый Arenadata Streaming для сбора и предварительной обработки данных на сетевой периферии. Он предназначен для работы на устройствах с ограниченными ресурсами, таких как датчики и устройства IoT, и позволяет пользователям собирать и обрабатывать данные в режиме реального времени, не полагаясь на центральный сервер.

В Arenadata Streaming сервис Apache MiNiFi позволяет пользователям собирать и предварительно обрабатывать данные на границе сети перед их отправкой на центральный сервер для дальнейшей обработки и анализа. Он предоставляет широкий спектр процессоров и разъемов, которые можно использовать для сбора данных из различных источников, включая датчики, камеры и другие устройства IoT.

Apache NiFi Registry – это система контроля версий и управления, используемая Arenadata Streaming для управления потоками данных и другими активами, созданными с помощью Apache NiFi, и управления ими. Он предоставляет центральный репозиторий для хранения и управления потоками, шаблонами и другими артефактами NiFi, позволяя пользователям легко создавать версии, развертывать и повторно использовать их в разных средах.

Kafka Manager (также известный как CMAK) – это веб-инструмент управления, используемый для управления кластерами Apache Kafka. Он предназначен для упрощения администрирования кластеров Kafka, предоставляя удобный интерфейс для управления и мониторинга топиков, партиций и брокеров Kafka.

В Arenadata Streaming сервис Kafka Manager позволяет пользователям легко управлять своими кластерами Kafka и отслеживать их. Он предоставляет веб-интерфейс для выполнения административных задач, таких как создание и удаление топиков, переназначение партиций и управление конфигурациями брокера. Он также предоставляет метрики в реальном времени и мониторинг кластеров Kafka, позволяя пользователям легко выявлять и устранять проблемы.