Обзор

Разработанная компанией Arenadata платформа ADS имеет возможность выступления в качестве единой платформы для обработки всех потоков данных в реальном времени, которые может иметь крупная компания. С этой целью продуман достаточно широкий набор вариантов использования:

• ADS должна иметь высокую пропускную способность для поддержки потоков событий большого объема, таких как агрегация журнала в режиме реального времени.
• ADS должна грамотно справляться с большими объемами данных, чтобы иметь возможность поддержки периодических загрузок данных из автономных систем.
• ADS должна обрабатывать передачу данных с низкой задержкой с целью обработки большого количества традиционных случаев использования сообщений.

Партицирование и потребительская модель были мотивированы желанием Arenadata поддерживать секционированную распределенную обработку в реальном времени для создания новых унаследованных лент.

Наконец, в тех случаях, когда поток подается в сторонние системы данных для обслуживания, система должна гарантировать отказоустойчивость при наличии сбоев в работе машины.

Поддержка перечисленных критериев использования привела Arenadata к разработке платформы ADS с несколькими уникальными элементами, более похожими на журнал базы данных, чем на традиционную систему обмена сообщениями.