Обзор¶
Разработанная компанией Arenadata платформа ADS имеет возможность выступления в качестве единой платформы для обработки всех потоков данных в реальном времени, которые может иметь крупная компания. С этой целью продуман достаточно широкий набор вариантов использования:
- ADS должна иметь высокую пропускную способность для поддержки потоков событий большого объема, таких как агрегация журнала в режиме реального времени.
- ADS должна грамотно справляться с большими объемами данных, чтобы иметь возможность поддержки периодических загрузок данных из автономных систем.
- ADS должна обрабатывать передачу данных с низкой задержкой с целью обработки большого количества традиционных случаев использования сообщений.
Партицирование и потребительская модель были мотивированы желанием Arenadata поддерживать секционированную распределенную обработку в реальном времени для создания новых унаследованных лент.
Наконец, в тех случаях, когда поток подается в сторонние системы данных для обслуживания, система должна гарантировать отказоустойчивость при наличии сбоев в работе машины.
Поддержка перечисленных критериев использования привела Arenadata к разработке платформы ADS с несколькими уникальными элементами, более похожими на журнал базы данных, чем на традиционную систему обмена сообщениями.