Arenadata QuickMarts
Arenadata QuickMarts (ADQM) – высокопроизводительная СУБД для выполнения аналитических запросов в режиме реального времени (OLAP). Это решение является многофункциональным, линейно масштабируемым, отказоустойчивым и надежным. ADQM может применяться в различных сферах для решения задач, требующих высокой скорости обработки постоянно поступающей информации, например:
- быстрые витрины данных;
- e-commerce и финансы;
- мониторинг и анализ структурированных логов и событий;
- анализ временных рядов;
- аналитика веб-проектов и мобильных приложений.
Сценарии использования
Расширенный анализ данных
Успешным архитектурным шаблоном является использование Arenadata QuickMarts в качестве слоя для быстрого анализа данных. В этой парадигме база данных OLTP используется для записи транзакционных данных в ее модель на основе строк, а Arenadata QuickMarts выполняет расширенные аналитические запросы, используя свою колоночную модель для ответа на сложные агрегаты в масштабах миллисекунд.
Кроме того, Arenadata QuickMarts предоставляет широкий спектр механизмов для хранения и обработки данных, а также большой набор встроенных функций для быстрого анализа данных.
Искусственный интеллект
Arenadata QuickMarts отлично подходит в качестве источника данных для алгоритмов машинного обучения. Поддерживается интеграция с Yandex CatBoost – алгоритмом машинного обучения с открытым исходным кодом. Некоторые из основных особенностей этой библиотеки: параметры по умолчанию обеспечивают отличные результаты, категориальные функции не требуют предварительной обработки, быстрые вычисления, высокая точность без переобучения и, наконец, эффективные прогнозы.
E-commerce и финансы
Arenadata QuickMarts – отличный выбор для быстрого сохранения данных e-commerce, таких как бизнес-транзакции, поведение пользователей и рекламные данные, а также для создания на их основе гибких BI-отчетов.
Временные ряды
СУБД Arenadata QuickMarts оптимизирована для хранения и анализа временных рядов. Это хорошее решение для анализа данных финансовых рынков или устройств IoT (Internet of Things).
Анализ логов
Arenadata QuickMarts является отличным решением для сбора логов из различных источников для дальнейшего анализа. Быстрое выполнение запросов обеспечивает простой в использовании интерфейс для сбора фактов и метрик, или построения поверх них обработки событий.
Enterprise
Community
Функциональность ядра ClickHouse
Chproxy прокси-сервер
ClickHouse Connector
Сервис координации Apache ZooKeeper
Сервис координации ClickHouse Keeper
Мониторинг
JDBC Bridge
Offline-установка
Автоматическое развертывание и обновление
x86
Техническая поддержка 24/7
Корпоративные обучающие курсы
Индивидуальные решения
Доступные интеграции
ADPG
ADPG
Двухсторонний обмен данными с Arenadata Postgres (ADPG) обеспечивается движком таблицы PostgreSQL, движком базы данных PostgreSQL или табличной функцией.
ADH
ADH
Данные файлов в HDFS можно читать/записывать через встроенную табличную функцию или соответствующий табличный движок.
ADB
ADB
Коннектор ADB ClickHouse обеспечивает возможность высокоскоростного параллельного обмена данными между базой данных Arenadata DB (ADB) и ADQM.
ADS
ADS
Встроенный движок таблицы Kafka позволяет считывать потоковые данные с серверов Kafka.
PostgreSQL
PostgreSQL
Двухсторонний обмен данными с PostgreSQL обеспечивается движком таблицы PostgreSQL, движком базы данных PostgreSQL или табличной функцией.
Kafka
Kafka
Встроенный движок таблицы Kafka позволяет читать потоковые данные из топиков (topics) Kafka.
MySQL
MySQL
Двухсторонний обмен данными с MySQL обеспечивается движком таблицы MySQL, движком базы данных MySQL или табличной функцией.
HDFS
HDFS
Данные файлов в HDFS можно читать/записывать через встроенную табличную функцию или соответствующий табличный движок.
Hive
Hive
Можно считывать данные из Hive с помощью встроенного движка таблиц Hive.
Greenplum
Greenplum
Коннектор ADB ClickHouse обеспечивает возможность высокоскоростного параллельного обмена данными между базой данных Arenadata DB (ADB) и ADQM.
JDBC
JDBC
Двусторонний обмен данными с источниками данных JDBC доступен через JDBC Bridge.
ODBC
ODBC
Двусторонний обмен данными с источниками данных ODBC доступен через ODBC Bridge.
S3
S3
Двусторонний обмен данными с хранилищем S3 доступен через встроенную табличную функцию или соответствующий табличный движок.
Операционные системы
Alt Linux
Поддерживается Alt Linux 8 SP
CentOS
Поддерживается CentOS 7
RedHat
Поддерживается RedHat 7
Astra Linux
Поддерживается Astra Linux SE 1.7 Орел
RedOS
Поддерживается RedOS 7.3.2
Ubuntu
Поддерживается Ubuntu 22.04
Функциональность ядра ClickHouse
Chproxy прокси-сервер
ClickHouse Connector
Сервис координации Apache ZooKeeper
Сервис координации ClickHouse Keeper
Мониторинг
JDBC Bridge
Offline-установка
Автоматическое развертывание и обновление
x86
Техническая поддержка 24/7
Корпоративные обучающие курсы
Индивидуальные решения
Доступные интеграции
ADPG
ADPG
Двухсторонний обмен данными с Arenadata Postgres (ADPG) обеспечивается движком таблицы PostgreSQL, движком базы данных PostgreSQL или табличной функцией.
ADH
ADH
Доступно только для Enterprise
ADB
ADB
Доступно только для Enterprise
ADS
ADS
Встроенный движок таблицы Kafka позволяет считывать потоковые данные с серверов Kafka.
PostgreSQL
PostgreSQL
Двухсторонний обмен данными с PostgreSQL обеспечивается движком таблицы PostgreSQL, движком базы данных PostgreSQL или табличной функцией.
Kafka
Kafka
Встроенный движок таблицы Kafka позволяет читать потоковые данные из топиков (topics) Kafka.
MySQL
MySQL
Двухсторонний обмен данными с MySQL обеспечивается движком таблицы MySQL, движком базы данных MySQL или табличной функцией.
HDFS
HDFS
Данные файлов в HDFS можно читать/записывать через встроенную табличную функцию или соответствующий табличный движок.
Hive
Hive
Можно считывать данные из Hive с помощью встроенного движка таблиц Hive.
Greenplum
Greenplum
Коннектор ADB ClickHouse обеспечивает возможность высокоскоростного параллельного обмена данными между базой данных Arenadata DB (ADB) и ADQM.
JDBC
JDBC
Двусторонний обмен данными с источниками данных JDBC доступен через JDBC Bridge.
ODBC
ODBC
Двусторонний обмен данными с источниками данных ODBC доступен через ODBC Bridge.
S3
S3
Двусторонний обмен данными с хранилищем S3 доступен через встроенную табличную функцию или соответствующий табличный движок.
Операционные системы
Alt Linux
Доступно только для Enterprise
CentOS
Поддерживается CentOS 7
RedHat
Поддерживается RedHat 7
Astra Linux
Доступно только для Enterprise
RedOS
Доступно только для Enterprise
Ubuntu
Поддерживается Ubuntu 22.04
Ключевые особенности
Высокая производительность
Выполнение больших запросов естественным образом распараллеливается, а механизм векторных вычислений позволяет добиться высокой загрузки CPU
Многофункциональность
Arenadata QuickMarts имеет множество встроенных аналитических функций для построения сложных отчетов, готовых к использованию инструментами бизнес-аналитики
Линейная масштабируемость
Большие данные распределяются между несколькими шардами кластера
Отказоустойчивость
Асинхронная multi-master репликация обеспечивает высокую надежность и гибкость Arenadata QuickMarts для различных типов рабочих нагрузок
Сжатие данных
Способность эффективно сжимать однотипные данные – одно из наиболее важных свойств колоночной СУБД для достижения высокой производительности
Управление учетными записями пользователей
Поддерживается SQL-ориентированное управление доступом на основе концепции Role Based Access Control (RBAC)
Политики доступа к строкам
Возможность назначать пользователям/ролям политики доступа к строкам позволяет тонко настраивать доступ к данным
Квоты
Пользователям/ролям можно присваивать квоты, чтобы учитывать или ограничивать потребление ресурсов за определенный интервал времени
Смежные продукты
ADB ClickHouse Connector
Сервис предоставляет возможность экспорта данных из Arenadata DB в ClickHouse/ADQM на базе INSERT-запросов.
Решение поддерживает несколько вариантов распределения нагрузки на узлы ClickHouse/ADQM, transaction-like вставку через промежуточные таблицы, а также вставку в целевые таблицы напрямую.
Возможно использование Distributed-таблиц для:
- поддержки стратегии распределения данных по физическим таблицам;
- увеличения скорости вставки;
- балансировки нагрузки на узлы СlickHouse/ADQM.
ADQM Spark Connector
Mногофункциональный коннектор с поддержкой параллельных операций чтения/записи между Apache Spark и Arenadata DB. На его основе можно легко строить ETL-решения и осуществлять анализ данных in-memory.
Обладает большой гибкостью в настройке и множеством возможностей:
- высокая скорость передачи данных;
- автоматическое формирование схемы данных;
- гибкое партиционирование;
- поддержка push-down операторов;
- поддержка batch-операций.
JDBC Bridge
Сервис предоставляет возможность выполнения запросов к различным источникам данных, для которых есть поддержка работы по JDBC-интерфейсу.
Взаимодействие возможно через JDBC-табличные функции либо движок таблиц JDBC.
Решение предоставляет:
- кеширование соединений (connection pooling);
- балансировку нагрузки и fail-over;
- ограниченную поддержку модификации данных в источнике (INSERT) и поддержку скриптов.
HTTP-прокси и балансировщик нагрузки Chproxy
Сервис реализует балансировщик нагрузки и HTTP-прокси сервер при взаимодействии пользователей с ClickHouse/ADQM.
Поддерживаются:
- протоколы HTTP и HTTPS;
- ограничение доступа по HTTP списком разрешенных IP-адресов/IP-масок;
- безопасная авторизация пользователей – Chproxy может сопоставлять пользователей, отправляющих запросы, с пользователями кластера ADQM, не раскрывая реальные имена пользователей и пароли, используемые в ADQM;
- проверка работоспособности узлов кластера и предотвращение отправки запросов на недоступные узлы.
Сравнение продуктов
К сравнению
Раздел "Сравнение продуктов" является актуальным на дату 30.06.2023.