Документация Arenadata
Наша цель — создание эффективных и гибких решений, масштабируемых до десятков петабайт
Продукты
Ознакомьтесь с нашими современными решениями в области Big Data

Arenadata QuickMarts

Arenadata QuickMarts (ADQM) – высокопроизводительная СУБД для выполнения аналитических запросов в режиме реального времени (OLAP). Это решение является многофункциональным, линейно масштабируемым, отказоустойчивым и надежным. ADQM может применяться в различных сферах для решения задач, требующих высокой скорости обработки постоянно поступающей информации, например:
  • быстрые витрины данных;
  • e-commerce и финансы;
  • мониторинг и анализ структурированных логов и событий;
  • анализ временных рядов;
  • аналитика веб-проектов и мобильных приложений.
Сценарии использования
Расширенный анализ данных

Успешным архитектурным шаблоном является использование Arenadata QuickMarts в качестве слоя для быстрого анализа данных. В этой парадигме база данных OLTP используется для записи транзакционных данных в ее модель на основе строк, а Arenadata QuickMarts выполняет расширенные аналитические запросы, используя свою колоночную модель для ответа на сложные агрегаты в масштабах миллисекунд.

Кроме того, Arenadata QuickMarts предоставляет широкий спектр механизмов для хранения и обработки данных, а также большой набор встроенных функций для быстрого анализа данных.

Искусственный интеллект

Arenadata QuickMarts отлично подходит в качестве источника данных для алгоритмов машинного обучения. Поддерживается интеграция с Yandex CatBoost – алгоритмом машинного обучения с открытым исходным кодом. Некоторые из основных особенностей этой библиотеки: параметры по умолчанию обеспечивают отличные результаты, категориальные функции не требуют предварительной обработки, быстрые вычисления, высокая точность без переобучения и, наконец, эффективные прогнозы.

E-commerce и финансы

Arenadata QuickMarts – отличный выбор для быстрого сохранения данных e-commerce, таких как бизнес-транзакции, поведение пользователей и рекламные данные, а также для создания на их основе гибких BI-отчетов.

Временные ряды

СУБД Arenadata QuickMarts оптимизирована для хранения и анализа временных рядов. Это хорошее решение для анализа данных финансовых рынков или устройств IoT (Internet of Things).

Анализ логов

Arenadata QuickMarts является отличным решением для сбора логов из различных источников для дальнейшего анализа. Быстрое выполнение запросов обеспечивает простой в использовании интерфейс для сбора фактов и метрик, или построения поверх них обработки событий.

Enterprise
Community
Функциональность ядра ClickHouse
Chproxy прокси-сервер
ClickHouse Connector
Сервис координации Apache ZooKeeper
Сервис координации ClickHouse Keeper
Мониторинг
JDBC Bridge
Offline-установка
Автоматическое развертывание и обновление
x86
Техническая поддержка 24/7
Корпоративные обучающие курсы
Индивидуальные решения
Доступные интеграции
ADPG
ADPG
Двухсторонний обмен данными с Arenadata Postgres (ADPG) обеспечивается движком таблицы PostgreSQL, движком базы данных PostgreSQL или табличной функцией.
ADH
ADH
Данные файлов в HDFS можно читать/записывать через встроенную табличную функцию или соответствующий табличный движок.
ADB
ADB
Коннектор ADB ClickHouse обеспечивает возможность высокоскоростного параллельного обмена данными между базой данных Arenadata DB (ADB) и ADQM.
ADS
ADS
Встроенный движок таблицы Kafka позволяет считывать потоковые данные с серверов Kafka.
PostgreSQL
PostgreSQL
Двухсторонний обмен данными с PostgreSQL обеспечивается движком таблицы PostgreSQL, движком базы данных PostgreSQL или табличной функцией.
Kafka
Kafka
Встроенный движок таблицы Kafka позволяет читать потоковые данные из топиков (topics) Kafka.
MySQL
MySQL
Двухсторонний обмен данными с MySQL обеспечивается движком таблицы MySQL, движком базы данных MySQL или табличной функцией.
HDFS
HDFS
Данные файлов в HDFS можно читать/записывать через встроенную табличную функцию или соответствующий табличный движок.
Hive
Hive
Можно считывать данные из Hive с помощью встроенного движка таблиц Hive.
Greenplum
Greenplum
Коннектор ADB ClickHouse обеспечивает возможность высокоскоростного параллельного обмена данными между базой данных Arenadata DB (ADB) и ADQM.
JDBC
JDBC
Двусторонний обмен данными с источниками данных JDBC доступен через JDBC Bridge.
ODBC
ODBC
Двусторонний обмен данными с источниками данных ODBC доступен через ODBC Bridge.
S3
S3
Двусторонний обмен данными с хранилищем S3 доступен через встроенную табличную функцию или соответствующий табличный движок.
Операционные системы
AstraLinux
Поддерживается
AltLinux 8.4 SP
Поддерживается
CentOS 7
Поддерживается
RedHat 7
Поддерживается
Функциональность ядра ClickHouse
Chproxy прокси-сервер
ClickHouse Connector
Сервис координации Apache ZooKeeper
Сервис координации ClickHouse Keeper
Мониторинг
JDBC Bridge
Offline-установка
Автоматическое развертывание и обновление
x86
Техническая поддержка 24/7
Корпоративные обучающие курсы
Индивидуальные решения
Доступные интеграции
ADPG
ADPG
Двухсторонний обмен данными с Arenadata Postgres (ADPG) обеспечивается движком таблицы PostgreSQL, движком базы данных PostgreSQL или табличной функцией.
ADH
ADH
Доступно только для Enterprise
ADB
ADB
Доступно только для Enterprise
ADS
ADS
Встроенный движок таблицы Kafka позволяет считывать потоковые данные с серверов Kafka.
PostgreSQL
PostgreSQL
Двухсторонний обмен данными с PostgreSQL обеспечивается движком таблицы PostgreSQL, движком базы данных PostgreSQL или табличной функцией.
Kafka
Kafka
Встроенный движок таблицы Kafka позволяет читать потоковые данные из топиков (topics) Kafka.
MySQL
MySQL
Двухсторонний обмен данными с MySQL обеспечивается движком таблицы MySQL, движком базы данных MySQL или табличной функцией.
HDFS
HDFS
Данные файлов в HDFS можно читать/записывать через встроенную табличную функцию или соответствующий табличный движок.
Hive
Hive
Можно считывать данные из Hive с помощью встроенного движка таблиц Hive.
Greenplum
Greenplum
Коннектор ADB ClickHouse обеспечивает возможность высокоскоростного параллельного обмена данными между базой данных Arenadata DB (ADB) и ADQM.
JDBC
JDBC
Двусторонний обмен данными с источниками данных JDBC доступен через JDBC Bridge.
ODBC
ODBC
Двусторонний обмен данными с источниками данных ODBC доступен через ODBC Bridge.
S3
S3
Двусторонний обмен данными с хранилищем S3 доступен через встроенную табличную функцию или соответствующий табличный движок.
Операционные системы
AstraLinux
Доступно только для Enterprise
AltLinux 8.4 SP
Доступно только для Enterprise
CentOS 7
Поддерживается
RedHat 7
Поддерживается
Ключевые особенности
Высокая производительность
Выполнение больших запросов естественным образом распараллеливается, а механизм векторных вычислений позволяет добиться высокой загрузки CPU
Многофункциональность
Arenadata QuickMarts имеет множество встроенных аналитических функций для построения сложных отчетов, готовых к использованию инструментами бизнес-аналитики
Линейная масштабируемость
Большие данные распределяются между несколькими шардами кластера
Отказоустойчивость
Асинхронная multi-master репликация обеспечивает высокую надежность и гибкость Arenadata QuickMarts для различных типов рабочих нагрузок
Сжатие данных
Способность эффективно сжимать однотипные данные – одно из наиболее важных свойств колоночной СУБД для достижения высокой производительности
Управление учетными записями пользователей
Поддерживается SQL-ориентированное управление доступом на основе концепции Role Based Access Control (RBAC)
Политики доступа к строкам
Возможность назначать пользователям/ролям политики доступа к строкам позволяет тонко настраивать доступ к данным
Квоты
Пользователям/ролям можно присваивать квоты, чтобы учитывать или ограничивать потребление ресурсов за определенный интервал времени
Смежные продукты
ADB ClickHouse Connector
Сервис предоставляет возможность экспорта данных из Arenadata DB в ClickHouse/ADQM на базе INSERT-запросов.
Решение поддерживает несколько вариантов распределения нагрузки на узлы ClickHouse/ADQM, transaction-like вставку через промежуточные таблицы, а также вставку в целевые таблицы напрямую.
Возможно использование Distributed-таблиц для:
  • поддержки стратегии распределения данных по физическим таблицам;
  • увеличения скорости вставки;
  • балансировки нагрузки на узлы СlickHouse/ADQM.
ADQM Spark Connector
Mногофункциональный коннектор с поддержкой параллельных операций чтения/записи между Apache Spark и Arenadata DB. На его основе можно легко строить ETL-решения и осуществлять анализ данных in-memory.
Обладает большой гибкостью в настройке и множеством возможностей:
  • высокая скорость передачи данных;
  • автоматическое формирование схемы данных;
  • гибкое партиционирование;
  • поддержка push-down операторов;
  • поддержка batch-операций.
JDBC Bridge
Сервис предоставляет возможность выполнения запросов к различным источникам данных, для которых есть поддержка работы по JDBC-интерфейсу.
Взаимодействие возможно через JDBC-табличные функции либо движок таблиц JDBC.
Решение предоставляет:
  • кеширование соединений (connection pooling);
  • балансировку нагрузки и fail-over;
  • ограниченную поддержку модификации данных в источнике (INSERT) и поддержку скриптов.
HTTP-прокси и балансировщик нагрузки Chproxy
Сервис реализует балансировщик нагрузки и HTTP-прокси сервер при взаимодействии пользователей с ClickHouse/ADQM.
Поддерживаются:
  • протоколы HTTP и HTTPS;
  • ограничение доступа по HTTP списком разрешенных IP-адресов/IP-масок;
  • безопасная авторизация пользователей – Chproxy может сопоставлять пользователей, отправляющих запросы, с пользователями кластера ADQM, не раскрывая реальные имена пользователей и пароли, используемые в ADQM;
  • проверка работоспособности узлов кластера и предотвращение отправки запросов на недоступные узлы.
Сравнение продуктов

К сравнению

К сравнению

Инфраструктура
Система управления
Arenadata Cluster Manager (ADCM)

Единое средство управления жизненным циклом всех продуктов Arenadata.

ADCM устанавливается с помощью одной команды и требует только Docker.

Vertica Management console

Управление кластером, нодами, бэкапами и обновлениями.

Управление пользователями.

AWS Console

Управление продуктами AWS через web-интерфейс.

Выбор регионов и размера кластеров.

Управление мониторингом.

Snowsight

Автоматическое развертывание и настройка.

Позволяет управлять кластером.

Управление пользователями, ролями, ресурсами.

Azure

Web-интерфейс облака Azure.

Управление ресурсами и объемом.

Возможность строить дашборды по данным.

ClickHouse cloud

Web-интерфейс c возможностью управления бэкапами и мониторингом.

Системный мониторинг
Есть
Есть
Есть
Есть
Есть
Есть
Централизованный апгрейд
Есть
Есть
Serverless
Serverless
Serverless
Serverless
Возможность развертывания различных сочетаний bare metal, cloud
Есть
Есть
Нет
Нет
Нет
Нет
Поддержка облаков
Google Cloud Platform
Есть
Есть
Нет
Есть
Нет
Есть
Yandex
Есть
Нет
Нет
Нет
Нет
Нет
VK Cloud
Нет
Нет
Нет
Нет
Нет
Нет
Sber
Есть
Нет
Нет
Нет
Нет
Нет
Azure
Нет
Есть
Нет
Есть
Нет
Нет
AWS
Нет
Есть
Есть
Есть
Есть
Есть
Поддержка операционных систем
AltLinux 8 SP
Есть
Нет
Неприменимо
Неприменимо
Неприменимо
Неприменимо
AstraLinux
Есть
Нет
Неприменимо
Неприменимо
Неприменимо
Неприменимо
CentOS
Есть
Есть
Неприменимо
Неприменимо
Неприменимо
Неприменимо
RedHat
Есть
Есть
Неприменимо
Неприменимо
Неприменимо
Неприменимо
Ubuntu
Нет
Есть
Неприменимо
Неприменимо
Неприменимо
Неприменимо
Функционал
Мониторинг запросов
Нет
Есть
Возможно ухудшение производительности.
Есть
Есть
Есть
Есть
Транзакции
Нет
Обеспечиваются ETL.
Есть
Есть
Есть
Есть
Нет
Обеспечиваются ETL.
Внешние таблицы
Есть
Есть
Возможно ухудшение производительности.
Есть
Нет
Есть
Есть
Бэкапирование
Нет
Есть
Есть
Есть
Есть
Есть
Приоритетный способ получения данных
RT
Batch
Batch
Batch
Batch
Batch
RT
Batch
Node fault tolerance
Нет
Ограничиваются опции управления продуктом.
Есть
Есть
AWS S3 Recovery.
Есть
Есть
Есть
DC fault tolerance
Нет
Ограничиваются опции управления продуктом.
Нет
Есть
Возможности облака AWS.
Есть
Есть
Возможности облака Azure
Есть
ML-функции
Есть
Есть
Есть
AWS SageMaker.
Нет
Есть
Azure ML.
Есть
Интеграции
Kafka
Есть
Есть
Возможно ухудшение производительности.
Есть
Возможно ухудшение производительности.
Есть
Возможно ухудшение производительности.
Есть
Возможно ухудшение производительности.
Есть
HDFS
Есть
Есть
Есть
В составе AWS Glue.
Нет
Есть
В составе Azure Data Lake Store.
Есть
Greenplum
Есть
Нет
Нет
Нет
Нет
Есть
S3
Есть
Есть
Есть
Есть
Есть
Есть
ODBC
Есть
Есть
Есть
Есть
Есть
Есть
JDBC
Есть
Есть
Есть
Есть
Есть
Есть
Интеграция с BI-системами
Superset
Есть
Есть
Возможно ухудшение производительности.
Есть
Возможно ухудшение производительности.
Есть
Возможно ухудшение производительности.
Есть
Возможно ухудшение производительности.
Есть
PowerBI
Есть
Есть
Возможно ухудшение производительности.
Есть
Возможно ухудшение производительности.
Есть
Возможно ухудшение производительности.
Есть
Есть
Настройки безопасности
SSL-шифрование
Есть
Есть
Нет
Есть
Есть
Есть
LDAP
Есть
Есть
Нет
Нет
Нет
Возможности облака Azure.
Есть
Дополнительно
Техническая поддержка 24/7
Есть
Недоступно для РФ
Недоступно для РФ
Недоступно для РФ
Недоступно для РФ
Недоступно для РФ
Обучение/тренинги
Есть
Полноценное обучение работе с продуктами Arenadata.
Недоступно на русском языке
Недоступно на русском языке
Недоступно на русском языке
Недоступно на русском языке
Недоступно на русском языке
Community-версия
Есть
Нет
Нет
Нет
Нет
Нет
Open-source версия.
Документация
Есть

Подробная документация на русском и английском языках по всем сервисам, их установке, настройке и эксплуатации.

Находится в открытом доступе.

Есть
Подробная документация на английском языке.
Есть
Подробная документация на английском языке.
Есть
Подробная документация на английском языке.
Есть
Подробная документация на английском языке.
Есть
Подробная документация на английском и русском языках.
Регистрация в реестре отечественного ПО
Есть
Нет
Нет
Нет
Нет
Нет
История релизов с описанием
Есть
В открытом доступе полная история релизов с версиями сервисов и описанием доработанного функционала.
Есть
На английском языке
Есть
На английском языке
Есть
На английском языке
Есть
На английском языке
Есть
На английском языке

Раздел "Сравнение продуктов" является актуальным на дату 30.06.2023.

Roadmap
2023
ADQM 23.3.2.37
  • ClickHouse обновлен до версии 23.3.2.37-lts
  • Реализована поддержка сетевого интерфейса gRPC
  • Расширен набор опций для конфигурирования хранилища данных
  • На странице конфигурации сервиса ADQMDB вместо параметра Storage Configuration добавлены новые секции
  • Реализована возможность определения требований к сложности паролей пользователей
  • В параметры конфигурации сервиса ADQMDB добавлена секция Encryption codecs for tables
ADQM 22.8.12.45
  • ClickHouse обновлен до версии 22.8.12.45-lts
  • Добавлена поддержка Astra Linux
  • Добавлена поддержка аутентификации через Kerberos
  • Реализована поддержка SSL в сервисе Chproxy
  • Реализована возможность установки ClickHouse Keeper как отдельного сервиса
ADQM 22.8.6.71
  • Выполнен ряд улучшений, повышающих безопасность в части взаимодействия хостов кластера, поддержки SSL, взаимодействия Chproxy и ClickHouse
  • Выполнен рефакторинг страницы Configuration сервиса ADQMDB: улучшены описания некоторых параметров, удалены параметры external_dictionaries_path и external_dictionaries из секции Other, секция Other перенесена в конец списка
  • Расширен набор действий, выполняемых для предварительной проверки состояния хостов, компонентов и сервисов перед установкой кластера ADQM
ADQM 22.8.4.7
  • Реализован параметр concurrent_threads_soft_limit, который позволяет ограничить количество потоков обработки запроса
  • На страницу конфигурации кластера в интерфейсе ADCM добавлены опции Disable SElinux и Disable Firewalld
  • Сервис Baje proxy удален из ADQM
  • Добавлена проверка версии Alt Linux перед установкой ADQM
ADQM 22.3.7.28
  • Добавлен сервис Chproxy
  • Исправлена ошибка при обновлении ADQM на Alt Linux
  • Исправлено некорректное переключение статуса кластера с upgradable на installed во время обновления версии кластера
  • Пакеты ADQM теперь имеют названия, отличные от названий пакетов ClickHouse
ADQM 22.3.2.2
  • ClickHouse обновлен до версии 22.3.2.2-lts
  • Добавлена поддержка Alt Linux 8.4 SP
  • Добавлен компонент ClickHouse Keeper
  • Расширены возможности управления встроенными средствами логирования
  • Добавлена проверка сервисов мониторинга, установленных в кластер Enterprise Tools, перед импортом настроек мониторинга в кластер ADQM
ADQM 21.8.13.6
  • Исправлено: возможная потеря данных о конфигурации кластера после обновления версии бандла ADQM, если в поле Default cluster topology была указана некорректная топология кластера
  • Реализовано действие Reinstall status-checker для кластера в состоянии installed. Запускает скрипты деплоя status-checker для сервисов, а также для контейнеров Docker
  • На страницу конфигурации сервиса ADQMDB добавлена секция Advanced configuration parameters, где можно указывать параметры, которые будут сохраняться в файл /etc/clickhouse-server/config.d/advanced.xml
  • Исправлена ошибка установки сервиса Baje proxy
ADQM 21.8.8.29
  • Исправлена ошибка offline-установки пакета ZooKeeper
  • ClickHouse обновлен до версии 21.8.8.29-lts
  • Добавлена возможность назначать аутентифицированным пользователям роли из каталога LDAP
ADQM 21.3.14.1
  • Для сервиса Monitoring Clients в ADCM реализованы действия Expand и Shrink
  • Добавлена поддержка Alt Linux 8.2
  • Добавлена повторная проверка JDBC bridge
  • Изменена логика добавления параметра log_queries в профиль настроек по умолчанию (файл users.xml)
ADQM 21.3.12.2
  • Добавлена поддержка RHEL
  • Добавлена проверка версий компонентов при выполнении действия Check
  • Исправлена проблема с импортом сервиса HTTP Mirror кластера Enterprise Tools в кластер ADQM
ADQM 21.3.11.5
  • ClickHouse обновлен до версии 21.3.11.5
ADQM 21.3.4.25
  • ClickHouse обновлен до версии 21.3.4.25-lts
  • Реализована возможность устанавливать ADQM без доступа в интернет
  • Исправлена ошибка с применением действия Expand к сервису Zookeeper
  • Исправлено: при установке мониторинга не загружались дашборды для ADQMDB
  • Исправлено: в таблицу ClickHouse загружалось более одного сообщения в формате Avro из Kafka
ADQM 20.8.13.15
  • ClickHouse обновлен до версии 20.8.13.15-lts
  • Реализована возможность использовать сервер LDAP для аутентификации пользователей
  • Добавлена проверка Zookeeper после установки
  • Исправлена ошибка установки кластера ADQM при использовании внешнего ZooKeeper
ADQM 20.8.11.17
  • Исправлена ошибка в файле users.xml: в списке networks повторялся один и тот же IP-адрес
  • ClickHouse обновлен до версии 20.8.11.17-lts
  • Добавлены параметры для конфигурирования аккаунта пользователя и профиля настроек по умолчанию
  • Реализовано создание макросов для нескольких кластерных топологий
  • Удалены кнопки Create user и Delete users
ADQM 20.8.4.11
  • ClickHouse обновлен до версии 20.8.4.11-lts
ADQM 20.3.20.6
  • ClickHouse обновлен до версии 20.3.20.6-lts
ADQM 20.8.2.3
  • ClickHouse обновлен до версии 20.8.2.3-stable
  • Добавлена возможность указывать конфигурационные параметры Kafka
ADQM 20.3.13.130
  • ClickHouse обновлен до версии 20.3.13.130-lts
  • На страницу Configuration сервиса ADQMDB в интерфейсе ADCM добавлены параметры: Cluster Configuration, Storage Configuration, User policy, query_log
  • Добавлена возможность указывать имя пользователя и пароль для реплик в секции remote_servers конфигурационного файла config.xml
ADQM 20.3.10.75
  • Исправлено: неверная минимальная версия для обновления
  • ClickHouse обновлен до версии 20.3.10.75
  • Исправлена ошибка проверки сервиса Zookeeper при выполнении действия Check для кластера
ADQM 19.14.11.16
  • Проведен рефакторинг бандла ADQM
  • ClickHouse обновлен до версии 19.14.11.16-lts
  • Добавлена поддержка операционной системы Alt Linux
  • Бандлы ADQM разделены на версии Community и Enterprise
  • Обновлено лицензионное соглашение для версии Community
  • После загрузки бандла открывается окно для подписания лицензионного соглашения
  • В сервис ADQMDB добавлен компонент Clickhouse JDBC Bridge
  • Реализована возможность использовать внешний ZooKeeper