Документация Arenadata
Наша цель — создание эффективных и гибких решений, масштабируемых до десятков петабайт
Продукты
Ознакомьтесь с нашими современными решениями в области Big Data

Arenadata Cluster Manager

Интуитивный интерфейс Arenadata Cluster Manager (ADCM) упрощает установку и запуск кластера, а централизованная точка входа ADCM позволяет вам контролировать и выполнять аудит пользовательских доступов и активности на всех кластерах.
ADCM позволяет устанавливать, настраивать и обновлять кластеры посредством графического интерфейса либо API-запросов. Вся настройка служб операционной системы производится автоматически. Преимущества ADCM проявляются в полной мере при работе с гетерогенной инфраструктурой – у вас есть возможность размещать службы данных на различных инфраструктурных объектах: облаках, on-premises и службах PaaS.
Сценарии использования
Развертывание и управление кластером

Легко развертывайте кластеры и управляйте ими централизованно. Процесс установки сокращает время развертывания с недель до минут; предоставляет единый централизованный пользовательский интерфейс для внесения изменений в конфигурацию кластеров; обеспечивает гранулированную видимость и контроль над каждым типом ресурсов.

Автоматизация платформ SaaS

Сегодня многие организации развертывают кластеры в облаке для снижения затрат и повышения эффективности. ADCM поддерживает REST API для упрощения взаимодействия с различными хостпровайдерами и автоматизации пайплайнов.

Поддерживаемые продукты
Продукты
ADB
ADB
Позволяет развертывать и управлять community и enterprise-версиями кластеров Arenadata DB (основной сервис – Greenplum).
ADH
ADH
Позволяет развертывать и управлять community и enterprise-версиями кластеров Arenadata Hadoop (сервисы экосистемы Hadoop).
ADPG
ADPG
Позволяет развертывать и управлять community и enterprise-версиями кластеров Arenadata Postgres (основной сервис – PostgreSQL).
ADS
ADS
Позволяет развертывать и управлять community и enterprise-версиями кластеров Arenadata Streaming (сервисы экосистемы Kafka, NiFi, MiNiFi).
ADQM
Arenadata QuickMarts
Позволяет развертывать и управлять community и enterprise-версиями кластеров Arenadata QuickMarks (основной сервис – ClickHouse).
Операционные системы
CentOS
Поддерживается CentOS 7
RedHat
Поддерживается RedHat 7
Alt Linux
Поддерживается Alt Linux 8 SP
Astra Linux
Поддерживается Astra Linux SE 1.7 Орел
Ubuntu
Поддерживается Ubuntu 22.04 LTS
RedOS
Поддерживается RedOS 7.3.2
Хостпровайдеры
Инфраструктурные бандлы
SSH
Обеспечивает SSH-подключение к хостам, которые предварительно созданы в облаке или on-premises.
Yandex Cloud
Обеспечивает полный цикл управления инстансами в Yandex Compute Cloud: создание и инициализация, включение и выключение, обновление, удаление и т.д.
VK Cloud
Позволяет создавать и управлять хостами в инфраструктуре VK Cloud и отслеживать их состояние.
VCloud
Позволяет создавать и управлять хостами в инфраструктуре VCloud (VMware). Предоставляет инструменты для мониторинга.
cloud.ru
Позволяет создавать и управлять хостами в инфраструктуре Cloud.ru Advanced и отслеживать их состояние.
CROC
Позволяет создавать и управлять хостами в инфраструктуре CROC Cloud и отслеживать их состояние.
Облачные бандлы
ADB Cloud
Позволяет автоматически развертывать кластеры Arenadata DB (ADB) в различных облаках.
ADQM Cloud
Позволяет автоматически развертывать кластеры Arenadata QuickMarts (ADQM) в различных облаках.
Ключевые особенности
Простота использования
ADCM поставляется в виде контейнера. Всё, что вам нужно сделать – просто загрузить его из публичного реестра и запустить, используя Docker. При этом ADCM поддерживает использование внешней базы данных для большей надёжности.
Единое управление
Управляйте различными кластерами и хостами, настраивайте доступ и права пользователей из централизованной точки входа. ADCM позволяет упростить такие сложные операции, как расширение кластера или одновременное обновление всех компонентов кластера. Кластер ADCM предоставляет гибкую модель управления доступом на основе ролей для разграничения прав доступа к управляемым объектам.
Гетерогенная инфраструктура
Управляйте on-premises хостами и облачными средами. ADCM позволяет использовать хосты различных облачных провайдеров, включая Yandex Compute Cloud, Google Compute Engine, VK Cloud, VCloud и другие.
Аудит
Выполняйте аудит всех действий, таких как попытки входа в систему, операции, выполняемые пользователями над объектами, и фоновые операции системы.
Аутентификация
ADCM поддерживает как базовые, так и LDAP-совместимые службы аутентификации. Это даёт необходимую гибкость, чтобы выбрать метод аутентификации, который лучше всего подходит под нужды клиента.
RBAC
Позволяет назначать определенные разрешения кластерам или сервисам. Конструктор ролей позволяет объединять разрешения в роли, чтобы дать возможность выбора конечному пользователю.
Режим обслуживания
Позволяет временно изолировать неработоспособные компоненты или узлы, чтобы они не влияли на функционирование всего кластера.
Open-source
Нет блокировки поставщика. ADCM – это программное обеспечение с открытым исходным кодом, распространяемое по лицензии ASF 2.0.
ADCM 2.0
Усовершенствованный Cluster Manager
  • Управляйте множеством кластеров из экосистемы Arenadata, такими как ADQM, ADB, ADH, ADS и ADPG, а также собственными кастомными бандлами без лишних усилий.
  • Интуитивно понятный интерфейс снижает порог вхождения, делая управление кластерами максимально простым и прозрачным процессом.
  • Встроенная ролевая модель доступа позволяет гранулярно управлять отдельными кластерами, контролируя доступ на различных уровнях.
  • Гибкие настройки, детальная система аудирования событий и открытое API обеспечивают достижение максимальной эффективности при решении задач промышленного масштаба.
Сравнение продуктов

К сравнению

К сравнению

Управление кластером
Установка
Есть
Есть
Есть
Есть
Есть
Есть
Есть
Конфигурирование
Есть
Есть
Есть
Есть
Есть
Есть
Есть
Апгрейд
Есть
Есть
Есть
Есть
Есть
Есть
Есть
Управление
Есть
Есть
Есть
Есть
Есть
Есть
Есть
Мониторинг
Есть
Есть
Есть
Есть
Есть
Есть
Есть
Управление несколькими кластерами
Есть
Нет
Нет
Есть
Есть
Есть
Есть
Поддержка IT-ландшафта
On-premises
Есть
Есть
Есть
Есть
Нет
Нет
Нет
Поддержка облаков
Google Cloud Platform
Есть
Есть
Есть

Dataproc.

Есть
Есть
Нет
Нет
Yandex
Есть
Нет
Нет
Нет
Нет
Нет
Нет
VK Cloud
Есть
Нет
Нет
Нет
Нет
Нет
Нет
VCloud
Есть
Нет
Нет
Нет
Нет
Нет
Нет
Sber
Есть
Нет
Нет
Нет
Нет
Нет
Нет
AWS
Нет
Есть
Есть

Custom.

Есть
Нет
Нет
Есть
Azure
Нет
Есть
Есть

HDInsight.

Есть
Нет
Есть
Нет
Поддержка операционных систем
CentOS
Есть
Есть
Есть
Нет
Нет
Нет
Есть

Custom.

RHEL
Есть
Есть
Есть
Есть
Нет
Нет
Есть
Alt Linux
Есть
Нет
Нет
Нет
Нет
Нет
Нет
Astra Linux
Есть
Нет
Нет
Нет
Нет
Нет
Нет
RedOS
Есть
Нет
Нет
Нет
Нет
Нет
Нет
Ubuntu
Есть
Есть
Есть
Нет
Есть
Есть
Есть
Windows Server
Нет
Нет
Нет
Нет
Есть
Есть
Есть
Поддерживаемые продукты
Hadoop
Есть
Есть
Есть
Нет
Есть

Dataproc.

Есть

HDInsight.

Есть
EMR.
Greenplum
Есть
Нет
Нет
Нет
Нет
Нет
Нет
PostgreSQL
Есть
Нет
Нет
Есть
Есть
Есть
Есть
ClickHouse
Есть
Нет
Нет
Нет
Нет
Нет
Нет
Kafka
Есть
Есть
Есть
Есть
Есть
Есть

HDInsight.

Есть

Custom.

NiFi
Есть
Есть
Есть
Есть
Есть

Custom.

Есть
Есть

Custom.

Redis
Нет
Есть
Есть

Custom.

Есть
Есть
Есть
Есть
Функционал
API
Есть
Есть
Есть
Есть
Есть
Есть
Есть
Высокая доступность (HA)
Нет
Есть
Есть
Есть
Есть
Есть
Есть
Внутренняя БД
SQLite
PGSQL
MySQL
PGSQL
MariaDB
Oracle
MySQL
PGSQL
Oracle
etcd
etcd
etcd
etcd
Настройки безопасности
HTTPS
Есть
Есть
Есть
Есть
Есть
Есть
Есть
Стандартное разделение доступа на основе Role Based Access Control
Есть
Есть
Есть
Есть
Есть
Через GCI.
Есть
Через Azure AD.
Есть
Через AWS Identity.
Журналирование действий пользователей и системы
Есть
Есть
Нет
Есть
Есть
Есть
Есть
Управление доступом
Есть
Есть
Есть
Есть
Есть
Есть
Есть
Управление пользователями, группами
Есть
Есть
Есть
Есть
Есть
Есть
Есть
Дополнительно
Техническая поддержка 24/7
Есть
Недоступно на русском языке
Нет
Недоступно на русском языке
Недоступно на русском языке
Недоступно на русском языке
Недоступно на русском языке
Open-source
Есть
Нет
Есть
Есть
Нет
Нет
Нет
Документация
Есть

Подробная документация на русском и английском языках.

Находится в открытом доступе.

Есть
Есть
Есть
Есть
Есть
Есть
Регистрация в реестре отечественного ПО
Есть
Нет
Нет
Нет
Нет
Нет
Нет
Управление пользователями, группами
Есть

В открытом доступе полная история релизов с описанием доработанного функционала.

Есть
Есть
Есть
Есть
Есть
Есть

Раздел "Сравнение продуктов" является актуальным на дату 30.06.2023.

Релизы
2023
ADCM 2.4.0
  • Расширены настройки логирования
  • Повышена производительность за счет оптимизации аудита и консернов
  • Улучшен интерфейс
  • Исправлены не всегда заметные, но важные баги
ADCM 2.3.0
  • Реализованы action host groups
ADCM 2.2.0
  • Добавлены опции для настроек Ansible
  • Добавлена поддержка внешних баз данных с настройкой SSL
  • Добавлена поддержка настройки параметров UWSGI
  • Добавлены опции для маппинга сервисов с хостами
  • Добавлен автоскроллинг для секции Jobs
  • Реализована возможность динамического создания списка sub-action для action
ADCM 2.1.0
  • Добавлена функция блокировки пользователей
  • Улучшена интеграция LDAP и управление разрешениями
  • Добавлен новый инструмент загрузки пользовательского интерфейса (UI)
ADCM 2.0.0
  • Реализован новый UI
  • Добавлена роль ADCM Auditor
ADCM 2023.11.28.07
  • Добавлена возможность сбора IP-адресов в логах аудита
ADCM 2023.10.10.08
  • Устранено требование о наличии невидимых полей в структуре конфигурации
  • Устранена проблема, связанная с неуникальными именами при завершении выполнения action
ADCM 2023.09.28.17
  • Реализован механизм проверки подписи бандла
  • Добавлена опция сбора неконфиденциальной информации о кластерах
  • Поддержан предварительный релиз API v2
ADCM 2023.07.10.17
  • Исправлены ошибки, связанные с обработкой null, переменными maintenance режима, отображением лицензии, отсутствием переменной хоста в maintenance режиме и проблемами инициализации виртуальной машины
ADCM 2023.06.14.16
  • Реализован механизм защиты для многократных попыток входа в аккаунт
  • Изменена политика паролей (password policy)
ADCM 2023.03.27.20
  • Добавлена возможность использования внешней базы данных для хранения метаданных
  • Поддержана миграция данных из SQLite в PostgreSQL
ADCM 2022.12.26.18
  • Добавлена возможность сброса значений для чувствительных конфигурационных параметров
ADCM 2022.12.07.10
  • Добавлена возможность переименования существующих кластеров и хостов в допустимых состояниях
  • Реализован функционал загрузки логов действий (action logs)
  • Реализована поддержка режима обслуживания (maintenance mode) для сервисов и компонентов
  • Реализован функционал просмотра аудита действий в UI
  • Ansible обновлен до 2.9.27
ADCM 2022.10.04.17
  • В рамках разработки функциональности аудита реализована генерация аудит-логов в формате CEF
  • Функция удаления пользователей заменена на их деактивацию
ADCM 2022.08.10.17
  • Добавлена поддержка аутентификации пользователей с использованием Active Directory/LDAP
ADCM 2022.05.26.14
  • Реализована поддержка режима обслуживания (maintenance mode) для хостов
  • Добавлена поддержка конфигурационных групп (configuration group) для активируемого типа параметров
  • Добавлена возможность удалять сервисы, которые находятся в состоянии created
ADCM 2022.04.18.13
  • Добавлена поддержка многофазовых обновлений
  • Отключена поддержка Mitogen
ADCM 2022.03.25.16
  • Фильтрация кластеров, сервисов, хостов и хостпровайдеров в соответствии с правами доступа
  • Фильтрация действий объекта (object’s actions) и логов задач в соответствии с правами доступа
ADCM 2022.02.01.06
  • Реализована функциональность RBAC
  • Добавлена поддержка Ansible 2.9 (в качестве альтернативы)