Документация Arenadata
Наша цель — создание эффективных и гибких решений, масштабируемых до десятков петабайт
Продукты
Ознакомьтесь с нашими современными решениями в области Big Data
Обзор
Интуитивный интерфейс Arenadata Cluster Manager (ADCM) упрощает установку и запуск кластера, а централизованная точка входа ADCM позволяет вам контролировать и выполнять аудит пользовательских доступов и активности на всех кластерах.
ADCM позволяет устанавливать, настраивать и обновлять кластеры посредством графического интерфейса либо API-запросов. Вся настройка служб операционной системы производится автоматически. Преимущества ADCM проявляются в полной мере при работе с гетерогенной инфраструктурой – у вас есть возможность размещать службы данных на различных инфраструктурных объектах: облаках, on-premises и службах PaaS.
Сценарии использования
Развертывание и управление кластером

Легко развертывайте кластеры и управляйте ими централизованно. Процесс установки сокращает время развертывания с недель до минут; предоставляет единый централизованный пользовательский интерфейс для внесения изменений в конфигурацию кластеров; обеспечивает гранулированную видимость и контроль над каждым типом ресурсов.

Автоматизация платформ SaaS

Сегодня многие организации развертывают кластеры в облаке для снижения затрат и повышения эффективности. ADCM поддерживает REST API для упрощения взаимодействия с различными хостпровайдерами и автоматизации пайплайнов.

Поддерживаемые продукты
Продукты
ADB
ADB
Позволяет развертывать и управлять community и enterprise-версиями кластеров Arenadata DB (основной сервис – Greenplum).
ADH
ADH
Позволяет развертывать и управлять community и enterprise-версиями кластеров Arenadata Hadoop (сервисы экосистемы Hadoop).
ADS
ADS
Позволяет развертывать и управлять community и enterprise-версиями кластеров Arenadata Streaming (сервисы экосистемы Kafka, NiFi, MiNiFi).
ADQM
Arenadata QuickMarts
Позволяет развертывать и управлять community и enterprise-версиями кластеров Arenadata QuickMarks (основной сервис – ClickHouse).
Хостпровайдеры
SSH
Позволяет подключаться и контролировать локальные (on-premises) хосты через SSH.
Yandex Cloud
Обеспечивает полный цикл управления инстансами в Yandex Compute Cloud: создание и инициализация, включение и выключение, обновление, удаление и т.д.
VK Cloud
Позволяет создавать и управлять хостами в инфраструктуре VK Cloud и отслеживать их состояние.
VCloud
Позволяет создавать и управлять хостами в инфраструктуре VCloud (VMware). Предоставляет инструменты для мониторинга.
DataFort
Позволяет создавать и управлять хостами в DataFort. Предоставляет инструменты для мониторинга.
DigitalEnergy
Позволяет создавать и управлять хостами в DigitalEnergy. Предоставляет инструменты для мониторинга.
Google Cloud
Позволяет создавать и управлять хостами в Google Compute Engine. Предоставляет инструменты для мониторинга.
Операционные системы
CentOS 7
Поддерживается
RedHat 7
Поддерживается
AltLinux 8 SP
Поддерживается
AstraLinux
Поддерживается
Ключевые особенности
Простота использования
ADCM поставляется в виде контейнера. Всё, что вам нужно сделать – просто загрузить его из публичного реестра и запустить, используя Docker. При этом ADCM поддерживает использование внешней базы данных для большей надёжности.
Единое управление
Управляйте различными кластерами и хостами, настраивайте доступ и права пользователей из централизованной точки входа. ADCM позволяет упростить такие сложные операции, как расширение кластера или одновременное обновление всех компонентов кластера. Кластер ADCM предоставляет гибкую модель управления доступом на основе ролей для разграничения прав доступа к управляемым объектам.
Гетерогенная инфраструктура
Управляйте on-premises хостами и облачными средами. ADCM позволяет использовать хосты различных облачных провайдеров, включая Yandex Compute Cloud, Google Compute Engine, VK Cloud, VCloud и другие.
Аудит
Выполняйте аудит всех действий, таких как попытки входа в систему, операции, выполняемые пользователями над объектами, и фоновые операции системы.
Аутентификация
ADCM поддерживает как базовые, так и LDAP-совместимые службы аутентификации. Это даёт необходимую гибкость, чтобы выбрать метод аутентификации, который лучше всего подходит под нужды клиента.
RBAC
Позволяет назначать определенные разрешения кластерам или сервисам. Конструктор ролей позволяет объединять разрешения в роли, чтобы дать возможность выбора конечному пользователю.
Режим обслуживания
Позволяет временно изолировать неработоспособные компоненты или узлы, чтобы они не влияли на функционирование всего кластера.
Open-source
Нет блокировки поставщика. ADCM – это программное обеспечение с открытым исходным кодом, распространяемое по лицензии ASF 2.0.
Roadmap
2023
ADCM 2023.03.27.20
  • Добавлена возможность использования внешней базы данных для хранения метаданных
  • Поддержана миграция данных из SQLite в PostgreSQL
ADCM 2022.12.26.18
  • Добавлена возможность сброса значений для чувствительных конфигурационных параметров
ADCM 2022.12.07.10
  • Добавлена возможность переименования существующих кластеров и хостов в допустимых состояниях
  • Реализован функционал загрузки логов действий (action logs)
  • Реализована поддержка режима обслуживания (maintenance mode) для сервисов и компонентов
  • Реализован функционал просмотра аудита действий в UI
  • Ansible обновлен до 2.9.27
ADCM 2022.10.04.17
  • В рамках разработки функциональности аудита реализована генерация аудит-логов в формате CEF
  • Функция удаления пользователей заменена на их деактивацию
ADCM 2022.08.10.17
  • Добавлена поддержка аутентификации пользователей с использованием Active Directory/LDAP
ADCM 2022.05.26.14
  • Реализована поддержка режима обслуживания (maintenance mode) для хостов
  • Добавлена поддержка конфигурационных групп (configuration group) для активируемого типа параметров
  • Добавлена возможность удалять сервисы, которые находятся в состоянии created
ADCM 2022.04.18.13
  • Добавлена поддержка многофазовых обновлений
  • Отключена поддержка Mitogen
ADCM 2022.03.25.16
  • Фильтрация кластеров, сервисов, хостов и хостпровайдеров в соответствии с правами доступа
  • Фильтрация действий объекта (object’s actions) и логов задач в соответствии с правами доступа
ADCM 2022.02.01.06
  • Реализована функциональность RBAC
  • Добавлена поддержка Ansible 2.9 (в качестве альтернативы)