Требования к инфраструктуре для развертывания кластера Arenadata QuickMarts¶

В документе представлена необходимая информация для установки кластера Arenadata QM, а так же минимальные аппаратные и программные требования.

Документ может быть полезен администраторам, программистам, разработчикам и сотрудникам подразделений информационных технологий, осуществляющих внедрение кластера.

Необходимая информация для установки кластера¶

Необходимая информация и условия для установки кластера Arenadata QM:

IP-адреса и hostnames всех серверов в кластере, сопоставленные с их ролями;
Доступ к пользователю root (любому пользователю с SUDO) на каждом сервере внутри кластера;
Правильно работающий DNS. Все hostname и fqdn должны одинаково резолвиться на всех серверах внутри кластера.

Минимальные аппаратные требования¶

Сеть¶

Минимальные аппаратные требования к сети для установки кластера Arenadata QM следующие:

Наличие одной или нескольких выделенных и обособленных одноранговых Interconnect-сетей под цели внутренней коммуникации кластера;
К Interconnect-сетям должны быть подключены все сервера кластера, серверам должны быть розданы адреса, и сервера должны “видеть” друг друга;
Скорость Ethernet от 1 Гб/с (стандартом является 10 Гб/с);
Отсутствие firewalls и другого ПО, блокирующего или замедляющего траффик;
Внутри кластера должна быть открыта коммуникация по всем портам;
Снаружи кластер должен быть доступен по следующим портам:
- 22 (ssh);
- 8123 (Clickhouse-http interface);
- 3000 (Grafana);
- 80 (Graphite);
- 8000 (Cluster Manager);
Для отправки метрик на сервер мониторинга к нему должно быть разрешено подключение серверов кластера (по умолчанию 2015/tcp, 2016/udp);
Для отправки статусов компонентов кластера в ADCM к нему должно быть разрешено подключение серверов кластера (по умолчанию порт 8000);
Доступность Ping любого из серверов (ICMP).

ClickHouse-сервера¶

Минимальные аппаратные требования к ClickHouse-серверам для установки кластера Arenadata QM следующие:

Физический сервер;
RAM: от 64 Гб;
Disk storage: отформатированное в ext4 устройство примонтированное к файловой системе;
CPU: от 8 ядер.
NET: Сервера должны быть доступны по портам 9000, 8123, 9009 внутри кластера.

Для быстрых витрин подходит массив из ssd-дисков. Для хранения больших таблиц фактов предпочтителен RAID-10 из hdd. Рекомендуется использовать программный RAID в Linux (mdadm). Не рекомендуется использовать LVM. При создании RAID-10 необходимо выбрать far-расположение.

На каждом ClickHouse-сервере внутри кластера схема устройства, диски и точка монтирования должны быть одинаковыми.

Zookeeper-сервера¶

Минимальные аппаратные требования к серверам с Zookeeper кластера Arenadata QM следующие:

Физические или виртуальные сервера. Для пилотных инсталляций можно использовать те же сервера, что и для ClickHouse. При больших инсталляциях – минимум три железных сервера;
RAM: от 4 Гб;
Disk storage: от 100 Гб в / ; для больших кластеров предпочтительны быстрый ssd-диск или raid-1;
CPU: от 4 ядер.
Процесс установки останавливает и выключает сервисы firewalld и SELinux, данные сервисы не должны контролироваться системой управления конфигурации (при ее наличии);
Процесс установки создает новые сервисы, данные сервисы не должны контролироваться системой управления конфигурации (при ее наличии);
Со всех машин в кластере должен быть доступ к официальному репозиторию CentOS Extras (например, РБК http://centos-mirror.rbc.ru/pub/centos/7/extras/x86_64/ или создано локальное зеркало);
Со всех машин в кластере должен быть доступ к официальному репозиторию CentOS Updates (например, РБК http://centos-mirror.rbc.ru/pub/centos/7/updates/x86_64/ или создано локальное зеркало);
Со всех машин в кластере должен быть доступ к официальному репозиторию CentOS Base (например, РБК http://centos-mirror.rbc.ru/pub/centos/7/os/x86_64/ или создано локальное зеркало);
Со всех машин в кластере должен быть доступ к репозиториям Arenadata:

Important

В случае оффлайн-установки репозитории ADM, ADQM, ADS поставляются вместе с Enterprise Tools и доступ до них обеспечивать не нужно