Требования к инфраструктуре для развертывания кластера Arenadata QuickMarts

В документе представлена необходимая информация для установки кластера Arenadata QM, а так же минимальные аппаратные и программные требования.

Документ может быть полезен администраторам, программистам, разработчикам и сотрудникам подразделений информационных технологий, осуществляющих внедрение кластера.

Необходимая информация для установки кластера

Необходимая информация и условия для установки кластера Arenadata QM:

  • IP-адреса и hostnames всех серверов в кластере, сопоставленные с их ролями;
  • Доступ к пользователю root (любому пользователю с SUDO) на каждом сервере внутри кластера;
  • Правильно работающий DNS. Все hostname и fqdn должны одинаково резолвиться на всех серверах внутри кластера.

Минимальные аппаратные требования

Сеть

Минимальные аппаратные требования к сети для установки кластера Arenadata QM следующие:

  • Наличие одной или нескольких выделенных и обособленных одноранговых Interconnect-сетей под цели внутренней коммуникации кластера;

  • К Interconnect-сетям должны быть подключены все сервера кластера, серверам должны быть розданы адреса, и сервера должны “видеть” друг друга;

  • Скорость Ethernet от 1 Гб/с (стандартом является 10 Гб/с);

  • Отсутствие firewalls и другого ПО, блокирующего или замедляющего траффик;

  • Внутри кластера должна быть открыта коммуникация по всем портам;

  • Снаружи кластер должен быть доступен по следующим портам:

    • 22 (ssh);
    • 8123 (Clickhouse-http interface);
    • 3000 (Grafana);
    • 80 (Graphite);
    • 8000 (Cluster Manager);
  • Для отправки метрик на сервер мониторинга к нему должно быть разрешено подключение серверов кластера (по умолчанию 2015/tcp, 2016/udp);

  • Для отправки статусов компонентов кластера в ADCM к нему должно быть разрешено подключение серверов кластера (по умолчанию порт 8000);

  • Доступность Ping любого из серверов (ICMP).

ClickHouse-сервера

Минимальные аппаратные требования к ClickHouse-серверам для установки кластера Arenadata QM следующие:

  • Физический сервер;
  • RAM: от 64 Гб;
  • ROM: отформатированное в ext4 устройство примонтированное к файловой системе;
  • CPU: от 8 ядер.
  • NET: Сервера должны быть доступны по портам 9000, 8123, 9009 внутри кластера.

Для быстрых витрин подходит массив из ssd-дисков. Для хранения больших таблиц фактов предпочтителен RAID-10 из hdd. Рекомендуется использовать программный RAID в Linux (mdadm). Не рекомендуется использовать LVM. При создании RAID-10 необходимо выбрать far-расположение.

На каждом ClickHouse-сервере внутри кластера схема устройства, диски и точка монтирования должны быть одинаковыми.

Zookeeper-сервера

Минимальные аппаратные требования к серверам с Zookeeper кластера Arenadata QM следующие:

  • Физические или виртуальные сервера. Для пилотных инсталляций можно использовать те же сервера, что и для ClickHouse. При больших инсталляциях – минимум три железных сервера;

  • RAM: от 4 Гб;

  • ROM: от 100 Гб в / ; для больших кластеров предпочтительны быстрый ssd-диск или raid-1;

  • CPU: от 4 ядер.

  • Процесс установки останавливает и выключает сервисы firewalld и SELinux, данные сервисы не должны контролироваться системой управления конфигурации (при ее наличии);

  • Процесс установки создает новые сервисы, данные сервисы не должны контролироваться системой управления конфигурации (при ее наличии);

  • Со всех машин в кластере должен быть доступ к официальному репозиторию CentOS Extras (например, РБК http://centos-mirror.rbc.ru/pub/centos/7/extras/x86_64/ или создано локальное зеркало);

  • Со всех машин в кластере должен быть доступ к официальному репозиторию CentOS Updates (например, РБК http://centos-mirror.rbc.ru/pub/centos/7/updates/x86_64/ или создано локальное зеркало);

  • Со всех машин в кластере должен быть доступ к официальному репозиторию CentOS Base (например, РБК http://centos-mirror.rbc.ru/pub/centos/7/os/x86_64/ или создано локальное зеркало);

  • Со всех машин в кластере должен быть доступ к репозиториям Arenadata:

Important

В случае оффлайн-установки репозитории ADM, ADQM, ADS поставляются вместе с Enterprise Tools и доступ до них обеспечивать не нужно