Минимальные аппаратные требования

Сеть

Минимальные аппаратные требования к сети для установки кластера ADS следующие:

  • Наличие одной или нескольких выделенных и обособленных одноранговых Interconnect-сетей под цели внутренней коммуникации кластера;
  • К Interconnect-сетям должны быть подключены все сервера кластера, серверам должны быть розданы адреса, и сервера должны “видеть” друг друга;
  • Скорость Ethernet от 1 Гб/с (стандартом является 10 Гб/с);
  • Отсутствие firewalls и другого ПО, блокирующего или замедляющего траффик;
  • Внутри кластера должна быть открыта коммуникация по всем портам;
  • Доступность Ping любого из серверов (ICMP);
  • В кластерe должы быть открыты порты, представленные в таблице:
Табл. 2. Карта портов
№ пп. Порт Описание
1 22 ssh
2 81 tcp-порт Arenadata Enterprise Tools (доступ к репозиториям в случае offline инсталляции)
3 2015 tcp-порт для отправки метрик на сервер мониторинга
4 2016 udp-порт для отправки метрик на сервер мониторинга
5 8000 tcp-порт для отправки статусов компонентов кластера в ADCM
6 2181 порт доступа к сервису Zookeeper
7 2888 порт межсерверного взаимодествия для компонентов кворума Zookeeper
8 3888 порт межсерверного взаимодествия для компонентов кворума Zookeeper
9 9092 http-порт доступа к сервису Kafka
10 9093 https-порт доступа к сервису Kafka
11 8081 порт доступа к сервису Schema-Registry
12 8082 порт доступа к сервису Kafka REST Proxy
13 8088 порт доступа к компоненту KSQL Server
14 9898 порт доступа к сервису Kafka-Manager
15 9997 JMX-порт для доступа к метрикам сервисa Schema-Registry
16 9998 JMX-порт для доступа к метрикам сервисa Kafka REST Proxy
17 9999 JMX-порт для доступа к метрикам сервиса Kafka
18 9090 http-порт доступа к UI сервиса Nifi
19 9091 https-порт доступа к UI сервиса Nifi
20 11443 порт взаимодействия между серверами Nifi, объединенными в кластер
21 18080 порт доступа к UI сервиса Nifi-Registry

Zookeeper Server

Минимальные аппаратные требования к серверу Zookeeper:

  • Физический сервер;
  • RAM: от 8 Гб;
  • ROM: можно использовать как раздел мотированный под /, так и отдельным размером в 100 Гб;
  • CPU: от 4 ядер.

Kafka Broker

Минимальные аппаратные требования к отдельному брокеру Kafka для установки кластера ADS следующие:

  • Физический сервер;
  • RAM: от 16 Гб;
  • ROM: один или несколько физических RAID10-массив, форматированных в XFS;
  • CPU: от 8 ядер.

Nifi Server

Минимальные аппаратные требования к серверу Nifi:

  • Физический сервер;
  • RAM: от 16 Гб;
  • ROM: один или несколько физических RAID10-массивов, форматированных в XFS;
  • CPU: от 8 ядер.