Аппаратные требования к серверам

ВАЖНО

Системные требования, приведенные ниже, являются минимальными. Целевой сайзинг необходимо рассчитывать исходя из требований вашей организации.

Приоритетнее всего использовать физические серверы, но необходимо проанализировать энергопотребление предполагаемого оборудования.

Arenadata Streaming одинаково эффективно работает как на bare metal, так и в облаке.

При обеспечении сетевой доступности между серверами возможны также следующие сценарии:

  • гетерогенная ИТ-инфраструктура;

  • Multi-clouds;

  • распределенная установка на разные инфраструктуры.

Последовательность подготовки физических и виртуальных хостов приведена в статье Подготовка хостов.

Примеры требований к разным сервисам в зависимости от профиля нагрузки показаны ниже.

ZooKeeper, Kafka Manager, Schema Registry

  • Minimal

  • Proof of concept

  • Commodity

  • Balanced

  • Compute-intensive

Хранение CPU RAM Сеть

400 ГБ SSD для ОС

500 ГБ SSD для данных

8 ядер

32 ГБ

1 x 10 GbE

Количество узлов Хранение CPU RAM Сеть

3 и более

1 x 500 ГБ HDD для OС

1 x 2.4 ТБ SSD для журналов транзакций

1 x 1 ТБ HDD для данных

8 ядер

32 ГБ

1 x 10 GbE

Количество узлов Хранение CPU RAM Сеть

3 и более

2 x 500 ГБ HDD RAID1 для OС

2 x 2.4 ТБ SSD RAID1 для журналов транзакций

2 x 1 ТБ HDD RAID1 для данных

8 ядер

32 ГБ

2 x 10 GbE

Количество узлов Хранение CPU RAM Сеть

3 и более

2 x 500 ГБ HDD RAID1 для OС

2 x 2.4 ТБ SSD RAID1 для журналов транзакций

2 x 1 ТБ HDD RAID1 для данных

8 ядер

32 ГБ

2 x 10 GbE

Количество узлов Хранение CPU RAM Сеть

3 и более

2 x 500 ГБ HDD RAID1 для OС

2 x 2.4 ТБ SSD RAID1 для журналов транзакций

2 x 1 ТБ HDD RAID1 для данных

8 ядер

32 ГБ

2 x 10 GbE

ВАЖНО
Для обеспечения HA (High Availability) необходимо, чтобы количество экземпляров сервиса ZooKeeper было нечетным.

Kafka Broker

  • Proof of concept

  • Commodity

  • Balanced

  • Compute-intensive

Количество узлов Хранение CPU RAM Сеть

3 и более

1 x 500 ГБ HDD для ОС

2 x 500 ГБ SSD RAID1 для данных

8 ядер

32 ГБ

2 x 10 GbE

Количество узлов Хранение CPU RAM Сеть

3 и более

2 x 500 ГБ HDD RAID1 для ОС

4 x 500 ГБ SAS12G SSD RAID10 (PCIe Gen3 x4+) для данных

8 ядер

32 ГБ

2 x 25 GbE

Количество узлов Хранение CPU RAM Сеть

3 и более

2 x 500 ГБ HDD RAID1 для ОС

8 x 500 ГБ SAS12G SSD RAID10 (PCIe Gen3 x8) для данных

16 ядер

64 ГБ

2 x 25 GbE

Количество узлов Хранение CPU RAM Сеть

6 и более

2 x 500 ГБ HDD RAID1 для ОС

8 x 500 ГБ SAS12G SSD RAID10 (PCIe Gen3 x8) для данных

24 ядра

96 ГБ

2 x 25 GbE

NiFi

  • Minimal

  • Proof of concept

  • Commodity

  • Balanced

  • Compute-intensive

Хранение CPU RAM Сеть

400 ГБ SSD для ОС

500 ГБ SSD для данных

8 ядер

32 ГБ

1 x 10 GbE

Количество узлов Хранение CPU RAM Сеть

2 и более

1 x 500 ГБ HDD для ОС

1 x 500 ГБ SSD для данных

8 ядер

32 ГБ

1 x 10 GbE

Количество узлов Хранение CPU RAM Сеть

2 и более

2 x 500 ГБ SSD RAID1 для ОС

4 x 500 ГБ SAS12G SSD RAID10 (PCIe Gen3 x4+) для данных

12 ядер

64 ГБ

2 x 25 GbE

Количество узлов Хранение CPU RAM Сеть

2 и более

2 x 500 ГБ SSD RAID1 для ОС

8 x 500 ГБ SAS12G SSD RAID10 (PCIe Gen3 x8) для данных

24 ядра

96 ГБ

2 x 25 GbE

Количество узлов Хранение CPU RAM Сеть

4 и более

2 x 500 ГБ SSD RAID1 для ОС

16 x 500 ГБ SAS12G SSD RAID10 (2 контроллера PCIe Gen3 x8) для данных

48 ядер

192 ГБ

2 x 25 GbE

ksqlDB

Профиль нагрузки Количество узлов Хранение CPU RAM

Все

2 и более

SSD (объем зависит от количества запросов и агрегаций)

4 ядра

32 ГБ

REST Proxy

Профиль нагрузки Количество узлов Хранение CPU RAM

Все

2 и более

HDD (без требования к скорости)

16 ядер и более (работа с producer/

consumer)

1 ГБ

64 МБ на producer

16 МБ на consumer

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней