Требования к сети

Дарья Барышева

Обзор

Сетевые требования для установки Arenadata DB приведены ниже:

  • Необходимо наличие одной или нескольких выделенных и обособленных одноранговых Interconnect-сетей под цели внутренней коммуникации кластера.

  • Все хосты кластера должны быть подключены к Interconnect-сетям.

  • Все хосты кластера должны иметь IP-адреса и возможность обмениваться данными друг с другом на заданных скоростях.

  • Должна быть обеспечена доступность Ping любого из хостов кластера (ICMP).

  • В Interconnect-сетях должен быть установлен MTU = 9000 (jumbo frame), чтобы пакеты, формируемые ADB (gp_max_packet_size + overhead) помещались в эти фреймы целиком.

  • Необходимо обеспечить скорость Ethernet от 1 Гбит/с (стандартом является 10 Гбит/с).

  • Рекомендуется отключение firewall и другого ПО, блокирующего или замедляющего сетевой трафик (firewalld, iptables, ufw и так далее). Если firewall не отключен, необходимо обеспечить возможность взаимодействия между хостами ADB-кластера. Дополнительную информацию можно получить в документации Greenplum.

  • Снаружи кластер должен быть доступен на следующих портах:

    • 22 — SSH;

    • 5432 — PostgreSQL-интерфейс для входящих соединений.

  • Для доступа к серверам точного времени (Network Time Protocol, NTP) мастер-хосту должен быть доступен порт 123/udp.

  • Для отправки статусов компонентов кластера в Arenadata Cluster Manager (ADCM) к нему должно быть разрешено подключение хостов ADB (по умолчанию через порт 8000/tcp). Информацию об установке ADCM можно получить в статье Установка ADCM.

  • На хосте, где устанавливается кластер мониторинга, должны быть открыты порты 3000/tcp (порт, используемый Grafana по умолчанию) и 80/tcp (порт, используемый Graphite по умолчанию). Значения по умолчанию могут быть изменены в ADCM. Установка кластера мониторинга описана в разделах Online-установка и Offline-установка.

  • Для отправки метрик в кластер мониторинга к нему должно быть разрешено подключение хостов кластера ADB (по умолчанию через порты 2015/tcp, 2016/udp).

  • В случае установки ADB без доступа в Интернет (offline) требуется доступ к развернутому на выделенном сервере кластеру Arenadata Enterprise Tools (по умолчанию через порт 81/tcp). Установка Enterprise Tools описана в статьях раздела Установка кластера Enterprise Tools.

  • Все порты, перечисленные ниже, должны быть открыты на соответствующих хостах. Если используется firewall, необходимо добавить перечисленные внешние порты в список исключений.

Порты

Порты ADB

  • Master/standby

  • Все хосты кластера

  • Хосты кластера/внешние хосты

  • Хост ADQM/ClickHouse

Сервис Порт Протокол Примечание

ADB

5432

TCP

Порт для клиентских SQL-соединений на мастер-хосте ADB. Поддерживаются клиенты, использующие PostgreSQL libpq API. Является настраиваемым

Standby master replicator

1025-65535

TCP

Порты, используемые для репликации лога master на standby master
Сервис Порт Протокол Примечание

Secure shell (SSH): gpssh, gpscp, gpssh-exkeys, gppkg

22

SSH

Многие утилиты Greenplum используют протоколы SCP (Secure Copy Protocol) и SSH для управления кластером и передачи файлов между хостами

Interconnect

10000-65535

UDP

Interconnect перемещает кортежи базы данных между сегментами кластера в процессе выполнения запросов (точный перечень портов можно получить в системном представлении gp_segment_configuration)

Gpperfmon agents

8888

TCP

Порт для агентов gpperfmon (gpmmon и gpsmon), запущенных на хостах кластера. Настраивается путем установки конфигурационного параметра gpperfmon_port в файле postgresql.conf на мастере и сегмент-хостах

PXF

5888

TCP

Сервис PXF Java запускается на порте 5888 на каждом сегмент-хосте

gpbackup

25

587

TCP

 — 
Сервис Порт Протокол Примечание

gpfdist

8080

HTTP

Обслуживающая файлы утилита gpfdist может быть запущена на хостах ADB либо на внешнем хосте. Порт можно определить путем установки опций -p (начальный порт диапазона) и -P (конечный порт диапазона) при запуске сервера. Значение 8080 используется по умолчанию в качестве начального порта

gpload

8000-9000

HTTPS

Утилита gpload запускает один или более инстансов gpfdist на портах или диапазонах портов, указанных в конфигурационном файле. Значение 8000-9000 используется по умолчанию и может быть изменено
Сервис Порт Протокол Примечание

ADB ClickHouse Connector

8123

HTTP

Все ноды кластера ADB должны иметь доступ к HTTP-порту 8123 на всех нодах кластера ADQM/ClickHouse, через которые планируется производить загрузку данных

При использовании ADB to ADB Connector необходимо дополнительно убедиться, что TCP-порты, используемые для соединения, открыты на хостах удаленного (remote) кластера ADB: на мастере, сегмент-хостах и standby. Список используемых портов можно получить с помощью следующей команды на мастере remote-кластера ADB:

SELECT port FROM gp_segment_configuration;

Если используется firewall, добавьте порты, возвращенные командой, в список исключений.

Порты ADB Control

ПРИМЕЧАНИЕ

Более подробную информацию об архитектуре ADB Control можно получить в статье Обзор Arenadata DB Control.

  • Хост с ADB Control

  • Хосты ADB

Сервис Порт Протокол Примечание

Service Registry

6567

gRPC (HTTP 2.0)

gRPC endpoint для инстансов Service Registry

8761

HTTP

 — 

PlanChecker

8887

HTTP

 — 

UI Backend Server

6566

gRPC (HTTP 2.0)

 — 

8890

HTTP

 — 

81

HTTP

Вход в ADB Control UI

Backend Server

6565

gRPC (HTTP 2.0)

 — 

8081

HTTP

 — 

Scheduler

6572

gRPC (HTTP 2.0)

 — 

Query DB (PostgreSQL)

5433

TCP

Внешний порт сопоставляется порту 5432 внутри контейнера

Metrics DB (ClickHouse)

8123

HTTP

Порт HTTP API для HTTP-запросов. Используется JDBC, ODBC и web-интерфейсами

9000

TCP

Порт для взаимодействия по протоколу Native (также именуемому протоколом ClickHouse TCP). Используется приложениями и процессами ClickHouse, такими как clickhouse-server, clickhouse-client и нативные утилиты ClickHouse, а также для распределенных запросов при межсерверном взаимодействии

Migration

8899

HTTP

 — 
Сервис Порт Протокол Примечание

Agent

6581

TCP

Порт для utility-сервиса, который используется для управления параметрами GUC, изменяемыми из ADB Control

Agent

5701

TCP

Порт, являющийся частью адреса кластерной ноды Hazelcast (распределенного кеша). Порт должен быть открыт на каждом хосте кластера ADB (с агентом ADB Control), поскольку используется для взаимодействия кластерных нод Hazelcast друг с другом

Порты ADBM

ПРИМЕЧАНИЕ

Более подробную информацию об архитектуре ADBM можно получить в статье Обзор Arenadata DB Backup Manager.

  • Хост с ADBM

  • Хосты ADB

Сервис Порт Протокол Примечание

Backup Manager

6570

TCP

 — 

8870

TCP

 — 

8988

TCP

Внешний порт сопоставляется порту 8843 внутри контейнера

Service Registry

6568

TCP

 — 

8761

TCP

 — 

PostgreSQL

5432

TCP

Сервис базы данных PostgreSQL доступен на localhost, портом по умолчанию является 5432

etcd

2391

2392

2393

TCP

Внешние порты сопоставляются порту 2379 внутри каждого инстанса etcd
Сервис Порт Протокол Примечание

Agent

6571

TCP

Порт, через который работают gRPC-вызовы из ADBM к агентам
Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней