Сетевые порты ADH

Евгения Кузина

Сопоставление сетевых портов ADH

В таблицах ниже перечислены сетевые порты компонентов и серверов сервисов ADH. Столбец Конфигурирование содержит имя файла, в котором порт может быть переопределён.

ADCM

Компонент/Сервер

Порт

Протокол

Описание

ADCM

TCP

Порт подключения ADCM

Arenadata PostgreSQL

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Arenadata PostgreSQL

5432

TCP

Порт для подключения к PostgreSQL

port

postgresql.conf

Airflow

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Webserver

8080/8080

HTTP/HTTPS

Порт веб-интерфейса Airflow Server

web_server_port (server_port в ADCM)

airflow.cfg

Worker

8793/8793

HTTP/HTTPS

Порт для доступа к Celery Worker API

worker_log_server_port (worker_port в ADCM)

airflow.cfg

Flower

5555/5555

HTTP/HTTPS

Порт веб-интерфейса Flower

flower_port

airflow.cfg

Broker

6379

TCP

Порт сервиса Redis

broker_url (redis_port в ADCM)

airflow.cfg

Metastore

3307

TCP

Порт сервиса MariaDB

sql_alchemy_conn, result_backend

airflow.cfg

Airflow2

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Webserver

8080/8080

HTTP/HTTPS

Порт веб-интерфейса Airflow Server

web_server_port (server_port в ADCM)

airflow.cfg

Worker

8793/8793

HTTP/HTTPS

Порт для доступа к Celery Worker API

worker_log_server_port (worker_port в ADCM)

airflow.cfg

Flower

5555/5555

HTTP/HTTPS

Порт веб-интерфейса Flower

flower_port

airflow.cfg

Broker

6379

TCP

Порт сервиса Redis

broker_url (redis_port в ADCM)

airflow.cfg

Metastore

5432

TCP

Порт сервиса PostgreSQL

sql_alchemy_conn, result_backend

airflow.cfg

Flink

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Task Manager

Диапазон (например, 35122)

TCP

Порт данных (диапазон)

taskmanager.data.port

—

Task Manager

Диапазон (например, 32390)

IPC

Порт IPC (диапазон)

taskmanager.rpc.port

—

Job Manager

8081/8081

HTTP/HTTPS

Порт веб-интерфейса Flink Job Manager

rest.port

Кастомный параметр в flink-conf.yaml

Job Manager

6123

TCP

Порт Flink Job Manager RPC (не в режиме HA)

jobmanager.rpc.port

flink-conf.yaml

Job Manager

Диапазон, сгенерированный Zookeeper (например, 50100)

TCP

Порт Flink Job Manager (в режиме HA)

high-availability.jobmanager.port

—

HBase

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

HBase Master

16000

IPC

Порт HBase Master IPC

hbase.master.port

Кастомный параметр в hbase-site.xml

HBase Master

16010/16010

HTTP/HTTPS

Порт веб-интерфейса HBase Master

hbase.master.info.port

Кастомный параметр в hbase-site.xml

HBase Region

16030/16030

HTTP/HTTPS

Порт веб-интерфейса HBase Region Server

hbase.regionserver.info.port

Кастомный параметр в hbase-site.xml

HBase Region

16020

IPC

Порт HBase Region Server IPC

hbase.regionserver.port

Кастомный параметр в hbase-site.xml

Phoenix Query Server

8765/8765

HTTP/HTTPS

Порт для доступа к API

phoenix.queryserver.http.port

Кастомный параметр в hbase-site.xml

HBase REST server

60080/60080

HTTP/HTTPS

Порт для доступа к API

hbase.rest.port

hbase-site.xml

HBase REST Server

8085

HTTP/HTTPS

Порт веб-интерфейса

hbase.rest.info.port

Кастомный параметр в hbase-site.xml

HBaseThrift2 Server

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Thrift2 Server

9090

TCP

Порт Thrift2 Server

—

Thrift2 Server

9095/9095

HTTP/HTTPS

Порт веб-интерфейса Thrift2 Server

hbase.thrift.info.port

Кастомный параметр в hbase-site.xml

HDFS

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

NameNode

9870/9871

HTTP/HTTPS

Порт веб-интерфейса NameNode

dfs.namenode.http-address, dfs.namenode.https-address

hdfs-site.xml

NameNode

8020

IPC

Операции с метаданными файловой системы

Встроенный в dfs.namenode.rpc-address.<namespace>.<namenode_id>

hdfs-site.xml

ZKFC

8019

IPC (TCP, UDP)

ZooKeeper FailoverController для NN HA

dfs.ha.zkfc.port

Кастомный параметр в hdfs-site.xml

DataNode

9864/9865

HTTP/HTTPS

Порт веб-интерфейса DataNode

dfs.datanode.https.address

hdfs-site.xml

DataNode

9866

TCP

Data transfer

dfs.datanode.address

hdfs-site.xml

DataNode

9867

IPC

Операции с метаданными файловой системы

dfs.datanode.ipc.address

hdfs-site.xml

JournalNode

8480/8481

HTTP/HTTPS

Порт веб-интерфейса JournalNode

dfs.journalnode.http.address, dfs.journalnode.https.address

hdfs-site.xml

JournalNode

8485

IPC

Операции с метаданными файловой системы

dfs.journalnode.rpc-address

hdfs-site.xml

HttpFS server

14000/14000

HTTP/HTTPS

Порт HTTPfs API

httpfs.http.port

httpfs-site.xml

Hive

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Hive Server

10000

TCP или HTTP

Порт Thrift/JDBC

hive.server2.thrift.port

hive-site.xml

Hive Server

10002/10002

HTTP/HTTPS

Порт веб-интерфейса Hive Server

hive.server2.webui.port

Кастомный параметр в hive-site.xml

Hive Metastore

9083

TCP

Порт сервиса Hive Metastore

hive.metastore.uris

hive-site.xml

Tez

9999/9999

HTTP/HTTPS

Порт веб-интерфейса Tez

Встроенный в tez.tez-ui.history-url.base

tez-site.xml

Impala

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Impala Catalog Service

23020

TCP

Только для внутреннего использования. Демон Catalog Server слушает этот порт для получения обновлений от демона StateStore

state_store_subscriber_port

/etc/impala/conf/catalogstore.conf

Impala Catalog Service

25020

HTTP/HTTPS

Порт, на котором работает веб-сервер Catalog Service. См. Обзор веб-интерфейсов Impala

webserver_port

/etc/impala/conf/catalogstore.conf

Impala Catalog Service

26000

TCP

Только для внутреннего использования. Порт, который использует Impala Catalog Service для связи с демонами Impala

catalog_service_port

/etc/impala/conf/catalogstore.conf

Impala Daemon

21000

TCP

Порт, на котором демоны Impala обслуживают клиентские запросы Beeswax

beeswax_port

/etc/impala/conf/impalastore.conf

Impala Daemon

21050

TCP

Порт, на котором демоны Impala обслуживают клиентские запросы HiveServer2

hs2_port

/etc/impala/conf/impalastore.conf

Impala Daemon

22000

TCP

Только для внутреннего использования. Демоны Impala используют этот порт для связи друг с другом на основе Thrift

be_port

/etc/impala/conf/impalastore.conf

Impala Daemon

23030

TCP

Только для внутреннего использования. Демоны Impala прослушивают этот порт для получения обновлений от демона Statestore

state_store_subscriber_port

/etc/impala/conf/impalastore.conf

Impala Daemon

25000

HTTP/HTTPS

Порт, на котором работает веб-сервер демона Impala. См. Обзор веб-интерфейсов Impala

webserver_port

/etc/impala/conf/impalastore.conf

Impala Daemon

27000

TCP

Только для внутреннего использования. Демоны Impala используют этот порт для связи друг с другом на основе KRPC

krpc_port

/etc/impala/conf/impalastore.conf

Impala Daemon

28000

HTTP

Порт, который используют клиентские приложения для передачи команд и получения результатов по HTTP по протоколу HiveServer2

hs2_http_port

/etc/impala/conf/impalastore.conf

Impala Statestore

24000

TCP

Порт, на котором запущен компонент Impala Statestore

state_store_port

/etc/impala/conf/statestore.conf

Impala Statestore

25010

HTTP/HTTPS

Порт, на котором работает веб-сервер Statestore. См. Обзор веб-интерфейсов Impala

webserver_port

/etc/impala/conf/statestore.conf

Kyuubi

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Kyuubi Server

10099

HTTP/HTTPS

Порт, на котором работает сервис REST

kyuubi.frontend.rest.bind.port

kyuubi-defaults.conf

Kyuubi Server

10009

Бинарный

Порт, на котором работает сервис Thrift через бинарный протокол

kyuubi.frontend.thrift.binary.bind.port

kyuubi-defaults.conf

Kyuubi Server

10010

HTTP/HTTPS

Порт, на котором работает сервис Thrift через HTTP

kyuubi.frontend.thrift.http.bind.port

kyuubi-defaults.conf

MariaDB

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

MariaDB Master server

3306

TCP

Порт для подключения к MariaDB

port

my.cnf

Monitoring (the Monitoring cluster)

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Graphite

2015

TCP

Порт для отправки метрик

port

diamond.conf

Solr

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Solr Server

8983/8985

HTTP/HTTPS

Порт для доступа к веб-интерфейсу и API Solr Server

hostPort

solr.xml

Spark

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

History Server

18082/18082

HTTP/HTTPS

Порт веб-интерфейса HS

spark.historyServer.port, spark.ssl.historyServer.port

spark-defaults.conf

Thrift Server

4040/4040 (4041, …если запущено больше приложений)

HTTP/HTTPS

Веб-интерфейс Thrift Server

spark.ui.port, spark.ssl.ui.port

spark-defaults.com

Thrift Server

10016

TCP

Порт сервиса Thrift Server

hive.server2.thrift.port

spark-env.sh

Livy Server

8998/8998 (8999, …)

HTTP/HTTPS

Порт веб-интерфейса Livy Server

livy.server.port

livy.conf

Spark3

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

History Server

18092

HTTP/HTTPS

Порт веб-интерфейса History Server

spark.history.ui.port, spark.ssl.historyServer.port

spark-defaults.conf

Livy Server

8999

HTTP/HTTPS

Порт веб-интерфейса Livy Server

livy.server.port

livy.conf

Spark3 Connect

15002

HTTP/HTTPS

Порт для gRPC-соединения с Spark3 Connect

spark.connect.grpc.binding.port

spark-defaults.conf

SSM

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Smart Agent

7048

RPC

Порт, использующийся SSM-агентами для общения с SSM-сервером

smart.agent.port

smart-site.xml

Smart Agent master port

7051

RPC

Порт, использующийся SSM-сервером для общения с SSM-агентами

smart.agent.master.port

smart-site.xml

SSM RPC server port

7042

RPC

Порт, использующийся SSM-сервером для взаимодействия с NameNodes

smart.server.rpc.address

smart-site.xml

SSM web UI port

7045

HTTP/HTTPS

Порт веб-интерфейса SSM

smart.server.rpc.address

smart-site.xml

Sqoop

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Metastore

16100

TCP

Соединение Sqoop и Metastore (внутреннее использование)

sqoop.metastore.server.port

sqoop-site.xml

YARN

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

ResourceManager

8088/8090

HTTP/HTTPS

Порт веб-интерфейса RM

yarn.resourcemanager.webapp.address, yarn.resourcemanager.webapp.https.address

yarn-site.xml (только 8090)

ResourceManager

8030

HTTP

Порт интерфейса планировщика

yarn.resourcemanager.scheduler.address

Кастомный параметр в yarn-site.xml

ResourceManager

8031

IPC

Порт трекера ресурсов

yarn.resourcemanager.resource-tracker.address

Кастомный параметр в yarn-site.xml

Resource Manager

8032

IPC

Порт интерфейса диспетчера приложений в RM

yarn.resourcemanager.address

Кастомный параметр в yarn-site.xml

Resource Manager

8033

IPC

Порт административного интерфейса RM

yarn.resourcemanager.admin.address

Кастомный параметр в yarn-site.xml

NodeManager

8042/8044

HTTP/HTTPS

Порт веб-интерфейса NM

8042 — yarn.nodemanager.webapp.address, 8044 — yarn.nodemanager.webapp.https.address

yarn-site.xml (только 8044)

NodeManager

8040

IPC

Порт, на котором localizer IPC

yarn.nodemanager.localizer.address

Кастомный параметр в yarn-site.xml

NodeManager

8041

IPC

Порт менеджера контейнеров в NM

yarn.nodemanager.address

yarn-site.xml

NodeManager

7337

TCP

Порт сервиса Spark shuffle (Сервис выключен по умолчанию)

spark.shuffle.service.port

кастомный spark-defaults.conf

NodeManager

7447

TCP

Порт сервиса Spark shuffle

—

MapReduce History Server

19888/19890

HTTP/HTTPS

Порт веб-интерфейса HS

mapreduce.jobhistory.webapp.address, mapreduce.jobhistory.webapp.https.address

mapred-site.xml

MapReduce History Server

10020

IPC

Порт сервера MapReduce JobHistory

mapreduce.jobhistory.address

mapred-site.xml

MapReduce History Server

10033

IPC

Порт административного интерфейса сервера History

mapreduce.jobhistory.admin.address

Кастомный параметр в mapred-site.xml

MapReduce

13562

IPC

Порт MapReduce Shuffle

mapreduce.shuffle.port

Кастомный параметр в mapred-site.xml

Timeline Server

8188/8190

HTTP/HTTPS

Порт веб-интерфейса TS

yarn.timeline-service.webapp.https.address

yarn-site.xml

Timeline Server

10200

IPC

Порт сервера TS

Встроенный в mapreduce.jobhistory.address

mapred-site.xml

Zeppelin

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Server

8180/8180

HTTP/HTTPS

Порт веб-интерфейса Zeppelin

zeppelin.server.port, zeppelin.server.ssl.port

zeppelin-site.xml

Zookeeper

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

Zookeeper

2888

TCP

Порт для координации кластера (только для внутреннего использования в кластере)

server.*

zoo.cfg

Zookeeper

3888

TCP

Порт для координации кластера (только для внутреннего использования в кластере)

server.*

zoo.cfg

Zookeeper

2181

TCP

Порт для клиентских подключений

clientPort (client_port в ADCM)

zoo.cfg

Zookeeper Admin Server

5181

HTTP

HTTP-интерфейс для доступа к Zookeeper API

admin.serverPort (admin.serverPort в ADCM)

zoo.cfg

Порты JMX

В пользовательском интерфейсе ADCM определен только порт YARN RM. Другие порты JMX жестко закодированы в конфигурационных файлах среды сервисов.

Сервис

Компонент/Сервер

Порт

Протокол

Описание

Параметр

Конфигурирование

HBase

HBase Region

10102

TCP

Порт JMX (внутреннее использование с jmxtrans)

-Dcom.sun.management.jmxremote.port

hbase-regionserver-env.sh

HDFS

NameNode

1026

TCP

Порт JMX (внутреннее использование с jmxtrans)

-Dcom.sun.management.jmxremote.port

hadoop-env.sh

HDFS

DataNode

1027

TCP

Порт JMX (внутреннее использование с jmxtrans)

-Dcom.sun.management.jmxremote.port

hadoop-env.sh

Hive

Hive Server

1031

TCP

Порт JMX (внутреннее использование с jmxtrans)

-Dcom.sun.management.jmxremote.port

hive-server2-env.sh

Hive

Metastore

1032

TCP

Порт JMX (внутреннее использование с jmxtrans)

-Dcom.sun.management.jmxremote.port

hive-metastore-env.sh

Monitoring

jmxtrans

2101

TCP

Порт JMX для клиентских соединений

-Dcom.sun.management.jmxremote.port

/etc/jmxtrans/wrapper.conf

Spark

History Server

18083

TCP

JMX port (внутреннее использование с jmxtrans)

-Dcom.sun.management.jmxremote.port

spark-env.sh

Spark3

History Server

18093

TCP

JMX port (внутреннее использование с jmxtrans)

-Dcom.sun.management.jmxremote.port

spark-env.sh

YARN

Resource Manager

1028

TCP

JMX port (внутреннее использование с jmxtrans)

-Dcom.sun.management.jmxremote.port (resource_manager_jmx_port в ADCM)

yarn-env.sh

YARN

NodeManager

1029

TCP

JMX port (внутреннее использование с jmxtrans)

-Dcom.sun.management.jmxremote.port

yarn-env.sh

YARN

MapReduce History Server

1030

TCP

JMX port (внутреннее использование с jmxtrans)

-Dcom.sun.management.jmxremote.port

mapred-env.sh

Порты, переопределённые Kerberos

Когда Kerberos включен, ADCM переопределяет порты, указанные в таблице ниже, значениями, определенными в конфигурационных файлах Ansible.

При отключении Kerberos ADCM возвращает для этих параметров значения, указанные по умолчанию.

Сервис

Компонент/Сервер

Порт

Протокол

Описание

Kerberos

Параметр

HDFS

DataNode

1022/50475

HTTP/HTTPS

Порт веб-интерфейса DataNode / защищённый порт

Включен

dfs.datanode.http.address, dfs.datanode.https.address

HDFS

DataNode

1019

TCP

Порт обмена данными

Включен

dfs.datanode.address

Клиентские порты

Клиентские порты генерируются в локальном диапазоне портов. Можно определить порт из этого диапазона, зная порт сервиса. Используйте команду lsof следующим образом:

$ sudo lsof -i -P -n | grep <известный номер порта>

Примеры

Клиент Diamond работает на локальном произвольном порту. Он подключается к Graphite, который прослушивает порт 2015.
```
$ sudo lsof -i -P -n | grep 2015
```
Результат:
```
python    6000       root    2u  IPv4 4811652      0t0  TCP 10.92.16.232:34758->10.92.16.30:2015 (ESTABLISHED)
```
Клиент Hive работает на локальном произвольном порту. Он подключается к MariaDB, который прослушивает порт 3306.
```
$ sudo lsof -i -P -n | grep 3306
```
Результат:
```
java      20906       hive  549u  IPv6 14115081      0t0  TCP 10.92.17.88:35006->10.92.17.37:3306 (ESTABLISHED)
```

Примеры клиентских портов в локальном диапазоне портов
Компонент	Порт	Протокол	Описание
Diamond (python-процесс, запущенный под пользователем root)	34758 или другой случайный порт из локального диапазона портов	TCP	Локальный клиентский порт jmxtrans для отправки метрик кластеру мониторинга на порте 2015 (Graphite)
Hive	42598 или другой случайный порт из локального диапазона портов	TCP	Локальный клиентский порт для подключения к базе MariaDB на порте 3306
HBase, Spark и т.д.	50382 или другой случайный порт из локального диапазона портов	TCP	Локальный клиентский порт для подключения к HDFS на порте 8020
Flink JobManager	43162 или другой случайный порт из локального диапазона портов	TCP	Клиент Flink подключается к Zookeeper: TCP 10.92.17.55:42844→10.92.17.55:2181 Внутреннее подключение Flink между нодами JobManager: TCP 10.92.17.55:60390→10.92.17.58:33769

Нашли ошибку? Выделите текст и нажмите Ctrl+Enter чтобы сообщить о ней