Карта портов

Порты HDFS

Список портов, используемых по умолчанию для различных HDFS сервисов, представлен в таблице.

Табл. 5. Порты HDFS
Сервис Характеристика
NameNode WebUI

Сервер – Master Nodes

  • Порт по умолчанию – 50070
    • Протокол: http
    • Описание: Web-интерфейс для работы с файловой системой HDFS
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: dfs.http.address
  • Порт по умолчанию – 50470
    • Протокол: https
    • Описание: Безопасный http сервис
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: dfs.https.address
NameNode metadata service

Сервер – Master Nodes

  • Порт по умолчанию – 8020/9000
    • Протокол: IPC
    • Описание: Взаимодействие с метаданными файловой системы
    • Доступ пользователям: Да (все клиенты для прямого взаимодействия с HDFS)
    • Параметр конфигурации: fs.default.name
DataNode

Сервер – All Slave Nodes

  • Порт по умолчанию – 50075
    • Протокол: http
    • Описание: Web-интерфейс для доступа к логам, статусам и пр.
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: dfs.datanode.http.address
  • Порт по умолчанию – 50475
    • Протокол: https
    • Описание: Безопасный http сервис
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: dfs.datanode.https.address
  • Порт по умолчанию – 50010
    • Описание: Передача данных
    • Параметр конфигурации: dfs.datanode.address
  • Порт по умолчанию – 50020
    • Протокол: IPC
    • Описание: Операции с метаданными
    • Доступ пользователям: Нет
    • Параметр конфигурации: dfs.datanode.ipc.address
Secondary NameNode

Сервер – Secondary NameNodes

  • Порт по умолчанию – 50090
    • Протокол: http
    • Описание: Чекпоинт для метаданных NameNode
    • Доступ пользователям: Нет
    • Параметр конфигурации: dfs.secondary.http.address
HDFS HFTP

Сервер – Master NameNodes

  • Порт по умолчанию – 50470
    • Протокол: https
    • Описание: Порт для доступа к HFTP файловой системы
    • Параметр конфигурации: dfs.https.port
JournalNode Web UI

Сервер – Master NameNodes

  • Порт по умолчанию – 8480
    • Протокол: http
    • Описание: Порт для доступа к HFTP файловой системы
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: dfs.journalnode.http-address
  • Порт по умолчанию – 8481
    • Протокол: https
    • Описание: Безопасный http сервис
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: dfs.journalnode.https-address

Порты MapReduce

Список портов, используемых по умолчанию для различных MapReduce сервисов, представлен в таблице.

Табл. 6. Порты MapReduce
Сервис Характеристика
JobTracker WebUI

Сервер – Master Nodes

  • Порт по умолчанию – 50030
    • Протокол: http
    • Описание: Web-интерфейс для работы JobTracker
    • Доступ пользователям: Да
    • Параметр конфигурации: mapred.job.tracker.http.address
JobTracker

Сервер – Master Nodes

  • Порт по умолчанию – 8021
    • Протокол: IPC
    • Описание: Для публикации заданий
    • Доступ пользователям: Да (все клиенты, которым требуется запуск MR, Hive, Pig и т.д.)
    • Параметр конфигурации: mapred.job.tracker
TaskTracker Web UI and Shuffle

Сервер – All Slave Nodes

  • Порт по умолчанию – 50060
    • Протокол: http
    • Описание: Web-интерфейс для DataNode (логи, статус)
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: mapred.task.tracker.http.address
History Server WebUI
  • Порт по умолчанию – 51111
    • Протокол: http
    • Описание: Web-интерфейс для истории заданий
    • Доступ пользователям: Да
    • Параметр конфигурации: mapreduce.history.server.http.address
MapReduce Shuffle Port
  • Порт по умолчанию – 13562
    • Описание: Порт, на котором работает ShuffleHandler
    • Доступ пользователям: Нет
    • Параметр конфигурации: mapreduce.shuffle.port

Порты YARN

Список портов, используемых по умолчанию для различных YARN сервисов, представлен в таблице.

Табл. 7. Порты YARN
Сервис Характеристика
ResourceManager WebUI

Сервер – Master Nodes

  • Порт по умолчанию – 8088
    • Протокол: http
    • Описание: Web-интерфейс для Resource Manager
    • Доступ пользователям: Да
    • Параметр конфигурации: yarn.resourcemanager.webapp.address
ResourceManager

Сервер – Master Nodes (ResourceManager Node)

  • Порт по умолчанию – 8050
    • Протокол: IPC
    • Описание: Для публикации заданий
    • Доступ пользователям: Да (все клиенты, которым требуется запуск YARN приложений)
    • Параметр конфигурации: yarn.resourcemanager.address
  • Порт по умолчанию – 8025
    • Протокол: http
    • Описание: Web-интерфейс для DataNode (логи, статус)
    • Доступ пользователям: Да (все клиенты, которым требуется запуск YARN приложений)
    • Параметр конфигурации: mapred.task.tracker.http.address
  • Порт по умолчанию – 9099
    • Протокол: http
    • Описание: Прокси для Resource Manager
    • Доступ пользователям: Да
    • Параметр конфигурации: yarn.web-proxy.address
  • Порт по умолчанию – 8141
    • Протокол: http
    • Описание: Адрес планировщика
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: yarn.resourcemanager.admin.address
Scheduler

Сервер – Master Nodes

  • Порт по умолчанию – 8030
    • Описание: Адрес планировщика
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: yarn.resourcemanager.scheduler.address
NodeManager

Сервер – Master Nodes

  • Порт по умолчанию – 45454
    • Протокол: http
    • Описание: Адрес NodeManager
    • Параметр конфигурации: yarn.nodemanager.address

Сервер – Slave Nodes

  • Порт по умолчанию – 8040
    • Описание: NodeManager
    • Параметр конфигурации: yarn.nodemanager.localizer.address
  • Порт по умолчанию – 8042
    • Протокол: http
    • Описание: NodeManager
    • Параметр конфигурации: yarn.nodemanager.webapp.address
  • Порт по умолчанию – 8044
    • Протокол: https
    • Описание: NodeManager
    • Параметр конфигурации: yarn.nodemanager.webapp.https.address
Timeline Server

Сервер – Master Nodes

  • Порт по умолчанию – 10200
    • Протокол: http
    • Описание: Адрес Timeline Server
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: yarn.timeline-service.address
  • Порт по умолчанию – 8188
    • Протокол: http
    • Описание: Адрес Timeline Server Webapp
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: yarn.timeline-service.webapp.address
  • Порт по умолчанию – 8190
    • Протокол: https
    • Описание: Адрес Timeline Server Webapp https
    • Доступ пользователям: Да (администратор, разработчик, поддержка)

Порты Hive

Список портов, используемых по умолчанию для различных Hive сервисов, представлен в таблице.

Табл. 8. Порты Hive
Сервис Характеристика
Hive Server2

Сервер – Hive Server машина

  • Порт по умолчанию – 10000
    • Протокол: thrift
    • Описание: Сервис для подключения к Hive (Thrift/JDBC)
    • Доступ пользователям: Да (все клиенты, которым требуется подключение к Hive)
    • Параметр конфигурации: hive.server2.thrift.port
  • Порт по умолчанию – 10001
    • Протокол: http
    • Описание: Сервис для подключения к Hive (http)
    • Доступ пользователям: Да (все клиенты, которым требуется подключение к Hive)
    • Параметр конфигурации: hive.server2.transport.mode
JobTracker

Сервер – Master Nodes

  • Порт по умолчанию – 8021
    • Протокол: IPC
    • Описание: Для публикации заданий
    • Доступ пользователям: Да (все клиенты, которым требуется запуск MR, Hive, Pig. Задачи, использующие HCatalog)
Hive Web UI

Сервер – Hive Server машина

  • Порт по умолчанию – 9999
    • Протокол: thrift
    • Описание: WebUI для Hive
    • Доступ пользователям: Да
    • Параметр конфигурации: hive.hwi.listen.port
  • Порт по умолчанию – 9933
    • Протокол: http
    • Доступ пользователям: Да (все клиенты, которым требуется запуск MR, Hive, Pig)
    • Параметр конфигурации: hive.metastore.uris

Порты WebHCat

Список портов, используемых по умолчанию для различных WebHCat сервисов, представлен в таблице.

Табл. 9. Порты WebHCat
Сервис Характеристика
WebHCat Server

Сервер – WebHCat Server машина

  • Порт по умолчанию – 50111
    • Протокол: http
    • Описание: Web API для доступа к HCatalog и к другим Hadoop сервисам
    • Доступ пользователям: Да
    • Параметр конфигурации: templeton.port

Порты HBase

Список портов, используемых по умолчанию для различных HBase сервисов, представлен в таблице.

Табл. 10. Порты HBase
Сервис Характеристика
HMaster

Сервер – Master Nodes (HBase Master Node и back-up HBase Master node)

  • Порт по умолчанию – 60000
    • Доступ пользователям: Да
    • Параметр конфигурации: hbase.master.port
HMaster Info Web UI

Сервер – Master Nodes (HBase Master Node и back-up HBase Master node)

  • Порт по умолчанию – 60010
    • Протокол: http
    • Описание: Порт для HBase Master UI
    • Доступ пользователям: Да
    • Параметр конфигурации: hbase.master.info.port
Region Server

Сервер – Все Slave Nodes

  • Порт по умолчанию – 60020
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: hbase.regionserver.port
  • Порт по умолчанию – 60030
    • Протокол: http
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: hbase.regionserver.info.port
HBase Thrift Server

Сервер – Все Thrift серверы

  • Порт по умолчанию – 9090
    • Описание: Порт, используемый HBase Thrift сервером
    • Доступ пользователям: Да
HBase Thrift Server Web UI

Сервер – Все Thrift серверы

  • Порт по умолчанию – 9090
    • Описание: Web-интерфейс для HBase Thrift сервера
    • Доступ пользователям: Да (администратор, разработчик, поддержка)
    • Параметр конфигурации: hbase.thrift.info.port

Порты Oozie

Список портов, используемых по умолчанию для различных Oozie сервисов, представлен в таблице.

Табл. 11. Порты Oozie
Сервис Характеристика
Oozie

Сервер – Oozie сервер

  • Порт по умолчанию – 11000
    • Протокол: TCP
    • Описание: Порт, используемый для запуска Oozie Server
    • Доступ пользователям: Да
    • Параметр конфигурации: OOZIE_HTTP_PORT in oozie_env.sh
  • Порт по умолчанию – 11001
    • Протокол: TCP
    • Описание: Порт, используемый админ-консолью для запуска Oozie Server
    • Доступ пользователям: Нет
    • Параметр конфигурации: OOZIE_ADMIN_PORT in oozie_env.sh
  • Порт по умолчанию – 11443
    • Протокол: TCP
    • Описание: Безопасный порт, используемый для запуска Oozie Server
    • Доступ пользователям: Да
    • Параметр конфигурации: OOZIE_HTTPS_PORT in oozie_env.sh

Порты NiFi

Список портов, используемых по умолчанию для различных NiFi сервисов, представлен в таблице.

Табл. 12. Порты NiFi
Сервис Характеристика
NiFi

Сервер – NiFi сервер

  • Порт по умолчанию – 9090
    • Протокол: http
    • Описание: NiFi Server http port
    • Доступ пользователям: Да
  • Порт по умолчанию – 9091
    • Протокол: https
    • Описание: NiFi Server https port
    • Доступ пользователям: Да
  • Порт по умолчанию – 10443
    • Описание: Certificate Authority
    • Доступ пользователям: Нет
  • Порт по умолчанию – 8022
    • Описание: Удаленный input-порт
    • Доступ пользователям: Да
    • Параметр конфигурации: nifi.remote.input.socket.port
  • Порт по умолчанию – 8021
    • Описание: Node protocol-порт
    • Доступ пользователям: Да
    • Параметр конфигурации: nifi.cluster.node.protocol.port
  • Порт по умолчанию – 8070
    • Протокол: http
    • Описание: NiFi http port
    • Доступ пользователям: Да
  • Порт по умолчанию – 9088
    • Описание: Nifi Protocol Port
    • Доступ пользователям: Да
    • Параметр конфигурации: nifi.remote.input.socket.port

Порты Zookeeper

Список портов, используемых по умолчанию для различных Zookeeper сервисов, представлен в таблице.

Табл. 13. Порты Zookeeper
Сервис Характеристика
Zookeeper Server

Сервер – Все Zookeeper Nodes

  • Порт по умолчанию – 2181
    • Протокол: http
    • Описание: Сервис доступа к Zookeeper Server/Quorum
    • Доступ пользователям: Да
    • Параметр конфигурации: zookeeper.port/clientPort
  • Порт по умолчанию – 2888
    • Описание: Порт используется Zookeeper для взаимодействия компонентов
    • Доступ пользователям: Нет
    • Параметр конфигурации: hbase.zookeeper.peerport
  • Порт по умолчанию – 3888
    • Описание: Порт используется Zookeeper для взаимодействия компонентов
    • Доступ пользователям: Нет
    • Параметр конфигурации: hbase.zookeeper.leaderport