Карта портов
Порты HDFS
Список портов, используемых по умолчанию для различных HDFS сервисов, представлен в таблице.
Табл. 5. Порты HDFS
Сервис |
Характеристика |
NameNode WebUI |
Сервер – Master Nodes
- Порт по умолчанию – 50070
- Протокол: http
- Описание: Web-интерфейс для работы с файловой системой HDFS
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: dfs.http.address
- Порт по умолчанию – 50470
- Протокол: https
- Описание: Безопасный http сервис
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: dfs.https.address
|
NameNode metadata service |
Сервер – Master Nodes
- Порт по умолчанию – 8020/9000
- Протокол: IPC
- Описание: Взаимодействие с метаданными файловой системы
- Доступ пользователям: Да (все клиенты для прямого взаимодействия с HDFS)
- Параметр конфигурации: fs.default.name
|
DataNode |
Сервер – All Slave Nodes
- Порт по умолчанию – 50075
- Протокол: http
- Описание: Web-интерфейс для доступа к логам, статусам и пр.
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: dfs.datanode.http.address
- Порт по умолчанию – 50475
- Протокол: https
- Описание: Безопасный http сервис
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: dfs.datanode.https.address
- Порт по умолчанию – 50010
- Описание: Передача данных
- Параметр конфигурации: dfs.datanode.address
- Порт по умолчанию – 50020
- Протокол: IPC
- Описание: Операции с метаданными
- Доступ пользователям: Нет
- Параметр конфигурации: dfs.datanode.ipc.address
|
Secondary NameNode |
Сервер – Secondary NameNodes
- Порт по умолчанию – 50090
- Протокол: http
- Описание: Чекпоинт для метаданных NameNode
- Доступ пользователям: Нет
- Параметр конфигурации: dfs.secondary.http.address
|
HDFS HFTP |
Сервер – Master NameNodes
- Порт по умолчанию – 50470
- Протокол: https
- Описание: Порт для доступа к HFTP файловой системы
- Параметр конфигурации: dfs.https.port
|
JournalNode Web UI |
Сервер – Master NameNodes
- Порт по умолчанию – 8480
- Протокол: http
- Описание: Порт для доступа к HFTP файловой системы
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: dfs.journalnode.http-address
- Порт по умолчанию – 8481
- Протокол: https
- Описание: Безопасный http сервис
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: dfs.journalnode.https-address
|
Порты MapReduce
Список портов, используемых по умолчанию для различных MapReduce сервисов, представлен в таблице.
Табл. 6. Порты MapReduce
Сервис |
Характеристика |
JobTracker WebUI |
Сервер – Master Nodes
- Порт по умолчанию – 50030
- Протокол: http
- Описание: Web-интерфейс для работы JobTracker
- Доступ пользователям: Да
- Параметр конфигурации: mapred.job.tracker.http.address
|
JobTracker |
Сервер – Master Nodes
- Порт по умолчанию – 8021
- Протокол: IPC
- Описание: Для публикации заданий
- Доступ пользователям: Да (все клиенты, которым требуется запуск MR, Hive, Pig и т.д.)
- Параметр конфигурации: mapred.job.tracker
|
TaskTracker Web UI and Shuffle |
Сервер – All Slave Nodes
- Порт по умолчанию – 50060
- Протокол: http
- Описание: Web-интерфейс для DataNode (логи, статус)
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: mapred.task.tracker.http.address
|
History Server WebUI |
- Порт по умолчанию – 51111
- Протокол: http
- Описание: Web-интерфейс для истории заданий
- Доступ пользователям: Да
- Параметр конфигурации: mapreduce.history.server.http.address
|
MapReduce Shuffle Port |
- Порт по умолчанию – 13562
- Описание: Порт, на котором работает ShuffleHandler
- Доступ пользователям: Нет
- Параметр конфигурации: mapreduce.shuffle.port
|
Порты YARN
Список портов, используемых по умолчанию для различных YARN сервисов, представлен в таблице.
Табл. 7. Порты YARN
Сервис |
Характеристика |
ResourceManager WebUI |
Сервер – Master Nodes
- Порт по умолчанию – 8088
- Протокол: http
- Описание: Web-интерфейс для Resource Manager
- Доступ пользователям: Да
- Параметр конфигурации: yarn.resourcemanager.webapp.address
|
ResourceManager |
Сервер – Master Nodes (ResourceManager Node)
- Порт по умолчанию – 8050
- Протокол: IPC
- Описание: Для публикации заданий
- Доступ пользователям: Да (все клиенты, которым требуется запуск YARN приложений)
- Параметр конфигурации: yarn.resourcemanager.address
- Порт по умолчанию – 8025
- Протокол: http
- Описание: Web-интерфейс для DataNode (логи, статус)
- Доступ пользователям: Да (все клиенты, которым требуется запуск YARN приложений)
- Параметр конфигурации: mapred.task.tracker.http.address
- Порт по умолчанию – 9099
- Протокол: http
- Описание: Прокси для Resource Manager
- Доступ пользователям: Да
- Параметр конфигурации: yarn.web-proxy.address
- Порт по умолчанию – 8141
- Протокол: http
- Описание: Адрес планировщика
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: yarn.resourcemanager.admin.address
|
Scheduler |
Сервер – Master Nodes
- Порт по умолчанию – 8030
- Описание: Адрес планировщика
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: yarn.resourcemanager.scheduler.address
|
NodeManager |
Сервер – Master Nodes
- Порт по умолчанию – 45454
- Протокол: http
- Описание: Адрес NodeManager
- Параметр конфигурации: yarn.nodemanager.address
Сервер – Slave Nodes
- Порт по умолчанию – 8040
- Описание: NodeManager
- Параметр конфигурации: yarn.nodemanager.localizer.address
- Порт по умолчанию – 8042
- Протокол: http
- Описание: NodeManager
- Параметр конфигурации: yarn.nodemanager.webapp.address
- Порт по умолчанию – 8044
- Протокол: https
- Описание: NodeManager
- Параметр конфигурации: yarn.nodemanager.webapp.https.address
|
Timeline Server |
Сервер – Master Nodes
- Порт по умолчанию – 10200
- Протокол: http
- Описание: Адрес Timeline Server
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: yarn.timeline-service.address
- Порт по умолчанию – 8188
- Протокол: http
- Описание: Адрес Timeline Server Webapp
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: yarn.timeline-service.webapp.address
- Порт по умолчанию – 8190
- Протокол: https
- Описание: Адрес Timeline Server Webapp https
- Доступ пользователям: Да (администратор, разработчик, поддержка)
|
Порты Hive
Список портов, используемых по умолчанию для различных Hive сервисов, представлен в таблице.
Табл. 8. Порты Hive
Сервис |
Характеристика |
Hive Server2 |
Сервер – Hive Server машина
- Порт по умолчанию – 10000
- Протокол: thrift
- Описание: Сервис для подключения к Hive (Thrift/JDBC)
- Доступ пользователям: Да (все клиенты, которым требуется подключение к Hive)
- Параметр конфигурации: hive.server2.thrift.port
- Порт по умолчанию – 10001
- Протокол: http
- Описание: Сервис для подключения к Hive (http)
- Доступ пользователям: Да (все клиенты, которым требуется подключение к Hive)
- Параметр конфигурации: hive.server2.transport.mode
|
JobTracker |
Сервер – Master Nodes
- Порт по умолчанию – 8021
- Протокол: IPC
- Описание: Для публикации заданий
- Доступ пользователям: Да (все клиенты, которым требуется запуск MR, Hive, Pig. Задачи, использующие HCatalog)
|
Hive Web UI |
Сервер – Hive Server машина
- Порт по умолчанию – 9999
- Протокол: thrift
- Описание: WebUI для Hive
- Доступ пользователям: Да
- Параметр конфигурации: hive.hwi.listen.port
- Порт по умолчанию – 9933
- Протокол: http
- Доступ пользователям: Да (все клиенты, которым требуется запуск MR, Hive, Pig)
- Параметр конфигурации: hive.metastore.uris
|
Порты WebHCat
Список портов, используемых по умолчанию для различных WebHCat сервисов, представлен в таблице.
Табл. 9. Порты WebHCat
Сервис |
Характеристика |
WebHCat Server |
Сервер – WebHCat Server машина
- Порт по умолчанию – 50111
- Протокол: http
- Описание: Web API для доступа к HCatalog и к другим Hadoop сервисам
- Доступ пользователям: Да
- Параметр конфигурации: templeton.port
|
Порты HBase
Список портов, используемых по умолчанию для различных HBase сервисов, представлен в таблице.
Табл. 10. Порты HBase
Сервис |
Характеристика |
HMaster |
Сервер – Master Nodes (HBase Master Node и back-up HBase Master node)
- Порт по умолчанию – 60000
- Доступ пользователям: Да
- Параметр конфигурации: hbase.master.port
|
HMaster Info Web UI |
Сервер – Master Nodes (HBase Master Node и back-up HBase Master node)
- Порт по умолчанию – 60010
- Протокол: http
- Описание: Порт для HBase Master UI
- Доступ пользователям: Да
- Параметр конфигурации: hbase.master.info.port
|
Region Server |
Сервер – Все Slave Nodes
- Порт по умолчанию – 60020
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: hbase.regionserver.port
- Порт по умолчанию – 60030
- Протокол: http
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: hbase.regionserver.info.port
|
HBase Thrift Server |
Сервер – Все Thrift серверы
- Порт по умолчанию – 9090
- Описание: Порт, используемый HBase Thrift сервером
- Доступ пользователям: Да
|
HBase Thrift Server Web UI |
Сервер – Все Thrift серверы
- Порт по умолчанию – 9090
- Описание: Web-интерфейс для HBase Thrift сервера
- Доступ пользователям: Да (администратор, разработчик, поддержка)
- Параметр конфигурации: hbase.thrift.info.port
|
Порты Oozie
Список портов, используемых по умолчанию для различных Oozie сервисов, представлен в таблице.
Табл. 11. Порты Oozie
Сервис |
Характеристика |
Oozie |
Сервер – Oozie сервер
- Порт по умолчанию – 11000
- Протокол: TCP
- Описание: Порт, используемый для запуска Oozie Server
- Доступ пользователям: Да
- Параметр конфигурации: OOZIE_HTTP_PORT in oozie_env.sh
- Порт по умолчанию – 11001
- Протокол: TCP
- Описание: Порт, используемый админ-консолью для запуска Oozie Server
- Доступ пользователям: Нет
- Параметр конфигурации: OOZIE_ADMIN_PORT in oozie_env.sh
- Порт по умолчанию – 11443
- Протокол: TCP
- Описание: Безопасный порт, используемый для запуска Oozie Server
- Доступ пользователям: Да
- Параметр конфигурации: OOZIE_HTTPS_PORT in oozie_env.sh
|
Порты NiFi
Список портов, используемых по умолчанию для различных NiFi сервисов, представлен в таблице.
Табл. 12. Порты NiFi
Сервис |
Характеристика |
NiFi |
Сервер – NiFi сервер
- Порт по умолчанию – 9090
- Протокол: http
- Описание: NiFi Server http port
- Доступ пользователям: Да
- Порт по умолчанию – 9091
- Протокол: https
- Описание: NiFi Server https port
- Доступ пользователям: Да
- Порт по умолчанию – 10443
- Описание: Certificate Authority
- Доступ пользователям: Нет
- Порт по умолчанию – 8022
- Описание: Удаленный input-порт
- Доступ пользователям: Да
- Параметр конфигурации: nifi.remote.input.socket.port
- Порт по умолчанию – 8021
- Описание: Node protocol-порт
- Доступ пользователям: Да
- Параметр конфигурации: nifi.cluster.node.protocol.port
- Порт по умолчанию – 8070
- Протокол: http
- Описание: NiFi http port
- Доступ пользователям: Да
- Порт по умолчанию – 9088
- Описание: Nifi Protocol Port
- Доступ пользователям: Да
- Параметр конфигурации: nifi.remote.input.socket.port
|
Порты Zookeeper
Список портов, используемых по умолчанию для различных Zookeeper сервисов, представлен в таблице.
Табл. 13. Порты Zookeeper
Сервис |
Характеристика |
Zookeeper Server |
Сервер – Все Zookeeper Nodes
- Порт по умолчанию – 2181
- Протокол: http
- Описание: Сервис доступа к Zookeeper Server/Quorum
- Доступ пользователям: Да
- Параметр конфигурации: zookeeper.port/clientPort
- Порт по умолчанию – 2888
- Описание: Порт используется Zookeeper для взаимодействия компонентов
- Доступ пользователям: Нет
- Параметр конфигурации: hbase.zookeeper.peerport
- Порт по умолчанию – 3888
- Описание: Порт используется Zookeeper для взаимодействия компонентов
- Доступ пользователям: Нет
- Параметр конфигурации: hbase.zookeeper.leaderport
|