Hadoop/HBase/HDFS 常用默认端口总结列举,以及作用
必须要吐槽一句,光看这些端口, 就能发现Hadoop设计的复杂性在2020s的今天显得有点格格不入,如今, 如果没有历史包袱,如果非必要, 还是选择同类替换的应用对需求进行专项专用吧。节点管理器本地化端口(默认为8040):用于节点管理器与本地化服务进行通信,获取应用程序所需的资源。应用程序管理器调度器端口(默认为8030):用于应用程序管理器与。应用程序管理器端口(默认为8032):用于应用程序
必须要吐槽一句, 光看这些端口, 就能发现Hadoop设计的复杂性在2020s的今天显得有点格格不入🤯😶, 如今,
如果没有历史包袱, 如果非必要, 还是选择同类替换的应用对需求进行专项专用吧
Hadoop

-
NameNode端口(默认为50070):用于Web界面和Hadoop分布式文件系统(HDFS)的元数据操作。 -
DataNode端口(默认为50075):用于DataNode与其他Hadoop节点进行通信,传输数据块。 -
Secondary NameNode端口(默认为50090):用于Secondary NameNode与NameNode进行通信,协助处理元数据备份和检查点操作。 -
ResourceManager端口(默认为8088):用于ResourceManager的Web界面和资源管理器的调度和监控。 -
NodeManager端口(默认为8042):用于NodeManager与ResourceManager进行通信,报告节点的资源使用情况和接收任务。 -
JobHistoryServer端口(默认为19888):用于JobHistoryServer的Web界面和存储作业历史信息。 -
HDFS通信端口(默认为8020):用于HDFS客户端与NameNode进行通信,执行文件系统操作。 -
YARN应用程序管理器端口(默认为8032):用于应用程序管理器与ResourceManager进行通信,提交和管理应用程序。 -
YARN应用程序管理器调度器端口(默认为8030):用于应用程序管理器与ResourceManager进行通信,获取集群资源。 -
YARN节点管理器本地化端口(默认为8040):用于节点管理器与本地化服务进行通信,获取应用程序所需的资源。
HBase

HBase使用以下端口,每个端口有不同的作用:
-
2181:
ZooKeeper端口- 用于
HBase与ZooKeeper之间的通信和协调。 HBase依赖于ZooKeeper来管理集群的状态和元数据信息。
- 用于
-
16000:
HMaster端口- 用于
HBase主节点(HMaster)与Region服务器(RegionServer)之间的通信。 HMaster负责管理HBase集群的元数据和协调RegionServer的工作。
- 用于
-
16010:
HBase网页控制台端口- 用于访问
HBase的网页控制台(HBase Web UI)。 - 通过该端口可以查看
HBase集群的状态、表的信息、RegionServer的指标等。
- 用于访问
-
60000-60020:
RegionServer端口范围- 每个
RegionServer在该范围内占用一个端口。 - 用于处理客户端请求,包括读写操作、
Region的分裂和合并等。
- 每个
-
9090:
Thrift服务器端口- 用于通过
Thrift接口访问HBase集群。 Thrift是一种跨语言的远程过程调用(RPC)框架,可以使不同语言的应用程序与HBase进行交互。
- 用于通过
HDFS
-
9000/8020:
HDFS通信端口- 用于
HDFS客户端与NameNode之间的通信。 - 客户端使用该端口与
NameNode交互,包括文件系统操作(如读、写、删除文件)和元数据操作(如创建、删除目录)等。
- 用于
-
50010:数据节点传输端口
- 用于数据节点(
DataNode)之间的数据传输。 - 数据节点之间通过该端口进行数据块的复制和传输。
- 用于数据节点(
-
50020:数据节点元数据端口
- 用于数据节点与
NameNode之间的元数据交互。 - 数据节点通过该端口向
NameNode报告块的信息、心跳和状态。
- 用于数据节点与
-
50070:
NameNode网页控制台端口- 用于访问
HDFS的网页控制台(NameNode Web UI)。 - 通过该端口可以查看
HDFS集群的状态、文件系统的信息、块的分布情况等。
- 用于访问
-
50475:安全通信端口
- 用于安全模式下的
HDFS通信。 - 当
HDFS启用了安全模式(使用Kerberos等认证机制)时,客户端与NameNode之间的通信将通过该端口进行加密和认证。
- 用于安全模式下的
更多推荐


所有评论(0)