Hadoop端标语全解析：掌握这些端口，轻松驾御大数据集群，一文读懂常用端口

1. HDFS（Hadoop Distributed File System）相关端口

端标语组件/服务作用8020NameNode RPCNameNode的远程过程调用(RPC)端口，用于处理客户端和DataNode的哀求。9870NameNode的HTTP UI端口用于通过Web界面检察HDFS集群的状态、设置、存储等信息。50070NameNode WebHDFSNameNode的WebHDFS端口，通过HTTP协议提供对HDFS的访问。50020DataNode的IPC（Inter-Process Communication）服务端口用于与NameNode举行内部通信。9000NameNode HTTP（非高可用）NameNode的HTTP服务端口，用于Web界面访问（如HDFS的Web UI）。在高可用设置中，此端口大概不常用。50010DataNode 数据传输用于HDFS内部的数据传输，例如DataNode与NameNode之间、DataNode与客户端之间的数据读写利用。同时，这也是DataNode的IPC（Inter-Process Communication）端口，用于继承来自NameNode或其他DataNode的下令和状态同步哀求。50075DataNode HTTPDataNode的Web界面端口，通常用于检察DataNode的状态和陈诉。但需要注意的是，这个端口并不总是默认开启的，且其Web界面大概不如NameNode的Web界面详细。50090Secondary NameNode WebSecondary NameNode的Web欣赏器访问端口，用于定期合并编辑日志。8485JournalNode 的RPC服务端口用于与NameNode等组件通信，保障HDFS元数据的恒久化存储。8480JournalNode 的HTTP服务端口提供JournalNode的Web界面。8019ZooKeeper Failover Controller的端口用于NameNode的高可用性（HA）设置中，与ZooKeeper集群通信以管理NameNode的自动故障转移。

• 端标语大概会根据Hadoop的设置和版本有所不同。以上列出的是Hadoop 2.x和Hadoop 3.x中的常见端口。
  
• Hadoop的设置文件（如core-site.xml和hdfs-site.xml）中定义了这些端口的值，可以通过修改这些设置文件来自定义端标语。
  
• 如果需要检察或修改这些端口，可以直接编辑Hadoop的设置文件，并使用Hadoop提供的下令行工具或Web界面举行验证。
  

2. YARN（Yet Another Resource Negotiator）相关端口

端标语组件/服务作用8088YARN ResourceManager Web UIYARN集群的ResourceManager的Web UI端口，用于监控和管理集群中的资源和使命。8032YARN ResourceManager IPCResourceManager的IPC端口，用于ResourceManager与其他YARN组件（如NodeManager）之间的内部通信。8030ResourceManager的Scheduler组件的IPC端口ResourceManager的Scheduler组件的IPC端口，用于处理与资源调度相关的哀求。8041NodeManager的Web UI端口（注意：这个端标语在官方文档中大概不常见，但通常NodeManager也会有一个用于内部通信或Web UI的端口，详细端标语大概因设置而异）：NodeManager的Web UI端口（详细端标语大概根据设置不同而有所变化），用于检察节点上的资源使用情况和正在运行的使命信息。然而，需要注意的是，并非所有版本的Hadoop或YARN设置都会默认开启NodeManager的Web UI。（随机）NodeManagerNodeManager的HTTP服务端口，用于执行使命并管理容器。默认情况下，使用随机端口，可以通过设置文件修改。

• 端标语大概会根据Hadoop和YARN的设置以及版本而有所不同。因此，在检察或修改端标语时，请参考详细的Hadoop和YARN设置文件（如yarn-site.xml）。
  
• YARN的Web UI和IPC端口对于集群的管理和监控至关紧张，因此请确保这些端口在防火墙和安全组规则中是被允许的。
  
• 如果需要自定义端标语，可以通过修改Hadoop和YARN的设置文件来实现，并在重启集群后生效。
  

3. MapReduce相关端口

MapReduce作业的执行情况重要通过YARN ResourceManager的Web UI（即8088端口）来检察。固然MapReduce本身不直接提供特定的Web UI端口，但其作业的日志和输出通常会存储在HDFS上，因此与HDFS相关的端口（如50070或9870，取决于Hadoop的版本）也大概用于间接地检察MapReduce作业的输出和日志。
4. 其他Hadoop生态组件端口

端标语组件/服务作用9083Hive MetastoreHive Metastore服务的默认监听端口，用于存储和管理Hive的元数据。10000Hive JDBCHive JDBC服务的端口，允许通过JDBC协议连接到Hive服务。60010HBase Master Web UI（旧）HBase Master的Web UI端口，用于监控和管理HBase集群的状态。16010HBase Master Web UI（新）在Hadoop新版本中，HBase Master的Web UI大概使用此端口。60030HBase RegionServer Web UIHBase RegionServer的Web UI管理端口，提供RegionServer的状态和性能信息。7077Spark MasterSpark集群中Master节点与Worker节点举行通信的端口。8080Spark Master Web UISpark Master的Web UI端口，用于监控和管理Spark作业和集群状态。8081Spark Worker Web UISpark Worker的Web UI端口，提供Worker节点的状态和性能信息。4040Spark Driver Web UISpark应用步调的Driver节点的Web UI端口，用于检察应用步调的运行状态和日志。2181ZookeeperZookeeper客户端连接的端口，用于集群管理和和谐。9092KafkaKafka集群节点之间通信的RPC端口。