zoukankan      html  css  js  c++  java
  • hadoop的50070端口不能访问网页的解决方法

    Hadoop集群正常启动:

     1、配置文件如下:

      

        <property>
    		<name>dfs.namenode.https-address.mycluster.nn1</name>
    		<value>master01:50070</value>
    	</property>
    	<property>
    		<name>dfs.namenode.https-address.mycluster.nn2</name>
    		<value>master02:50070</value>
    	</property>
    

      

    2、解决:

      上面的配置的是https端口,应该改为

        
    dfs.namenode.http-address
    

      

      注意Hadoop的默认端口是9870,我的配置没生效,使用9870端口访问正常

      

    3、配置对照表:

      Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。

      这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:

    组件

    节点

    默认端口

    配置

    用途说明

    HDFS

    DataNode

    50010

    dfs.datanode.address

    datanode服务端口,用于数据传输

    HDFS

    DataNode

    50075

    dfs.datanode.http.address

    http服务的端口

    HDFS

    DataNode

    50475

    dfs.datanode.https.address

    https服务的端口

    HDFS

    DataNode

    50020

    dfs.datanode.ipc.address

    ipc服务的端口

    HDFS

    NameNode

    50070

    dfs.namenode.http-address

    http服务的端口

    HDFS

    NameNode

    50470

    dfs.namenode.https-address

    https服务的端口

    HDFS

    NameNode

    8020

    fs.defaultFS

    接收Client连接的RPC端口,用于获取文件系统metadata信息。

    HDFS

    journalnode

    8485

    dfs.journalnode.rpc-address

    RPC服务

    HDFS

    journalnode

    8480

    dfs.journalnode.http-address

    HTTP服务

    HDFS

    ZKFC

    8019

    dfs.ha.zkfc.port

    ZooKeeper FailoverController,用于NN HA

    YARN

    ResourceManager

    8032

    yarn.resourcemanager.address

    RM的applications manager(ASM)端口

    YARN

    ResourceManager

    8030

    yarn.resourcemanager.scheduler.address

    scheduler组件的IPC端口

    YARN

    ResourceManager

    8031

    yarn.resourcemanager.resource-tracker.address

    IPC

    YARN

    ResourceManager

    8033

    yarn.resourcemanager.admin.address

    IPC

    YARN

    ResourceManager

    8088

    yarn.resourcemanager.webapp.address

    http服务端口

    YARN

    NodeManager

    8040

    yarn.nodemanager.localizer.address

    localizer IPC

    YARN

    NodeManager

    8042

    yarn.nodemanager.webapp.address

    http服务端口

    YARN

    NodeManager

    8041

    yarn.nodemanager.address

    NM中container manager的端口

    YARN

    JobHistory Server

    10020

    mapreduce.jobhistory.address

    IPC

    YARN

    JobHistory Server

    19888

    mapreduce.jobhistory.webapp.address

    http服务端口

    HBase

    Master

    60000

    hbase.master.port

    IPC

    HBase

    Master

    60010

    hbase.master.info.port

    http服务端口

    HBase

    RegionServer

    60020

    hbase.regionserver.port

    IPC

    HBase

    RegionServer

    60030

    hbase.regionserver.info.port

    http服务端口

    HBase

    HQuorumPeer

    2181

    hbase.zookeeper.property.clientPort

    HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。

    HBase

    HQuorumPeer

    2888

    hbase.zookeeper.peerport

    HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。

    HBase

    HQuorumPeer

    3888

    hbase.zookeeper.leaderport

    HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。

    Hive

    Metastore

    9083

    /etc/default/hive-metastore中export PORT=<port>来更新默认端口

     

    Hive

    HiveServer

    10000

    /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口

     

    ZooKeeper

    Server

    2181

    /etc/zookeeper/conf/zoo.cfg中clientPort=<port>

    对客户端提供服务的端口

    ZooKeeper

    Server

    2888

    /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分

    follower用来连接到leader,只在leader上监听该端口。

    ZooKeeper

    Server

    3888

    /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分

    用于leader选举的。只在electionAlg是1,2或3(默认)时需要

     
  • 相关阅读:
    【搞笑】各种程序评测结果
    【UVA】P1510 Neon Sign
    【转载】实用:根号怎么打出来? <引自百度>
    【转载】C++中的模板template <typename T>
    * ! THUSC2017杜老师
    * ! THUSCH2017巧克力
    ! BJOI2019光线
    ! BJOI2019奥术神杖
    ! TJOI/HEOI2016字符串
    ! TJOI/HEOI2016求和
  • 原文地址:https://www.cnblogs.com/irobotzz/p/12639146.html
Copyright © 2011-2022 走看看