zoukankan      html  css  js  c++  java
  • hadoop的50070端口不能访问网页的解决方法

    Hadoop集群正常启动:

     1、配置文件如下:

      

        <property>
    		<name>dfs.namenode.https-address.mycluster.nn1</name>
    		<value>master01:50070</value>
    	</property>
    	<property>
    		<name>dfs.namenode.https-address.mycluster.nn2</name>
    		<value>master02:50070</value>
    	</property>
    

      

    2、解决:

      上面的配置的是https端口,应该改为

        
    dfs.namenode.http-address
    

      

      注意Hadoop的默认端口是9870,我的配置没生效,使用9870端口访问正常

      

    3、配置对照表:

      Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询。

      这里包含我们使用到的组件:HDFS, YARN, HBase, Hive, ZooKeeper:

    组件

    节点

    默认端口

    配置

    用途说明

    HDFS

    DataNode

    50010

    dfs.datanode.address

    datanode服务端口,用于数据传输

    HDFS

    DataNode

    50075

    dfs.datanode.http.address

    http服务的端口

    HDFS

    DataNode

    50475

    dfs.datanode.https.address

    https服务的端口

    HDFS

    DataNode

    50020

    dfs.datanode.ipc.address

    ipc服务的端口

    HDFS

    NameNode

    50070

    dfs.namenode.http-address

    http服务的端口

    HDFS

    NameNode

    50470

    dfs.namenode.https-address

    https服务的端口

    HDFS

    NameNode

    8020

    fs.defaultFS

    接收Client连接的RPC端口,用于获取文件系统metadata信息。

    HDFS

    journalnode

    8485

    dfs.journalnode.rpc-address

    RPC服务

    HDFS

    journalnode

    8480

    dfs.journalnode.http-address

    HTTP服务

    HDFS

    ZKFC

    8019

    dfs.ha.zkfc.port

    ZooKeeper FailoverController,用于NN HA

    YARN

    ResourceManager

    8032

    yarn.resourcemanager.address

    RM的applications manager(ASM)端口

    YARN

    ResourceManager

    8030

    yarn.resourcemanager.scheduler.address

    scheduler组件的IPC端口

    YARN

    ResourceManager

    8031

    yarn.resourcemanager.resource-tracker.address

    IPC

    YARN

    ResourceManager

    8033

    yarn.resourcemanager.admin.address

    IPC

    YARN

    ResourceManager

    8088

    yarn.resourcemanager.webapp.address

    http服务端口

    YARN

    NodeManager

    8040

    yarn.nodemanager.localizer.address

    localizer IPC

    YARN

    NodeManager

    8042

    yarn.nodemanager.webapp.address

    http服务端口

    YARN

    NodeManager

    8041

    yarn.nodemanager.address

    NM中container manager的端口

    YARN

    JobHistory Server

    10020

    mapreduce.jobhistory.address

    IPC

    YARN

    JobHistory Server

    19888

    mapreduce.jobhistory.webapp.address

    http服务端口

    HBase

    Master

    60000

    hbase.master.port

    IPC

    HBase

    Master

    60010

    hbase.master.info.port

    http服务端口

    HBase

    RegionServer

    60020

    hbase.regionserver.port

    IPC

    HBase

    RegionServer

    60030

    hbase.regionserver.info.port

    http服务端口

    HBase

    HQuorumPeer

    2181

    hbase.zookeeper.property.clientPort

    HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。

    HBase

    HQuorumPeer

    2888

    hbase.zookeeper.peerport

    HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。

    HBase

    HQuorumPeer

    3888

    hbase.zookeeper.leaderport

    HBase-managed ZK mode,使用独立的ZooKeeper集群则不会启用该端口。

    Hive

    Metastore

    9083

    /etc/default/hive-metastore中export PORT=<port>来更新默认端口

     

    Hive

    HiveServer

    10000

    /etc/hive/conf/hive-env.sh中export HIVE_SERVER2_THRIFT_PORT=<port>来更新默认端口

     

    ZooKeeper

    Server

    2181

    /etc/zookeeper/conf/zoo.cfg中clientPort=<port>

    对客户端提供服务的端口

    ZooKeeper

    Server

    2888

    /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分

    follower用来连接到leader,只在leader上监听该端口。

    ZooKeeper

    Server

    3888

    /etc/zookeeper/conf/zoo.cfg中server.x=[hostname]:nnnnn[:nnnnn],标蓝部分

    用于leader选举的。只在electionAlg是1,2或3(默认)时需要

     
  • 相关阅读:
    python——math模块实现向上、向下取整
    Python 实现定时任务
    Python 删除某一目录下的所有文件或文件夹
    linux -bash: netstat: command not found及下载报错解决方法
    CentOS password无法输入问题
    差分信号(Differential Signal)
    成功做事的要点
    记我参加过的竞赛——“飞思卡尔杯”全国大学生智能汽车竞赛
    C ~ 一个串口接收思路
    C ~ char int 等数据转换问题
  • 原文地址:https://www.cnblogs.com/irobotzz/p/12639146.html
Copyright © 2011-2022 走看看