zoukankan      html  css  js  c++  java
  • 配置HDFS HttpFS和WebHDFS

    HDFS支持两种RESTful接口:WebHDFS和HttpFS。
    WebHDFS默认端口号为50070,HttpFS默认端口号为14000。
    默认启动WebHDFS而不会启动HttpFS,而HttpFS需要通过sbin/httpfs.sh来启动。
    WebHDFS模式客户端和DataNode直接交互,HttpFS是一个代理模式。对于Hue,如果HDFS是HA方式部署的,则只能使用HttpFS模式。
    HttpFS是独立的模块,有自己的配置文件httpfs-site.xml、环境配置文件httpfs-env.sh和日志配置文件httpfs-log4j.properties,需独立启动。
    而WebHDFS是HDFS内置模块,无自己的配置文件、环境配置文件和日志配置文件,随HDFS而启动。


    WebHDFS配置,在core-site.xml中加入以下内容:
    <property>
        <name>hadoop.proxyuser.$username.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.$groupname.groups</name>
        <value>*</value>
    </property>
    “$username”的值为启动HDFS的用户名,“$groupname”为启动HDFS的用户组名。


    HttpFS配置,在core-site.xml中加入以下内容:
    <property>
        <name>hadoop.proxyuser.httpfs.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.httpfs.groups</name>
        <value>*</value>
    </property>


    对于HttpFS,还需要在httpfs-site.xml中加入以下内容:
    <property>
        <name>httpfs.proxyuser.$username.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>httpfs.proxyuser.$groupname.groups</name>
        <value>*</value>
    </property>
    “$username”的值为启动HttpFS的用户名,“$groupname”为启动HttpFS的用户组名。


    环境配置文件httpfs-env.sh可以不用修改,直接使用默认的值,当使用sbin/httpfs.sh来启动HttpFS时会屏幕输出HTTPFS_HOME等值。
  • 相关阅读:
    Leetcode Reverse Words in a String
    topcoder SRM 619 DIV2 GoodCompanyDivTwo
    topcoder SRM 618 DIV2 MovingRooksDiv2
    topcoder SRM 618 DIV2 WritingWords
    topcoder SRM 618 DIV2 LongWordsDiv2
    Zepto Code Rush 2014 A. Feed with Candy
    Zepto Code Rush 2014 B
    Codeforces Round #245 (Div. 2) B
    Codeforces Round #245 (Div. 2) A
    Codeforces Round #247 (Div. 2) B
  • 原文地址:https://www.cnblogs.com/aquester/p/9891518.html
Copyright © 2011-2022 走看看