zoukankan      html  css  js  c++  java
  • 配置HDFS HttpFS和WebHDFS

    HDFS支持两种RESTful接口:WebHDFS和HttpFS。
    WebHDFS默认端口号为50070,HttpFS默认端口号为14000。
    默认启动WebHDFS而不会启动HttpFS,而HttpFS需要通过sbin/httpfs.sh来启动。
    WebHDFS模式客户端和DataNode直接交互,HttpFS是一个代理模式。对于Hue,如果HDFS是HA方式部署的,则只能使用HttpFS模式。
    HttpFS是独立的模块,有自己的配置文件httpfs-site.xml、环境配置文件httpfs-env.sh和日志配置文件httpfs-log4j.properties,需独立启动。
    而WebHDFS是HDFS内置模块,无自己的配置文件、环境配置文件和日志配置文件,随HDFS而启动。


    WebHDFS配置,在core-site.xml中加入以下内容:
    <property>
        <name>hadoop.proxyuser.$username.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.$groupname.groups</name>
        <value>*</value>
    </property>
    “$username”的值为启动HDFS的用户名,“$groupname”为启动HDFS的用户组名。


    HttpFS配置,在core-site.xml中加入以下内容:
    <property>
        <name>hadoop.proxyuser.httpfs.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.httpfs.groups</name>
        <value>*</value>
    </property>


    对于HttpFS,还需要在httpfs-site.xml中加入以下内容:
    <property>
        <name>httpfs.proxyuser.$username.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>httpfs.proxyuser.$groupname.groups</name>
        <value>*</value>
    </property>
    “$username”的值为启动HttpFS的用户名,“$groupname”为启动HttpFS的用户组名。


    环境配置文件httpfs-env.sh可以不用修改,直接使用默认的值,当使用sbin/httpfs.sh来启动HttpFS时会屏幕输出HTTPFS_HOME等值。
  • 相关阅读:
    左侧列固定的表格
    百度地图上添加多个标记,标记上添加信息展示窗口、跳转到导航界面
    vue-cli4版本解决eslint问题
    使用脚手架搭建项目
    正则表达式学习
    函数参数:
    装饰器(重点)
    列表生成式、生成器、迭代器
    logging 日志模块
    json 、 pickle 、shelve序列化
  • 原文地址:https://www.cnblogs.com/aquester/p/9891518.html
Copyright © 2011-2022 走看看