zoukankan      html  css  js  c++  java
  • httpFS访问

    编辑文件httpfs-env.sh
    执行sbin/httpfs.sh
    执行命令curl -i "http://192.168.1.213:14000/webhdfs/v1?user.name=root&op=LISTSTATUS"
    
    更多命令参考http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/WebHDFS.html
    

      

    编辑文件httpfs-env.sh
    编辑文件core-site.xml
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
    编辑文件hdfs-site.xml
    <property>
              <name>dfs.webhdfs.enabled</name>
               <value>true</value>
    </property>
    重新启动namenode,执行sbin/httpfs.sh start
    执行命令curl -i "http://192.168.1.213:14000/webhdfs/v1?user.name=root&op=LISTSTATUS"
    
    更多命令参考http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist/hadoop-hdfs/WebHDFS.html
    

      

    namenode:
    是整个文件系统的管理节点。它维护着整个文件系统的文件目录树,文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。 (见源码) 文件包括: fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。 edits:操作日志文件。 fstime:保存最近一次checkpoint的时间 以上这些文件是保存在linux的文件系统中。

    查看namenode的内容:

    启动服务器bin/hdfs oiv -i 某个fsimage文件
    查看内容bin/hdfs dfs -ls  -R webhdfs://127.0.0.1:5978/
    导出结果bin/hdfs oiv -p XML -i  tmp/dfs/name/current/fsimage_0000000000000000055  -o fsimage.xml
    查看edtis内容bin/hdfs oev -i tmp/dfs/name/current/edits_0000000000000000057-0000000000000000186   -o edits.xml

     

  • 相关阅读:
    Centos 7.9 部署可道云
    shell简单检查URL
    TIME_WAIT和CLOSE_WAIT状态过多的分析与解决
    win10 关闭自动更新
    Python3 按backspace问题 ^H
    CentOS7设置笔记本合盖不休眠
    centos7 /boot/分区处理
    if __name__ == '__main__'
    在Linux中了解TCP包装器(/etc/hosts.allow&/etc/hosts.deny)
    华为路由器端口映射
  • 原文地址:https://www.cnblogs.com/huxinga/p/6854276.html
Copyright © 2011-2022 走看看