zoukankan      html  css  js  c++  java
  • hdfs基本操作

    hdfs基本操作

    1、查询命令

      hadoop dfs -ls /   查询/目录下的所有文件和文件夹

      hadoop dfs -ls -R 以递归的方式查询/目录下的所有文件

    2、创建文件夹

      hadoop dfs -mkdir /test    创建test文件夹

    3、创建新的空文件

      hadoop dfs -touchz /aa.txt   在/目录下创建一个空文件aa.txt

    4、增加文件

      hadoop dfs -put aa.txt /test  将当前目录下的aa.txt文件复制到/test目录下(把-put换成-copyFromLocal效果一样-moveFromLocal会移除本地文件)

    5、查看文件内容

      hadoop dfs -cat /test/aa.txt     查看/test目录下文件aa.txt的内容(将-cat 换成-text效果一样)

    6、复制文件 

      hadoop dfs -copyToLocal /test/aa.txt .       将/test/aa.txt文件复制到当前目录(.是指当前目录,也可指定其他的目录)

    7、删除文件或文件夹

      hadoop dfs -rm -r /test/aa.txt   删除/test/aa.txt文件(/test/aa.txt可以替换成文件夹就是删除文件夹)

    8、重命名文件

      hadoop dfs -mv /aa.txt /bb.txt   将/aa.txt文件重命名为/bb.txt

    9、将源目录中的所有文件排序合并到一个本地文件

      hadoop dfs -getmerge /   local-file  将/目录下的所有文件合并到本地文件local-file中

    hdfsWeb查看文件

    1、通过命令行:

      hadoop dfs -ls /mydir/testdir

    2、通过web界面

      1)、概述:

        在本地的浏览器输入namenode节点服务器的ip或域名+端口(例如:我namenode几点机器ip是10.9.1.101:9870),就可以看到hdfs集群的概述:

      2)、查看文件:

        点击导航栏的Utilities按钮,选择查看文件或者日志,选择查看文件之后,然后再输入栏输入文件的路径就可以查看文件了。

      3)、查看数据节点信息:

        点击导航栏的Datanodes按钮,然后出现以下页面:

        此时假如点击查看具体的数据节点的时候会报错,因为你windows操作系统不能识别node101~node103,此时需要配置下widows的hosts文件,配置完了就好了。

        hdfs的web操作就说这么多了,剩下的大家有兴趣可以去慢慢的看了

    注:hadoop 为用户名如果你的名字不是这个就相应的修改下(如:hadoop dfs -cat /test/aa.txt  ---->  myname dfs -cat /test/aa.txt  )。

  • 相关阅读:
    java连接远程linux的redis
    Mac下Sublime Text 3安装配置
    矩阵覆盖
    Mac下配置Tomcat
    用 O(1) 时间检测整数 n 是否是 2 的幂次。
    快速编程之禅
    如何在centos 7.4 上安装 python 3.6
    大众点评实时监控系统CAT的那些坑
    如何在 centos 7.3 上安装 caffe 深度学习工具
    为什么中文编程项目失败率特别高?
  • 原文地址:https://www.cnblogs.com/51python/p/10462660.html
Copyright © 2011-2022 走看看