hadoop学习2----HDFS操作

运行结果附图

课程内容为HDFS的基本操作和HUE页面的使用主要是HDFS的基本命令。

对于文件的操作，命令与linux的类似，但是要在前面加上hadoop fs

其基本的格式为 hadoop fs <agrs>

1. 查看文件 hadoop fs -ls

   

   可以看到data文件夹下只有一个文件夹test

2. 建立路径 hadoop fs -mkdir

   现在再在data下建立一个文件夹 test1

   需要先解除安全模式，再建立文件夹

   

   继续在test1下建立文件夹 test11

   

3. 删除文件夹 hadoop fs -rm -r

   -r参数代表将此文件夹连同此文件夹下的所有文件删除

   

4. 将本地文件放到HDFS上 hadoop fs -put [dir1][dir2]

   参数dir1代表本地路径，dir2代表HDFS路径

   本地的home下的两个文件 text1 和 wordcount 放到HDFS中的/data/test中

   

5. 将HDFS上的文件下载到本地 hadoop fs -get [dir1][dir2]

   参数dir1代表HDFS路径，dir2代表本地路径

   

6. 查看文件 hadoop fs -cat

   text1和wordcount的内容

   

7. 合并HDFS中的文件并下载到本地 hadoop fs -getmerge [dir] [file]

   参数dir代表HDFS存储要合并的文件所在的路径，file代表将合并结果存储的本地文件名

   text1和wordcount合并后的内容

   

8. 使用HUE，service hue start

   端口为8888，用户名密码都是hdfs

   

9. 打开FileBrowser 界面 上面基本的对文件夹的操作都有按钮选项，如新建文件，文件夹，删除文件

   进入刚刚操作的目录 /data/test下

   

10. 点击文件wordcount 在左边栏有对该文件的基本操作选项

    

问题、心得与体会记录

HDFS的命令操作较为简单基本，多加练习即可熟练操作，HUE的界面功能丰富，在web页面上直接操作更加直观。