前一段时间频繁使用HDFS,又收集到了一些命令,在这儿分享出来,大数据的框架及设计原理方面的理论文章暂时还没有时间总结,后面有时间逐渐整理发出来。
注:在使用命令时,可以使用 hadoop fs,如果配置了环境变量,可以使用 hdfs dfs 和 hadoop fs 这个两个命令。
#export HADOOP_USER_NAME=hdfs --设置hadoop_user_name
#hdfs dfs -help --查看hdfs帮助
#hdfs dfs -ls / #hadoop fs -ls / --查看根目录文件
#hdfs dfs -put sourcepath savepath --hdfs上传文件,-f 覆盖已有文件;-p 保留原文件属性
#hdfs dfs -get sourcepath savepath --hdfs下载文件
#hdfs dfs -mkdir -p /output/dirname --创建文件夹dirname
#hdfs dfs -mkdir -p /output/dirname --创建多级目录
#hdfs dfs -touchz /input/filename --创建文件filename
#hdfs dfs -cat /input/filename --查看文件filename
#hdfs dfs -du -s /input/ --查看所有文件大小和字节大小
#hdfs dfs -cp /sourcefile /targetfile --复制文件
#hdfs dfs -rm /directory/ --删除文件
#hdfs dfs -rm -R /directory/ --删除文件夹,-R循环删除文件夹里面的文件
#hdfs dfs -mv /user/root/.Trash/Current/test/filename /test/filename --找回删除文件
#运行MapReduce: hadoop jar jarpath inputfilepath outputdir
#hadoop jar /opt/test.jar /input/test/test.txt /output/test/
#yarn jar /opt/test.jar /input/test/test.txt /output/test/
#hdfs dfs -getmerge sourcepaths savefilename --合并文件
#hdfs dfsadmin -report --查看HDFS的基本统计信息
#hdfs dfs -text /input/log.txt --将给定的文件以文本的格式输出,zip、TextRecordInputStream、Avro
#hdfs dfs -appendToFile /sourcefile /targetfile --向目标文件中追加内容
#hdfs dfs -count /input/test/ --统计文件夹和文件个数
#hdfs fsck /data/test.csv -files -racks -locations -blocks --查看文件分区存储情况
#tail -f filename.log --动态查看log日志
1.Permission denied: user=root, access=WRITE, inode="/input":hdfs:supergroup:drwxr-xr-x 原因是为配置hadoop的user环境变量
#export HADOOP_USER_NAME=hdfs --设置hadoop_user_name