HDFS常用的命令

一、HDFS基本的命令

dfs -ls 列出hdfs下的文件

dfs -ls in 列出hdfs下的名为in的文件夹中的文件

dfs -put  test1 test 将test1文件上传到HDFS上并重命名为test

dfs -get in getin 将hdfs中的文件in复制到本地系统并命名为getin

dfs -rmr out 删除hdfs下名为out的文档

dfs -cat in/* 查看hdfs下in文件的内容

dfs -mkdir /user/hadoop/examples 建立目录

dfs -copyFromLocal 源路径 路径 复制文件

dfs -getmerge 位于hdfs下的源文件（里面有多个文件） 合并后的文件名（合并后的文件在本地）

二、管理和更新

（1）执行基本信息

查看hdfs的基本统计信息

dfsadmin -report

（2）退出安全模式

NameNode在启动的时候会自动进入安全模式。安全模式是NameNode的一种状态，在这个阶段，文件系统不允许有任何的改变。

系统显示Name node in safe mode，说明系统正处于安全模式，这时候只需要等待十几秒即可，也可以通过下面的命令退出安全模式：

dfsadmin -safemode leave

（3）进入安全模式

在必要的情况下，可以通过以下的命令把hdfs置于安全模式

dfsadmin -safemode enter

（4）节点添加

添加一个新的DataNode节点，先在新加节点上安装好Hadoop，要和NameNode使用相同的配置（可以直接从NameNode复制），修改$HADOOP_HOME/conf/master文件，加入NameNode主机名。然后在NameNode节点上修改$HADOOP_HOME/conf/slaves文件，加入新节点后，再建立新加节点无密码的SSH连接，最后运行启动命令：

start-all.sh

（5）负载均衡

hdfs的数据在各个DataNode中的分布很可能不均匀，尤其在DataNode节点上出现故障或新增DataNode节点时。新增数据块NameNode对DataNode节点的选择策略也有可能导致数据块的分布不均匀。用户可以使用命令重新平衡DataNode上的数据分布：

start-balancer.sh