一、概述
公司使用是自己搭建的hadoop集群，版本2.7.3，最近发现出现了hdfs数据存储不均衡的现象，其中有一个datanode使用了65%，而有一个只使用了20%。hadoop集群使用的时间长了会出现这种数据不均衡的问题，当然hadoop提供了解决方案，就是使用balancer，默认进行的是datanode级别的数据均衡，但是2.X版本还不支持datanode内的磁盘之间数据均衡，hadoop在3.0以后的版本里面提供了相关的支持,参考https://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HDFSDiskbalancer.html
二、问题解决
1、datanode之间出现了数据不平衡的现象
可以执行hadoop提供的balancer，来进行datanode之间数据balance，默认hdfs的balance带宽是1M/s，这个可以通过参数来进行调整dfs.datanode.balance.bandwidthPerSec, dfs.balance.bandwidthPerSec
HDFS平衡器检测集群中使用过度或者使用不足的DataNode，并在这些DataNode之间移动数据块来保证负载均衡。如果不对平衡操作进行带宽限制，那么它会很快就会抢占所有的网络资源，不会为Mapreduce作业或者数据输入预留资源。参数dfs.balance.bandwidthPerSec定义了每个DataNode平衡操作所允许的最大使用带宽，这个值的单位是byte，这是很不直观的，因为网络带宽一般都是用bit来描述的。因此，在设置的时候，要先计算好。DataNode使用这个参数来控制网络带宽的使用，但不幸的是，这个参数在守护进程启动的时候就读入，导致管理员没办法在平衡运行时来修改这个值，如果需要调整就要重启集群
# hdfs balancer --help Usage: hdfs balancer [-policy <policy>] the balancing policy: datanode or blockpool [-threshold <threshold>] Percentage of disk capacity [-exclude [-f <hosts-file> | <comma-separated list of hosts>]] Excludes the specified datanodes. [-include [-f <hosts-file> | <comma-separated list of hosts>]] Includes only the specified datanodes. [-idleiterations <idleiterations>] Number of consecutive idle iterations (-1 for Infinite) before exit. Generic options supported are -conf <configuration file> specify an application configuration file -D <property=value> use value for given property -fs <local|namenode:port> specify a namenode -jt <local|resourcemanager:port> specify a ResourceManager -files <comma separated list of files> specify comma separated files to be copied to the map reduce cluster -libjars <comma separated list of jars> specify comma separated jar files to include in the classpath. -archives <comma separated list of archives> specify comma separated archives to be unarchived on the compute machines. The general command line syntax is bin/hadoop command [genericOptions] [commandOptions]
#设置带宽，默认是1048576(1M/s），默认单位是字节 hdfs dfsadmin -setBalanacerBandwidth 1048576 #允许的disk 数据差距，是一个百分数，例如我写的是5，也就是容忍datanode数据的差距是5% hdfs balancer -threshold 5 #选择需要进行数据balance的datanode hdfs balancer -include spark-worker1,sparkworker2
2、datanode内磁盘之间的数据不均衡
datanode内的磁盘是指在一个datanode上挂载多个磁盘，在hdfs-site.xml文件里面配置多个目录：
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/data/hadoop-2.7.3/hdfs/data,/data1/hdfs1</value>
</property>
datanode内部多个磁盘的数据分布不均衡，是指某个磁盘的使用是80%，而另外一块磁盘只使用了30%，这种情况下balancer就不能处理数据平衡了。可以使用diskbalancer来平衡磁盘之间的数据。
intra-datanode就是用来处理这累问题的，但是在hadoop3.0才开始支持，所以需要升级hadoop的版本，一般现有集群升级可能会造成一些麻烦，淡然如果能升级的话建议直接升级，因为新版本的hadoop性能有很大的提升，并且与2.x版本有很多的差异。当然不升级也有方法解决，dfs.datanode.data.dir的多个目录之间是采用的轮训的方法写入的，可以在使用率低的磁盘上创建多个同级的目录，增加数据写入的概率
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/data/hdfs/data,/data1/hdfs1,/data1/hdfs2</value>
</property>
升级到3.0后，可以直接就会在hdfs的命令参数里面找到diskbalancer
diskbalancer有三个阶段：discover、plan、execute
Discover阶段：
计算各个DataNode磁盘使用情况，然后得到一个需要进行数据平衡的磁盘列表，会使用VolumeData Density(磁盘使用密度)作为评判标准，这个标准会以节点总使用率作为比较值。比如，如果一个DataNode ，总使用率是75%,也就是0.75. 其中A盘0.5，那么A盘的密度值就=0.75-0.5=0.25；同理如果超出的话，则密度值将会为负数。于是我们可以用VolumeData Density绝对值来判断此节点内磁盘间数据平衡情况，如果总的觉得值和越大，说明数据越不平衡
Plan阶段：
拿到上一阶段的汇报结果数据之后,将会进行执行计划的生成.Plan并不是一个最小的执行单元,它的内部由各个Step组成.Step中会指定好源,目标磁盘.这里的磁盘对象是一层经过包装的对象:DiskBalancerVolume,并不是原来的FsVolume.这里顺便提一下DiskBalancer中对磁盘节点等概念的转化:
》DiskBalancerCluster.通过此对象可以,读取到集群中的节点信息,这里的节点信息以DiskBalancerDataNode的方式所呈现.
》DiskBalancerDataNode.此对象代表的是一个包装好后的DataNode.
》DiskBalancerVolume和DiskBalancerVolumeSet.DataNode磁盘对象以及磁盘对象集合.DiskBalancerVolumeSet内的磁盘存储目录类型需要是同种StorageType.
Execute阶段：
所有执行计划生成以后，就到了执行阶段。这些计划会被提交到各自DataNode上，然后在DiskBalancer类中执行。然后DiskBalancer有专门的类DiskBalancerMover来做数据平衡工作。在磁盘间数据平衡的过程中,高使用率的磁盘会移动数据块到相对低使用率的磁盘,等到满足一定阈值关系的情况下时,DiskBalancer会渐渐地退出.在DiskBalancer的执行阶段,有以下几点需要注意:
》带宽限制：DiskBalancer也可以支持带宽限制。默认是10M，可以通
》过配置项dfs.disk.balancer.max.disk.throughputInMBperSec进行控制
》失败次数限制：DiskBalancer中会存在失败次数的控制.在拷贝block数据块的时候,出现IOException异常,会进行失败次数的累加计数,如果超出最大容忍值,DiskBalancer也会退出.
》数据平衡阀值控制：DiskBalancer中可以提供一个磁盘间数据的平衡阈值,以此作为是否需要继续平衡数据的标准,配置项为dfs.disk.balancer.block.tolerance.percent.
diskbalancer执行命令：
hdfs diskbalancer -query nodename.test.com 生成plan hdfs diskbalancer -uri hdfs://.com -plan node1.test.com 执行execute hdfs diskbalancer -execute /system/diskbalancer/nodename.plan.json 终止或取消execute hdfs diskbalancer -cancel /system/diskbalancer/nodename.plan.json 具体参考https://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HDFSDiskbalancer.html