之前一直没做过rebalance,以为速度很快,结果大意了,等到磁盘达到90%的时候,才开始做rebalance。
默认的从日志中可以看到总共需要迁移1.89T,但是每次只移动40G大小的量。
然后查看40G的数据量从15:45分到15:48分,所以结算结果为每分钟13G,每秒228M左右。(感觉这计算结果有问题)
hadoop有个balancerBandwidth可以通过设置带宽流量来增加数据移动的大小。
所以通过以下设置来增加每秒流量为500M.
hadoop dfsadmin -setBalancerBandwidth 524288000
start-balancer.sh -threshold 5