hadoop修改MR的提交的代码程序的副本数
Under-Replicated Blocks的数量很多,有7万多个。hadoop fsck -blocks 检查发现有很多replica missing。而且这些丢失的replica对应的文件都是mr的程序文件。
原因：MR,hive 的程序代码上传到hdfs上，默认的副本数是10份，但集群只有4台，造成大量的 Under-Replicated Blocks 和 missing replicas.
1. 修改MR的提交的代码程序的副本数。
**vi mapred-site.xml **
<property>
<name>mapreduce.client.submit.file.replication</name>
<value>2</value>
</property>
mapreduce.client.submit.file.replication的值在集群节点数的平方根左右。
vi yarn-site.xml (apache hadoop 2.7.2 有该参数；cdh没有改参数)
yarn.sharedcache.nm.uploader.replication.factor