HDFS集群格式化踩过的坑

　　在Hadoop集群使用初期，我所遇到的问题如下：

1. 需要不定时的改动配置文件

2. 不止一次的格式化集群

3. 恢复之后datanode失效了

4. 时间超过了7天，日志消失，又导致集群崩坏

解决思路：

　　1. 首先格式化集群之前要确保集群的进程停掉

　　2. 删除每个节点hadoop下的 data 和 logs文件夹（每个节点都要删除）

　　3. 格式化之后datanode失效的原因是Version中的内容与之前的不对应，暴力解决方法，删除原来的文件夹

　　4. 文件夹位置在hdfs-site.xml文件的，记住删除，格式化后重新启动集群，他会自动生成

　<property>
        <name>dfs.datanode.data.dir</name>
　　　　  #删除这些文件夹，格式化后让他重新生成
　　　　 <value>file:///hd1/dfs/data1,file:///hd2/dfs/data2,file:///hd3/dfs/data3</value>  
　　</property>

　　　5. 七天删除日志文件设置：yarn-site.xml 中设置不让删除

<!-- 日志保留时间-1不删除 -->
    <property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>-1</value>
    </property>