hadoop基础配置

1.配置历史服务器

在运行ResourceManager服务的服务器下进行如下配置，修改mapred-site.xml文件，添加如下内容

        <property>
                <name>mapreduce.jobhistory.address</name>
                <value>hadoop-101:10020</value>
        </property>
        
        <property>
                <name>mapreduce.jobhistory.webapp.address</name>
                <value>hadoop-101:19888</value>
        </property>

2.启用日志聚集功能

在hadoop的每台服务器上，做如下配置，修改yarn-site.xml

        <!-- 日志聚集功能使能 -->
        <property>
                <name>yarn.log-aggregation-enable</name>
                <value>true</value>
        </property>

        <!-- 日志保留时间设置7天 -->
        <property>
                <name>yarn.log-aggregation.retain-seconds</name>
                <value>604800</value>
        </property>