MapReduce历史服务器

作用

保存执行job任务节点的执行日志

将多个节点执行map任务的日志和最终reduce日志聚合在一起

在mapred-site.xml中添加配置

<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hostname:10020</value>
 </property>
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hostname:19888</value>
 </property>

在yarn-site.xml中添加配置

<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
 </property>
<property>
    <name>yarn.log-aggregation.retain-seconds</name> #日志保存时间
    <value>604800</value> #默认7天
 </property>

 启动历史服务器

mr-jobhistory-daemon.sh start historyserver

必须在yarn集群启动之前启动历史服务器才能够记录日志。