zoukankan      html  css  js  c++  java
  • yarn配置日志聚合

    [原文地址]

    日志聚集是YARN提供的日志中央化管理功能,它能将运行完成的Container/任务日志上传到HDFS上,从而减轻NodeManager负载,且提供一个中央化存储和分析机制。默认情况下,Container/任务日志存在在各个NodeManager上,如果启用日志聚集功能需要额外的配置。

    这个日志存储的就是具体map和reduce的日志,包括框架的和应用程序里自己打印的。这个日志聚合是用来看日志的,而mapreduce job history server,则是用来看某个application的大致统计信息的,包括启停时间,map任务数,reduce任务数以及各种计数器的值等等。job history server是抽象概要性的统计信息,而聚合日志是该application所有任务节点的详细日志集合。


    查看日志的命令:$HADOOP_HOME/bin/yarn logs -applicationId <app Id>。app id在你命令行执行mapreduce任务的
    时候会出现的,比如会出现这么一行:

    15/03/16 20:14:27 INFO mapreduce.Job: The url to track the job: http://ylhadoop126:8088/proxy/application_1426507165782_0002/。
    或者去你配置的yarn.nodemanager.remote-app-log-dir所指定的hdfs路径找,具体路径格式为${yarn.nodemanager.remote-app-log-dir}/$user/logs/${app Id}/$nodelog

    要实现日志聚集,只需要在yarn-site.xml中配置如下几个参数:

    (1) yarn.log-aggregation-enable

    参数解释:是否启用日志聚集功能。

    默认值:false

    (2) yarn.log-aggregation.retain-seconds

    参数解释:在HDFS上聚集的日志最多保存多长时间。

    默认值:-1

    (3) yarn.log-aggregation.retain-check-interval-seconds

    参数解释:多长时间检查一次日志,并将满足条件的删除,如果是0或者负数,则为上一个值的1/10。

    默认值:-1

    (4) yarn.nodemanager.remote-app-log-dir

    参数解释:当应用程序运行结束后,日志被转移到的HDFS目录(启用日志聚集功能时有效)。

    默认值:/tmp/logs

     
     
  • 相关阅读:
    jquery.validate使用攻略 5
    jquery.validate使用攻略 4
    ccnet1.5集成tfs中文版的问题
    解决mysql连接异常—com.mysql.jdbc.CommunicationsException: Communications link failure due to underlying exception
    Myeclipse 6.5 增加对 JavaEE 6 的支持
    Python3.7环境配置
    myeclipse 8.6 software and workspace center is currently not available
    入坑cordova
    开启博客之路
    如何在高并发的分布式系统中产生UUID
  • 原文地址:https://www.cnblogs.com/suanec/p/7814596.html
Copyright © 2011-2022 走看看