zoukankan      html  css  js  c++  java
  • Mapreduce打印调试输出

    Mapreduce打印调试内容:

    一、启动JobHistoryServer

    mr-jobhistory-daemon.sh start historyserver  
    [hadoop@node11 sbin]$ jps
    3165 NodeManager
    2580 NameNode
    2440 QuorumPeerMain
    3208 Master
    2682 DataNode
    3548 HMaster
    3045 ResourceManager
    2962 DFSZKFailoverController
    8038 JobHistoryServer

    通过jps查看JobHistoryServer进程存在,启动成功。

    在8088端口,查看作业,点击History:

    点击logs:

    提示:

    接下来修改配置

    二、修改yarn配置文件 yarn-site.xml

    <property>  
      <name>yarn.log-aggregation-enable</name>  
      <value>true</value>   
    </property>  

    重启hadoop

    提示不可用,稍后再试。

    之后又报了一个:Failed while trying to construct the redirect url to the log server. Log Server url may not be configured错误。

    配置log server url 在yarn-site.xml

    设置访问jobhistroy的url

    <property>
    <name>yarn.log.server.url</name>
    <value>http://node11:19888/jobhistory/logs/</value>
    </property>

    在程序中打印日志,可以通过history查询。

     注意:

    由于集群job会分配到不同的节点上运行,点击history的时候,默认会跳到相应节点的地址

    如上图,我点击history,就跳转到 http://node13:19888/jobhistory/job/job_1506003477416_0002

    需要手动修改主机的名字http://node11:19888/jobhistory/job/job_1506003477416_0002进行查看

    红色部分为log4j的日志;

    蓝色部分为System.out.println的信息。

  • 相关阅读:
    fork 函数 和vfork 函数的区别
    进程时间
    输出子进程状态
    二维字符串数组字典排序
    括号匹配
    队列实现二叉树层序遍历
    二叉查找树
    分块查找
    JS中的className含义
    Java打印温度转换表
  • 原文地址:https://www.cnblogs.com/one--way/p/7572098.html
Copyright © 2011-2022 走看看