zoukankan      html  css  js  c++  java
  • mr的logs的查看

    在map或者reduce函数中使用System.out.println打印的信息沾满查看呢?

    步骤1:启动history server

    /usr/local/hadoop-2.6.0/sbin/mr-jobhistory-daemon.sh start historyserver

    步骤2:使用http://hadoop26:19888/jobhistory来查看作业log

    意外情况:

    如果在查看日志的时候,发生了下面的情况

    在yarn-default.xml中有这样的一个配置

    <property>
    <description>Whether to enable log aggregation. Log aggregation collects
    each container's logs and moves these logs onto a file-system, for e.g.
    HDFS, after the application completes. Users can configure the
    "yarn.nodemanager.remote-app-log-dir" and
    "yarn.nodemanager.remote-app-log-dir-suffix" properties to determine
    where these logs are moved to. Users can access the logs via the
    Application Timeline Server.
    </description>
    <name>yarn.log-aggregation-enable</name>
    <value>false</value>
    </property>

     我们需要把这个值改为true,也就是在yarn-site.xml中再配置一遍

    配置完成后重启historyserver即可。

    现在来看看logs的输出吧:

  • 相关阅读:
    HDU 4870 Rating(高斯消元 )
    iOS开发者账号详细介绍
    iOS之Block
    CocoaPods 安装和使用
    搭建自己的局域网服务器
    MarkDown语法收集
    正则表达式参考表
    iOS企业级应用打包与部署
    iOS开发之代码加载方式进入APP的界面
    shell脚本小Demo
  • 原文地址:https://www.cnblogs.com/dongdone/p/5687626.html
Copyright © 2011-2022 走看看