zoukankan      html  css  js  c++  java
  • hadoop 中ALL Applications 中Tracking 下History查找不到MapReduce Job 日志

    运行一个Map Reduce job 想查看日志:

    点击History ,找不到网页

    解决办法如下:

    1.其中有一个进程是需要启动的:

    Hadoop自带了一个历史服务器,可以通过历史服务器查看已经运行完的Mapreduce作业记录,比如用了多少个Map、用了多少个Reduce、作业提交时间、作业启动时间、作业完成时间等信息。默认情况下,Hadoop历史服务器是没有启动的,我们可以通过下面的命令来启动Hadoop历史服务器

    mr-jobhistory-daemon.sh start historyserver

    主要是向用户提供历史的mapred Job 查询

    2.需要修改配置文件 mapred-site.xml    yarn-site.xml

    往mapred-site.xml文件添加:

     <property>           
           <name>mapreduce.jobhistory.done-dir</name>    
           <value>/mr-history/done</value>        
           <description>MR JobHistory Server管理的日志的存放位置,默认:/mr-history/done</description>    
     </property>
    
    <property>         
           <name>mapreduce.jobhistory.intermediate-done-dir</name>     
           <value>/mr-history/mapred/tmp</value>             
           <description>MapReduce作业产生的日志存放位置,默认值:/mr-history/tmp</description>  
    </property>

    往yarn-site.xml文件中添加:

       <property>
         <name>yarn.log-aggregation-enable</name>
         <value>true</value>
       </property>

    3.配置window 本地的hosts

    C:WindowsSystem32driversetchosts

    127.0.0.1 localhost
    192.168.1.30 master
    192.168.1.40 saver1
    192.168.1.50 saver2

    4.重启集群,使生效

    然后再点击logs 可以看到:

  • 相关阅读:
    spring boot 若依系统整合Ueditor,部署时候上传图片错误解决
    JVM学习笔记之栈区
    据说这个是可以撸到2089年的idea2020.2
    小程序监听屏幕滑动事件
    小程序bindinput和bindblur赋值延迟问题解决
    小程序文件下载并保存文件名打开
    数据结构
    Spring JPA 自定义删改
    Spring JPA 查询创建
    Spring JPA 拓展
  • 原文地址:https://www.cnblogs.com/hello-wei/p/10524697.html
Copyright © 2011-2022 走看看