zoukankan      html  css  js  c++  java
  • hadoop启动jobhistoryserver

      hadoop启动jobhistoryserver来实现web查看作业的历史运行情况,由于在启动hdfs和Yarn进程之后,jobhistoryserver进程并没有启动,需要手动启动,启动的方法是通过:

    mr-jobhistory-daemon.sh start historyserver 命令还启动。

      由于前面有过一篇通过web查看job的运行情况的文章(文章的出处:http://www.cnblogs.com/ljy2013/p/4485949.html),文中介绍的是当作业在运行时,如何通过web查看job的运行情况,当job运行完之后,就无法查看,这是由于集群的historyserver 进程没有启动。因此需要手动启动。

      我在启动的时候出现错误:

      mnvaild maxumum heap size :-Xmx1000

      ERROR:could not create the java Virtual Machine   如下图所示:

      

      通过查看执行的脚本mr-jobhistory-daemon.sh的内容,发现脚本文件中的内容并未涉及到maxumum heap size的问题,于是可能是脚本文件中调用的其他文件所导致的,如下图所示:

      

    由于mapred-config.sh 脚本文件并未发现,因此只有mapred-env.sh 脚本文件中出现的问题。于是查看mapred-env.sh 脚本文件,如下图所示:

    该文该中队jobhistoryserver的堆栈大小进行了设置,

     HADOOP_JOB_HISTORYSERVER_HEAPSIZE的值默认单位是M,因此在设置的时候不需要添加任何的单位,默认设置的值是1000,于是我将该值设置为100。再执行
          mr-jobhistory-daemon.sh start historyserver
    此时,执行historyserver启动成功,这时候就可以点击web页面上的job最右边的history的选项,进入作业历史运行界面,查看历史运行信息,包括:运行了多少个map,多少个reduce,多少个counters等等。
    意义:设置查看历史作业信息的目的是在执行完之后可以查看运行的情况,从而了解程序的执行能在自己的预料之中进行运行。否则就可以很快的定位问题的所在。
  • 相关阅读:
    存储过程之六—触发器
    存储过程之五—条件和异常处理
    存储过程之四—游标
    json的那些事
    聊聊js中的typeof
    JavaScript各种继承方式和优缺点
    两边宽度已知,如何让中间自适应
    html5笔记——<section> 标签
    vue实现仿淘宝结账页面
    vue2.0在table中实现全选和反选
  • 原文地址:https://www.cnblogs.com/ljy2013/p/4501162.html
Copyright © 2011-2022 走看看