zoukankan      html  css  js  c++  java
  • hadoop启动jobhistoryserver

      hadoop启动jobhistoryserver来实现web查看作业的历史运行情况,由于在启动hdfs和Yarn进程之后,jobhistoryserver进程并没有启动,需要手动启动,启动的方法是通过:

    mr-jobhistory-daemon.sh start historyserver 命令还启动。

      由于前面有过一篇通过web查看job的运行情况的文章(文章的出处:http://www.cnblogs.com/ljy2013/p/4485949.html),文中介绍的是当作业在运行时,如何通过web查看job的运行情况,当job运行完之后,就无法查看,这是由于集群的historyserver 进程没有启动。因此需要手动启动。

      我在启动的时候出现错误:

      mnvaild maxumum heap size :-Xmx1000

      ERROR:could not create the java Virtual Machine   如下图所示:

      

      通过查看执行的脚本mr-jobhistory-daemon.sh的内容,发现脚本文件中的内容并未涉及到maxumum heap size的问题,于是可能是脚本文件中调用的其他文件所导致的,如下图所示:

      

    由于mapred-config.sh 脚本文件并未发现,因此只有mapred-env.sh 脚本文件中出现的问题。于是查看mapred-env.sh 脚本文件,如下图所示:

    该文该中队jobhistoryserver的堆栈大小进行了设置,

     HADOOP_JOB_HISTORYSERVER_HEAPSIZE的值默认单位是M,因此在设置的时候不需要添加任何的单位,默认设置的值是1000,于是我将该值设置为100。再执行
          mr-jobhistory-daemon.sh start historyserver
    此时,执行historyserver启动成功,这时候就可以点击web页面上的job最右边的history的选项,进入作业历史运行界面,查看历史运行信息,包括:运行了多少个map,多少个reduce,多少个counters等等。
    意义:设置查看历史作业信息的目的是在执行完之后可以查看运行的情况,从而了解程序的执行能在自己的预料之中进行运行。否则就可以很快的定位问题的所在。
  • 相关阅读:
    《SPFA算法的优化及应用》——姜碧野(学习笔记)
    hdu 4691 Front compression
    hdu 4690 EBCDIC
    UVA 11478 Halum(用bellman-ford解差分约束)
    UVA 11090 Going in Cycle!!(二分答案+判负环)
    UVA 10537 The Toll! Revisited uva1027 Toll(最短路+数学坑)
    hdu 4674 Trip Advisor(缩点+倍增lca)
    canny算子原理
    二值图像连通区域标记
    C++全局变量的声明和定义
  • 原文地址:https://www.cnblogs.com/ljy2013/p/4501162.html
Copyright © 2011-2022 走看看