zoukankan      html  css  js  c++  java
  • 018 spark on yarn (Job history)的配置,主要是yarn处跳转到历史聚合页面

    一:目标

    1.目标

      在yarn的8080页面可以跳转到spark的日志18080页面。

      因为在运行spark之后,看对应的job的日志,这样直接连接,更合理直接。

    2.总结

      在后面可以看到,其实不需要启动mr-history的。

      因为这个是手机mapreduce的日志的,同时,只要8088的页面,在这个页面点history朝着18080跳转即可。

    二:操作步骤

    1.先开启服务

      yarn,hdfs,spark

      

    2.运行程序

      

    3.在yarn上无法观察history

      

    4.因为没有开启服务 

      1. MR的job History服务启动(不需要启动)
        mr-jobhistory-daemon.sh start historyserver
        http://hadoop-senior01:19888/jobhistory
      2. Spark的Job History服务启动
        sbin/start-history-server.sh

    5.结果

      可以看18080端口。

      

      但是,在yarn上的history仍然不可以跳转到spark的日志页面。

    二:解决方法

    1.关闭所有的服务

      因为需要修改spark与hadoop的配置文件

      

    2.修改yarn-site.xml

      其中,enable已经在MR的yarn中被配置过。

      只要配置一下url。

      

    3.修改spark-defaults.conf

      eventLog.dir的作用的聚合作用。

      在spark-default-site.xml中的配置是展示的作用,展示的文件夹与端口号。

      

    4.重启服务

      启动yarn,然后spark的history。

      

     

    5.继续运行刚才的程序

      

    6.开始观看所有的效果(首先是18080端口)

      

    7.继续(yarn的8088端口的history点击)

      yarn的8088端口

      

      单击后跳到这个界面(18080端口)

      

      

  • 相关阅读:
    marginleft IE Firefox 浏览器下的不同
    提取HTML代码中文字的C#函数
    分享按钮汇总
    jquery UI集合
    向用户授予对象特权
    oracle中使用聚合函数
    创建对象类型
    jdk1.6.0_01配置系统环境变量
    修改表
    将一个实体映射到多张数据库表
  • 原文地址:https://www.cnblogs.com/juncaoit/p/6393998.html
Copyright © 2011-2022 走看看