zoukankan      html  css  js  c++  java
  • spark 查看 job history 日志

    SPARK_HOME/conf 下:

    spark-defaults.conf 增加如下内容

    spark.eventLog.enabled true
    spark.eventLog.dir hdfs://master:8020/var/log/spark
    spark.eventLog.compress true

    spark-env.sh 增加如下内容

    export SPARK_HISTORY_OPTS=”-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=3 -Dspark.history.fs.logDirectory=hdfs:/master:8020/var/log/spark”

    启动start-history-server.sh

    SPARK_HOME/conf 下: 执行 ./start-history-server.sh

    spark job history web: master:18080

    这样在spark任务运行完成之后,就可以通过web页面查看日志了

    history server相关的配置参数描述

    1. spark.history.updateInterval
        默认值:10
        以秒为单位,更新日志相关信息的时间间隔

    2. spark.history.retainedApplications
        默认值:50
        在内存中保存Application历史记录的个数,如果超过这个值,旧的应用程序信息将被删除,当再次访问已被删除的应用信息时需要重新构建页面。

    3. spark.history.ui.port
        默认值:18080
        HistoryServer的web端口

    4. spark.history.kerberos.enabled
        默认值:false
        是否使用kerberos方式登录访问HistoryServer,对于持久层位于安全集群的HDFS上是有用的,如果设置为true,就要配置下面的两个属性

    5. spark.history.kerberos.principal
        默认值:用于HistoryServer的kerberos主体名称

    6. spark.history.kerberos.keytab
        用于HistoryServer的kerberos keytab文件位置

    7. spark.history.ui.acls.enable
        默认值:false
        授权用户查看应用程序信息的时候是否检查acl。如果启用,只有应用程序所有者和spark.ui.view.acls指定的用户可以查看应用程序信息;否则,不做任何检查

    8. spark.eventLog.enabled
        默认值:false
        是否记录Spark事件,用于应用程序在完成后重构webUI

    9. spark.eventLog.dir
        默认值:file:///tmp/spark-events
        保存日志相关信息的路径,可以是hdfs://开头的HDFS路径,也可以是file://开头的本地路径,都需要提前创建

    10. spark.eventLog.compress
        默认值:false
        是否压缩记录Spark事件,前提spark.eventLog.enabled为true,默认使用的是snappy

    以spark.history开头的需要配置在spark-env.sh中的SPARK_HISTORY_OPTS,以spark.eventLog开头的配置在spark-defaults.conf
    尊重原创,未经允许不得转载:http://blog.csdn.net/stark_summer/article/details/46459701

    版权声明:本文为博主原创文章,未经博主允许不得转载。

  • 相关阅读:
    如何使用RabbitMQ实现事件总线
    一起学Vue:UI框架(elementui)
    一起学Vue:访问API(axios)
    一起学Vue:CRUD(增删改查)
    一起学Vue:路由(vuerouter)
    如何使用IMemoryCache实现内存缓存
    手把手教你AspNetCore WebApi:Nginx(负载均衡)
    一起学Vue:状态管理(Vuex)
    自我介绍
    牛客练习赛74AB
  • 原文地址:https://www.cnblogs.com/stark-summer/p/4829776.html
Copyright © 2011-2022 走看看