zoukankan      html  css  js  c++  java
  • 开启spark日志聚集功能

    spark监控应用方式:

    1)在运行过程中可以通过web Ui:4040端口进行监控

    2)任务运行完成想要监控spark,需要启动日志聚集功能

    开启日志聚集功能方法:

    编辑conf/spark-env.sh文件,在其中加入如下部分:

    SPARK_HISTORY_OPTS=-Dspark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider

    SPARK_HISTORY_OPTS=-Dspark.history.fs.logDirectory=hdfs://db02:8020/user/hadoop/evtlogs

    编辑spark-default.conf配置文件,在其中加入如下部分:

    spark.eventLog.enabled           true

    spark.eventLog.dir               hdfs://db02:8020/user/hadoop/evtlogs

    spark.eventLog.compress          true

    启动spark历史服务器:

    sbin/start-history-server.sh

    至此,已经成功配置了spark的日志聚集功能,现在可以通过web UI访问以后运行的spark任务历史日志了。

    附件:

    目前spark-env.sh文件内容:

    JAVA_HOME=/opt/java/jdk1.7.0_67

    SCALA_HOME=/opt/scala-2.10.4

    HADOOP_CONF_DIR=/opt/cdh-5.3.6/hadoop-2.5.0/etc/hadoop

    SPARK_MASTER_IP=db02

    SPARK_MASTER_PORT=7077

    SPARK_MASTER_WEBUI_PORT=8080

    SPARK_WORKER_CORES=2

    SPARK_WORKER_MEMORY=5g

    SPARK_WORKER_PORT=7078

    SPARK_WORKER_WEBUI_PORT=8081

    SPARK_WORKER_INSTANCES=1

    SPARK_WORKER_DIR=/opt/cdh-5.3.6/spark-1.3.0/data/tmp

    SPARK_HISTORY_OPTS=-Dspark.history.provider=org.apache.spark.deploy.history.FsHistoryProvider

    SPARK_HISTORY_OPTS=-Dspark.history.fs.logDirectory=hdfs://db02:8020/user/hadoop/evtlogs

    目前spark-defaults.conf文件内容:

    spark.master                     spark://db02:7077

    spark.eventLog.enabled           true

    spark.eventLog.dir               hdfs://db02:8020/user/hadoop/evtlogs

    spark.eventLog.compress          true

  • 相关阅读:
    CentOS下通过yum安装svn及配置
    CentOS使用YUM安装php运行环境,包含php,php-fpm,nginx,mysql
    centos6.5直接yum安装nginx
    用Xshell设置CentOS密钥登录
    CentOS安装系统时硬盘分区建议
    jQuery.extend 函数详解
    jQuery自定义插件
    SVN常用命令
    iwebshop判断是不是微信打开,这样可能把微信支付显示出来
    Angularjs使用 ajax实例
  • 原文地址:https://www.cnblogs.com/wcwen1990/p/6908057.html
Copyright © 2011-2022 走看看