zoukankan      html  css  js  c++  java
  • spark log4j 日志配置

    现在我们介绍spark (streaming) job独立配置的log4j的方法,通过查看官方文档,要为应用主程序(即driver端)或执行程序使(即executor端)自定义log4j配置,需要两步就完成了,下面具体说明。
    第一步:上传自定义 log4j-driver.properties和log4j-executor.properties
    第二步:添加-Dlog4j的配置。使用 --conf参数。
        用于驱动程序:spark.driver.extraJavaOptions = -Dlog4j.configuration = <配置文件的位置>
        用于执行者:spark.executor.extraJavaOptions= -Dlog4j.configuration = <配置文件的位置>
    注意:driver端还可以使用spark-submit的--driver-java-options参数去配置。
    方案一:使用  spark-submit的 --files 参数将自定义的配置文件上传到应用程序的文件列表中。

    spark-submit 
    --class com.hm.spark.Application 
    --master yarn --deploy-mode cluster 
    --driver-cores 1 --driver-memory 1G 
    --num-executors 2 --executor-cores 1 --executor-memory 1G 
    --driver-java-options "-Dlog4j.configuration=log4j-driver.properties" 
    --conf spark.executor.extraJavaOptions="-Dlog4j.configuration=log4j-executor.properties" 
    --files /home/hadoop/spark-workspace/log4j-driver.properties,/home/hadoop/spark-workspace/log4j-executor.properties 
    /home/hadoop/spark-workspace/my-spark-etl-assembly-1.0-SNAPSHOT.jar
    

    注意,这里我没有使用spark.driver.extraJavaOptions参数去配置,而是使用spark-submit的--driver-java-options参数进行设置的。
    方案二:不使用  spark-submit的 --files 参数上传文件,直接使用文件。

    spark-submit 
    --class com.hm.spark.Application 
    --master yarn --deploy-mode cluster 
    --driver-cores 1 --driver-memory 1G 
    --num-executors 2 --executor-cores 1 --executor-memory 1G 
    --driver-java-options "-Dlog4j.configuration=file:/home/hadoop/spark-workspace/log4j-driver.properties " 
    --conf spark.executor.extraJavaOptions="-Dlog4j.configuration=file:/home/hadoop/spark-workspace/log4j-executor.properties" 
    /home/hadoop/spark-workspace/my-spark-etl-assembly-1.0-SNAPSHOT.jar
    
  • 相关阅读:
    在MS Sql Server中可以能过以下的方法查询出磁盘空间的使用情况及各数据库数据文件及日志文件的大小及使用利用率:
    sqlserver日志的备份与还原
    C#中String 与Color之间的相互转换
    sql 替换字符串
    Components_Box
    射线检测与碰撞通道设置
    切碎方块
    音乐可视化
    枚举
    UI与Actor(蓝图)的互动
  • 原文地址:https://www.cnblogs.com/xiaodf/p/11057427.html
Copyright © 2011-2022 走看看