zoukankan      html  css  js  c++  java
  • Spark 0.9.0启动脚本——bin/spark-class

    1. 判断是否cygwin环境

    2. 设置SCALA_VERSION 

    3. 设置SPARK_HOME

    4. 执行conf/spark-env.sh

    5. 如果运行类是org.apache.spark.deploy.master.Master或org.apache.spark.deploy.worker.Worker,设置

    SPARK_MEM=${SPARK_DAEMON_MEMORY:-512m}
    SPARK_DAEMON_JAVA_OPTS="$SPARK_DAEMON_JAVA_OPTS -Dspark.akka.logLifecycleEvents=true"
    OUR_JAVA_OPTS="$SPARK_DAEMON_JAVA_OPTS"

    否则,设置 

    OUR_JAVA_OPTS="$SPARK_JAVA_OPTS"

    6.  

    1) org.apache.spark.deploy.master.Master:

    OUR_JAVA_OPTS="$SPARK_DAEMON_JAVA_OPTS $SPARK_MASTER_OPTS" 

    2) org.apache.spark.deploy.worker.Worker

    OUR_JAVA_OPTS="$SPARK_DAEMON_JAVA_OPTS $SPARK_WORKER_OPTS" 

    3) org.apache.spark.executor.CoarseGrainedExecutorBackend

    OUR_JAVA_OPTS="$SPARK_JAVA_OPTS $SPARK_EXECUTOR_OPTS"

    4) org.apache.spark.executor.MesosExecutorBackend

    同上

    5) org.apache.spark.repl.Main

    OUR_JAVA_OPTS="$SPARK_JAVA_OPTS $SPARK_REPL_OPTS" 

    7. 检测java,JAVA_HOME->java命令->退出

    8. SPARK_MEM=${SPARK_MEM:-512m}

    JAVA_OPTS="$OUR_JAVA_OPTS -Djava.library.path=$SPARK_LIBRARY_PATH -Xms$SPARK_MEM -Xmx$SPARK_MEM <cat /conf/java-opts的结果>"

    9. 如果不存在RELEASE目录,则检测assembly/target/scala-$SCALA_VERSION/spark-assembly.*hadoop.*.jar,存在多个包或没有包则提示并退出

    10. 设置TOOLS_DIR为tools目录,

    检测tools/target/scala-$SCALA_VERSION/*assembly*[0-9Tg].jar文件存在,则设置为SPARK_TOOLS_JAR

    检测tools/target/spark-tools*[0-9Tg].jar存在,则设置为SPARK_TOOLS_JAR,覆盖之前的设置

    11. 设置CLASSPATH为<bin/compute-classpath.sh计算的结果>

    12. 如果执行org.apache.spark.tools.JavaAPICompletenessChecker,则CLASSPATH为SPARK_TOOLS_JAR:<bin/compute-classpath.sh计算的结果>

    13. cygwin检测设置

    14. java -cp $CLASSPATH $JAVA_OPTS $@ 

  • 相关阅读:
    统计学习方法学习笔记第二章(感知机)
    filebeat句柄占用问题
    小组年终总结的汇总
    使用docker制作zookeeper镜像
    普罗米修斯在k8s上面的部署
    k8s亲和性和反亲和性的理解
    AlertManager 的在k8s集群上面的安装部署使用
    filebeat生产上面镜像制作的流程
    普罗米修斯生产上面的性能优化点
    AlertManger集群的搭建
  • 原文地址:https://www.cnblogs.com/hujunfei/p/3624592.html
Copyright © 2011-2022 走看看