zoukankan      html  css  js  c++  java
  • Spark 0.9.0启动脚本——bin/compute-classpath.sh

    1. 设置SCALA_VERSION

    2. 执行conf/spark-env.sh

    3. 设置CLASSPATH=<conf目录>

    4. 如果存在assembly/target/scala-$SCALA_VERSION/spark-assembly*hadoop*-deps.jar,则添加

    [core|repl|mllib|bagel|graphx|streaming]/target/scala-$SCALA_VERSION/classes:/assembly/target/scala-$SCALA_VERSION/spark-assembly*hadoop*-deps.jar

    如果不存在,则检测RELEASE目录,存在则添加jars/spark-assembly*.jar,不存在则添加assembly/target/scala-$SCALA_VERSION/spark-assembly*hadoop*.jar

    5. 检测SPARK_TESTING,为1则添加

    [core|repl|mllib|bagel|graphx|streaming]/target/scala-$SCALA_VERSION/test-classes

    6. 添加HADOOP_CONF_DIR、YARN_CONF_DIR

  • 相关阅读:
    软件测试课堂练习1
    安卓增删改查
    安卓数据库表
    安卓注册登录
    安卓购物清单
    安卓计算器
    第四周安卓作业
    第七周作业
    jsp第六周
    第四次jsp作业
  • 原文地址:https://www.cnblogs.com/hujunfei/p/3624712.html
Copyright © 2011-2022 走看看