zoukankan      html  css  js  c++  java
  • Spark1.0源码编译

    编译方式一:maven
    export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
    mvn -Pyarn -Phive -Dhadoop.version=2.3.0-cdh5.0.0 -Dyarn.version=2.3.0-cdh5.0.0 -DskipTests clean package

    参数说明:
    -Pyarn:支持yarn 
    -Phive:Spark SQL中支持Hive
    -Dhadoop.version:hadoop版本号
    -Dyarn.version:yarn版本号

    详细信息参见官方文档:http://spark.apache.org/docs/latest/building-with-maven.html

    编译方式二:sbt
    SPARK_HADOOP_VERSION=2.3.0-cdh5.0.0 SPARK_YARN=true SPARK_HIVE=true sbt/sbt assembly

    参数说明:同编译方式一


    编译方式三:make-distribution.sh
    ./make-distribution.sh --hadoop 2.3.0-cdh5.0.0 --with-yarn --with-hive --tgz

    参数说明:注意要严格按照如下参数顺序(可参考make-distribution.sh)
    --hadoop VERSION:对应的Hadoop版本,默认为1.0.4
    --with-yarn:是否支持YARN,默认不支持
    --with-hive:是否支持在Spark SQL 中使用hive,默认不支持
    --with-tachyon:是否支持Tachyon,默认不支持
    --tgz:在根目录下生成 spark-$VERSION-bin.tgz,默认不生成
    --name NAME:和--tgz结合可以生成spark-$VERSION-bin-$NAME.tgz的部署包,默认NAME为hadoop的版本号

  • 相关阅读:
    文件权限命令
    复制、移动文件及目录命令
    创建、删除文件及目录命令
    绝对路径和相对路径
    查找文件命令
    链接命令
    文本搜索命令
    编辑器 vim
    有参装饰器与迭代器
    闭包函数与装饰器
  • 原文地址:https://www.cnblogs.com/luogankun/p/3798403.html
Copyright © 2011-2022 走看看