zoukankan      html  css  js  c++  java
  • 用maven编译spark2.1.0

    以下编译都是在root用户下执行的命令

    1.安装Maven 3.3.9和Java 7+ ,这里是官方文档中要求的maven和jdk版本,其他版本未测;


    2.执行 export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=512m"

    3.切换到spark2.1.0解压后的源码根目录下
    ./build/mvn -Pyarn -Phadoop-2.7 -Dhadoop.version=2.7.3
    -Dscala-2.11 -Phive -Phive -thriftserver -DskipTests clean package

    这里的选择
    scala-2.11,用2.10编译报错

    4切换到编译完的dev目录下执行下面命令打包
    ./dev/make-distribution.sh --name custom-spark --tgz -Psparkr -Phadoop-2.7 -Phive -Phive-thriftserver -Pmesos -Pyarn
     
     
  • 相关阅读:
    继承中类的作用域
    访问控制与继承
    虚函数与抽象基类
    定义基类和派生类
    类成员指针
    固有的不可移植特性
    局部类
    union
    嵌套类
    枚举类型
  • 原文地址:https://www.cnblogs.com/zyzloner/p/6599158.html
Copyright © 2011-2022 走看看