zoukankan      html  css  js  c++  java
  • 编译Spark2.1.2源码

    源码编译的shell脚本为 /dev/make-distribution.sh ,下载源码包解压就能找到。不同版本使用的参数有差异。可以直接查看make-distribution.sh文件。

    下载spark源码包,解压缩 ,执行以下脚本

    第一种:不支持R,python版本

    ./dev/make-distribution.sh --name spark-2.1.2-hadoop-2.7 --tgz -Dscala-2.11 -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn

    第二种:支持R,python版本,由于我服务未安装R包,所以用下面的脚本虽然编译成功,但是未生产最终的文件.

    ./dev/make-distribution.sh --name spark-2.1.2-hadoop-2.7 --pip --r --tgz -Dscala-2.11 -PR -Phadoop-2.7 -Phive -Phive-thriftserver -Pyarn

     编译成功。

    注意:

    如果要支持SparkR, 必须安装R。

    使用第一种方法编译成功后生成的最终文件。 

  • 相关阅读:
    用栈消除递归调用,实现DFS【伪代码】
    B树残缺版
    lvm
    RAID独立冗余磁盘阵列
    压缩、归档
    磁盘、文件系统
    setfacl、getfacl
    locate,find
    vim编辑器
    sed流编辑器
  • 原文地址:https://www.cnblogs.com/30go/p/7991953.html
Copyright © 2011-2022 走看看