zoukankan      html  css  js  c++  java
  • spark1.3的部署

    1、下载源码,根据自己的环境编译,我这里下载的是spark1.3版本

    本人采用sbt编译,

    SPARK_HADOOP_VERSION=2.5.2 SPARK_YARN=ture sbt/sbt assembly
    

     这句代码共有两个参数,第一个是指本机的hadoop环境的版本,第二个参数是指是否在yarn上运行,

    2、编译完成后会生成make-distribution.sh文件3、然后我们需要将生成的部署包部署在集群上

      这里有几个参数说明一下:

      --hadoop VERSION :hadoop版本号

      --with-yarn:是否支持yarn,不加参数时默认不支持

      --with-hive:是否在spark SQL 中支持hive,默认不支持

          还有其它一些参数,这里不一一列举了,常用的就上面几个

    (1)现在我们生成支持hadoop 2.5.2、支持yarn的部署包

    ./make-distribution.sh --hadoop 2.5.2 --with-yarn --tgz
    

    (2)现在我们生成支持hadoop 2.5.2、支持yarn、支持hive的部署包

    ./make-distribution.sh --hadoop 2.5.2 --with-yarn --with-hive --tgz
    

    执行命令后,会生成spark-1.3.0-bin-2.5.2.tgz的部署包

  • 相关阅读:
    P1121 环状最大两段子段和
    无题
    cdoj 1485 柱爷搞子串 sam treap
    自然数幂和
    Gym 100341C AVL Trees NTT
    线性筛分解质因子
    codeforces 366 Ant Man dp
    UVALive 6914 Maze Mayhem 轮廓线dp
    hdu 5790 Prefix 字典树 主席树
    莫比乌斯反演个人小结
  • 原文地址:https://www.cnblogs.com/xiejingpeng/p/4422058.html
Copyright © 2011-2022 走看看