zoukankan      html  css  js  c++  java
  • Spark安装

    记录安装Spark环境的过程。

    前提是Hadoop集群已经安装,详见:Hadoop 2.X 集群安装

    环境:Centos 6.4 X64 & Hadoop 2.2(三节点集群) & Spark 1.0

    1、获取Spark源码,可以去官网下载,解压。

    2、编译源码。

    1)先安装Maven。

    2)进入源码目录,执行:

    export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
    mvn -Pyarn -Dhadoop.version=2.2.0 -Dyarn.version=2.2.0 -DskipTests clean package

    3、生成部署包。

    如果生成spark支持yarn、hadoop2.2.0的部署包,执行:

    ./make-distribution.sh --hadoop 2.2.0 --with-yarn --tgz

    4、部署

    1)修改conf/slaves,添加节点名称,类似Hadoop配置。

    2)修改conf/ spark-env.sh。

    export SPARK_MASTER_IP=hadoop1
    export SPARK_MASTER_PORT=7077
    export SPARK_WORKER_CORES=1
    export SPARK_WORKER_INSTANCES=1
    export SPARK_WORKER_MEMORY=3g

    3)拷贝到各个节点

  • 相关阅读:
    for each/in
    对象与结构体的区别
    php与构造函数和析构函数
    回顾PHP之类与对象
    回顾PHP之数组篇
    正则个人总结
    echo 与print_r??
    六月学习与感想
    晚到的五月博客
    java复习
  • 原文地址:https://www.cnblogs.com/guarder/p/3841275.html
Copyright © 2011-2022 走看看