zoukankan      html  css  js  c++  java
  • spark1.2.0安装


    standalone


    安装SCALA

    下载、解压、加入环境变量


    安装spark1.2.0

    下载、解压、加入环境变量

    tar zxvf spark-1.2.0-bin-2.2.0.tgz
    export SPARK_HOME=/home/hadoop/spark-1.2.0-bin-2.2.0
    export PATH=$PATH:$SPARK_HOME/bin
    
    export SCALA_HOME=/home/hadoop/scala-2.11.4
    export PATH=$PATH:$SCALA_HOME/bin

    在spark目录下的conf目录中

    cp spark-env.sh.template spark-env.sh
    vi spark-env.sh

    在最下面加入

    export SCALA_HOME=/home/hadoop/scala-2.11.4
    export JAVA_HOME=/home/hadoop/jdk1.7.0_71
    export SPARK_MASTER_IP=hadoop
    export SPARK_WORKER_MEMORY=1000m
    export HADOOP_CONF_DIR=/home/hadoop/hadoop2.2.0/etc/hadoop

    在spark目录下的conf目录中

    cp slaves.template slaves
    vi slaves

    加入集群中的worker机器IP或者名称

    启动(可以分开启动,也可以一起启动):

    sbin/start-all.sh

    测试

    bin/run-example SparkPi

    关于spark的介绍,我觉得下面这篇文章介绍的很好

    http://www.aboutyun.com/thread-11413-1-1.html


    欲为大树,何与草争;心若不动,风又奈何。
  • 相关阅读:
    IOS开发--网络篇-->GCD(Grand Central Dispatch)的详解
    drf viewset
    12.6 drf 结构化组建
    12.5
    12.4
    12.3
    12.2
    12.1 angular vue react web前端三大主流框架的对比
    11.30
    11.28 过滤器的相关操作
  • 原文地址:https://www.cnblogs.com/admln/p/installSpark1-2-0.html
Copyright © 2011-2022 走看看