zoukankan      html  css  js  c++  java
  • 安装spark1.3.1单机环境 分类: B8_SPARK 2015-04-27 14:52 1873人阅读 评论(0) 收藏


    本文介绍安装spark单机环境的方法,可用于测试及开发。主要分成以下4部分:
    (1)环境准备
    (2)安装scala
    (3)安装spark
    (4)验证安装情况

    1、环境准备
    (1)配套软件版本要求:Spark runs on Java 6+ and Python 2.6+. For the Scala API, Spark 1.3.1 uses Scala 2.10. You will need to use a compatible Scala version (2.10.x).
    (2)安装好linux、jdk、python, 一般linux均会自带安装好jdk与python,但注意jdk默认为openjdk,建议重新安装oracle jdk。
    (3)IP:10.171.29.191  hostname:master


    2、安装scala
    (1)下载scala
    wget http://downloads.typesafe.com/scala/2.10.5/scala-2.10.5.tgz

    (2)解压文件
    tar -zxvf scala-2.10.5.tgz

    (3)配置环境变量
    #vi/etc/profile
    #SCALA VARIABLES START
    export SCALA_HOME=/home/jediael/setupfile/scala-2.10.5
    export PATH=$PATH:$SCALA_HOME/bin
    #SCALA VARIABLES END

    $ source /etc/profile
    $ scala -version
    Scala code runner version 2.10.5 -- Copyright 2002-2013, LAMP/EPFL

    (4)验证scala
    $ scala
    Welcome to Scala version 2.10.5 (Java HotSpot(TM) 64-Bit Server VM, Java 1.7.0_51).
    Type in expressions to have them evaluated.
    Type :help for more information.

    scala> 9*9
    res0: Int = 81

    3、安装spark
    (1)下载spark
    wget http://mirror.bit.edu.cn/apache/spark/spark-1.3.1/spark-1.3.1-bin-hadoop2.6.tgz

    (2)解压spark
    tar -zxvf http://mirror.bit.edu.cn/apache/spark/spark-1.3.1/spark-1.3.1-bin-hadoop2.6.tgz

    (3)配置环境变量
    #vi/etc/profile
    #SPARK VARIABLES START
    export SPARK_HOME=/mnt/jediael/spark-1.3.1-bin-hadoop2.6
    export PATH=$PATH:$SPARK_HOME/bin
    #SPARK VARIABLES END

    $ source /etc/profile

    (4)配置spark
     $ pwd
    /mnt/jediael/spark-1.3.1-bin-hadoop2.6/conf

    $ mv spark-env.sh.template spark-env.sh
    $vi spark-env.sh
    export SCALA_HOME=/home/jediael/setupfile/scala-2.10.5
    export JAVA_HOME=/usr/java/jdk1.7.0_51
    export SPARK_MASTER_IP=10.171.29.191
    export SPARK_WORKER_MEMORY=512m
    export master=spark://10.171.29.191:7070

    $vi slaves
    master

    (5)启动spark
    pwd
    /mnt/jediael/spark-1.3.1-bin-hadoop2.6/sbin
    $ ./start-all.sh
    注意,hadoop也有start-all.sh脚本,因此必须进入具体目录执行脚本

    $ jps
    30302 Worker
    30859 Jps
    30172 Master

    4、验证安装情况
    (1)运行自带示例
    $ bin/run-example  org.apache.spark.examples.SparkPi

    (2)查看集群环境
    http://master:8080/

    (3)进入spark-shell
    $spark-shell

    (4)查看jobs等信息
    http://master:4040/jobs/

    版权声明:本文为博主原创文章,未经博主允许不得转载。

  • 相关阅读:
    Django项目总结: REST Framework 用户注册登录,权限控制,级联操作查询,节流控制自定义
    画皮卡丘
    软件测试 (实际输出与预期输出间的比较过程)
    软件测试方法
    Vue模板语法
    HTTP 与 HTTPS 的区别
    tomcat运行多个项目同一个端口与不同端口的设置
    springboot-WebMvcConfigurer配置拦截器/跨域/格式化/注册控制器
    Spring IOC(控制反转)思想笔记
    工程师最重要的能力是什么?
  • 原文地址:https://www.cnblogs.com/lujinhong2/p/4637195.html
Copyright © 2011-2022 走看看