zoukankan      html  css  js  c++  java
  • windows下spark开发环境配置

    http://www.cnblogs.com/davidwang456/p/5032766.html

    --本篇随笔由同事葛同学提供。

    windows下spark开发环境配置

    特注:windows下开发spark不需要在本地安装hadoop,但是需要winutils.exe、hadoop.dll等文件,前提是你已经安装了eclipse、maven、jdk等软件

    spark支持jdk版本建议是1.8及以上,如果开发spark建议将jdk编译版本设置为1.8

    我选择的spark是spark-1.4.0-bin-hadoop2.6.tgz,故以该版本为例

    第一步:下载spark-1.4.0-bin-hadoop2.6.tgz到本地,并解压在本地目录

    地址为:http://spark.apache.org/downloads.html

    第二步:下载windows下hadoop工具包(分为32位和64位的),在本地新建一个hadoop目录,必须有 bin目录例如:D:sparkhadoop-2.6.0in

    然后将winutil等文件放在bin目录下

    地址:https://github.com/sdravida/hadoop2.6_Win_x64/tree/master/bin

    第三步:配置hadoop和spark的环境变量:

    HADOOP_HOME 例如:D:sparkhadoop-2.6.0

      SPARK_HOME

    SPARK_CLASSPATH

    path中加入spark和hadoop

    至此,在cmd命令下输入spark-shell 至此windows下配置ok了

    搭建自己的spark maven项目hello world程序

    对于已经安装了eclipse环境的程序员来说,不用再单独安装saprk的开发环境,由于spark是基于scala语言的,所以如果要想看源代码,需要安装scala的eclipse插件

    第一步:安装scala的eclipse插件

    地址:http://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site

    第一步:创建自己的spark maven项目

    勾选create a simple project

     

    第二步:选则maven生成的包,这里一定要选这jar,因为spark程序一般是打包为jar包的

    其他必填自己按需填

     

    第三步:添加spark的jar包到刚才新建的maven项目中

    找到集群安装的spark安装目录,在lib目录下会看到

     

    将加到maven项目的build path下

     

    第四步:pom中添加自己的spark,hadoop maven依赖

    例如:

        <dependency>

                <groupId>org.apache.spark</groupId>

                <artifactId>spark-core_2.10</artifactId>

                <version>1.5.2</version>

            </dependency>

            <dependency>

            <groupId>org.apache.spark</groupId>

            <artifactId>spark-sql_2.10</artifactId>

            <version>1.5.2</version>

            </dependency>

            <dependency>

                <groupId>org.apache.hadoop</groupId>

                <artifactId>hadoop-client</artifactId>

                <version>1.2.0</version>

            </dependency>

    第五部:spark程序的入口是main函数,至此可以编写自己的hello world并让它跑起来和调试

    public class SparkMain implements Serializable {

      

       public static void main(String[] args) throws Exception {

          //编写自己的spark程序        

    System.out.println(“hello spark!”);

    }

       }

    Now everything is ready for you to run your main Class. Enjoy!

     
     
    好文要顶 关注我 收藏该文  
    0
    0
     
    (请您对文章做出评价)
     
    « 上一篇:源码分析netty服务器创建过程vs java nio服务器创建
    » 下一篇:从netty-example分析Netty组件续
    posted on 2015-
  • 相关阅读:
    SQL Server 阻止了对组件 'Ole Automation Procedures' 的 过程'sys.sp_OACreate' 的访问
    谷歌浏览器扩展程序manifest.json参数详解
    获取天气api
    UVA 10385 Duathlon
    UVA 10668 Expanding Rods
    UVALIVE 3891 The Teacher's Side of Math
    UVA 11149 Power of Matrix
    UVA 10655 Contemplation! Algebra
    UVA 11210 Chinese Mahjong
    UVA 11384 Help is needed for Dexter
  • 原文地址:https://www.cnblogs.com/donaldlee2008/p/5309507.html
Copyright © 2011-2022 走看看