zoukankan      html  css  js  c++  java
  • 【Spark学习笔记】第一章 Windows10(64位)主机上搭建基于IntelliJ IDEA的spark+scala开发环境

     Windows10(64位)搭建基于IntelliJ IDEA的spark+scala开发环境

        工作中需要用到Spark相关的内容,因此需要搭建一个单机的开发环境,这里将自己的搭建过程记录下来,并提供相关资源的下载链接,有兴趣的朋友可以作为一个参考,不尽之处请多多指教。

    第一步,资源下载

     链接:http://pan.baidu.com/s/1boVxehx 密码:m360

     

    第二步,在Windows的机器上安装Cywin

        Cywin是一个在Windows平台上运行的Unix模拟环境,是Cygnus solutions公司开发的自由软件。您可以在我提供的连接中下载我所使用的Cywin的安装文件,也可以自行在官网上下载:

    http://www.cywin.com/

    安装的具体步骤请参考如下连接: http://jingyan.baidu.com/article/48a42057accae3a92525045a.html

    第三步,安装JDK、安装Scala、spark、Hadoop

    这些步骤请参考如下连接:

    http://blog.csdn.net/u011513853/article/details/52865076

    第四步,安装IntelliJ IDEA并测试scala程序

    请参考如下连接:

    http://www.cnblogs.com/ppgeneve/p/5158069.html

    需要注意的是,spark和scala的版本需要对应好,以及IntelliJ IDEA2016.3.464位的版本需要JDK1.8 如果机器上安装了多个版本的JDK,可以新建系统环境变量IDEA_JDK_64=C:Program FilesJavajdk1.8.0_101来解决问题。

     

     

     

     

  • 相关阅读:
    关内存地址的分配
    关于URL
    linux的8小时差问题解决
    关于Scanner类
    域名后缀
    匿名对象用法
    final修饰符,多态,抽象类,接口
    二维数组的传参
    关于随机数
    面向对象编程的三大基本特征
  • 原文地址:https://www.cnblogs.com/baodaren/p/6437534.html
Copyright © 2011-2022 走看看