【Spark学习笔记】第一章 Windows10(64位)主机上搭建基于IntelliJ IDEA的spark+scala开发环境

 Windows10（64位）搭建基于IntelliJ IDEA的spark+scala开发环境

    工作中需要用到Spark相关的内容，因此需要搭建一个单机的开发环境，这里将自己的搭建过程记录下来，并提供相关资源的下载链接，有兴趣的朋友可以作为一个参考，不尽之处请多多指教。

第一步，资源下载

 链接：http://pan.baidu.com/s/1boVxehx 密码：m360

 

第二步，在Windows的机器上安装Cywin

    Cywin是一个在Windows平台上运行的Unix模拟环境，是Cygnus solutions公司开发的自由软件。您可以在我提供的连接中下载我所使用的Cywin的安装文件，也可以自行在官网上下载：

http://www.cywin.com/

安装的具体步骤请参考如下连接： http://jingyan.baidu.com/article/48a42057accae3a92525045a.html

第三步，安装JDK、安装Scala、spark、Hadoop

这些步骤请参考如下连接：

http://blog.csdn.net/u011513853/article/details/52865076

第四步，安装IntelliJ IDEA并测试scala程序

请参考如下连接：

http://www.cnblogs.com/ppgeneve/p/5158069.html

需要注意的是，spark和scala的版本需要对应好，以及IntelliJ IDEA2016.3.464位的版本需要JDK1.8 如果机器上安装了多个版本的JDK，可以新建系统环境变量IDEA_JDK_64=C:Program FilesJavajdk1.8.0_101来解决问题。