zoukankan      html  css  js  c++  java
  • 【Spark学习笔记】第一章 Windows10(64位)主机上搭建基于IntelliJ IDEA的spark+scala开发环境

     Windows10(64位)搭建基于IntelliJ IDEA的spark+scala开发环境

        工作中需要用到Spark相关的内容,因此需要搭建一个单机的开发环境,这里将自己的搭建过程记录下来,并提供相关资源的下载链接,有兴趣的朋友可以作为一个参考,不尽之处请多多指教。

    第一步,资源下载

     链接:http://pan.baidu.com/s/1boVxehx 密码:m360

     

    第二步,在Windows的机器上安装Cywin

        Cywin是一个在Windows平台上运行的Unix模拟环境,是Cygnus solutions公司开发的自由软件。您可以在我提供的连接中下载我所使用的Cywin的安装文件,也可以自行在官网上下载:

    http://www.cywin.com/

    安装的具体步骤请参考如下连接: http://jingyan.baidu.com/article/48a42057accae3a92525045a.html

    第三步,安装JDK、安装Scala、spark、Hadoop

    这些步骤请参考如下连接:

    http://blog.csdn.net/u011513853/article/details/52865076

    第四步,安装IntelliJ IDEA并测试scala程序

    请参考如下连接:

    http://www.cnblogs.com/ppgeneve/p/5158069.html

    需要注意的是,spark和scala的版本需要对应好,以及IntelliJ IDEA2016.3.464位的版本需要JDK1.8 如果机器上安装了多个版本的JDK,可以新建系统环境变量IDEA_JDK_64=C:Program FilesJavajdk1.8.0_101来解决问题。

     

     

     

     

  • 相关阅读:
    ffmpeg mp4 视频输出为 aac 的命令
    git操作远程分支
    Linux (openSUSE 15.3 ) server ssh 可以使用,sftp无法使用
    小小思考题
    Linux 命令介绍
    2021 年 如何使用VMware 安装 ubuntu 7.04 虚拟机, 配置 apt 源
    Linux 下 命令行 使用浏览器
    oracle.cmd
    Sqlcmd
    vue eslint 配置使用
  • 原文地址:https://www.cnblogs.com/baodaren/p/6437534.html
Copyright © 2011-2022 走看看