zoukankan      html  css  js  c++  java
  • Spark开发环境搭建(IDEA、Scala、SVN、SBT)

    软件版本

    软件信息
    软件名称 版本 下载地址 备注
    Java 1.8 https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 64位版本的
    Scala 2.10.5 https://www.scala-lang.org/download/2.10.5.html  
    SBT sbt 1.1.6 https://www.scala-sbt.org/download.html  
    SVN 最新版本 https://tortoisesvn.net/downloads.html 64位版本
    IDEA   http://www.jetbrains.com/idea/  

     

     

     

     

     

      

     

    安装JDK

    下载JDK

    java版本选择

    安装JDK

    下载后直接安装就好了,设置一下安装路径:D:\Program Files\Java

    安装完后的文件结构(我的版本是171的)

    配置环境变量

     创建JAVA_HOME:

     配置path:%JAVA_HOME%\bin;

     

    查看安装情况 

    打开cmd终端 输入java -version

    出现java版本号则表示安装成功

    安装Scala

    下载Scala

    安装Scala

    直接解压到D:\Program Files\Scala 

    解压后文件结构

    配置环境变量

    参考JDK环境变量设置

    查看安装情况 

    输入scala,出现版本号则表示安装成功

    安装SVN

     下载SVN

    安装SVN

    制定安装路径:D:\javaTool

    这里有个要注意的地方

    command line client tools 选项一定要勾选上,否则IDEA配置的时候会找不到svn.exe

    配置环境变量

    参考JDK环境变量的配置

    查看安装情况

     执行svnserve --help,出现一下页面

    桌面任意位置右键,出现

    安装SBT

    下载SBT

    安装SBT

    解压到D:\javaTool,文件结构如下

    配置环境变量

    参考JDK环境变量设置

    配置SBT 

    repo.repositories

     1 进入D:\javaTool\sbt\conf 下
     2 创建一个文件repo.repositories
     3 编辑以下内容
     4 [repositories]
     5 local
     6 cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/
     7 aliyun: http://maven.aliyun.com/nexus/content/groups/public/
     8 - maven-local: D:/javaTool/mavenLocalRepository
     9 
    10 cloudera:这是cdh版本的库,如果使用的是cloudera的hadoop全家桶需要使用这个库
    11 aliyun:阿里云的库,国内的比较快
    12 maven-local:因为我还配置了一个Maven,所以可以吧maven的本地仓库加进来,如果没有就不需要加了。
    13 以上是repo.repositories文件的内容 

    修改完后如下

    sbtconfig

     1 编辑sbtconfig文件输入以下内容
     2 # Set the java args to high
     3 -Xmx512M
     4 
     5 -XX:MaxPermSize=256m
     6 
     7 -XX:ReservedCodeCacheSize=128m
     8 
     9 # Set the extra SBT options
    10 
    11 -Dsbt.log.format=true
    12 
    13 -Dsbt.ivy.home=D:/javaTool/sbt/ivy
    14 -Dsbt.global.base=D:/javaTool/sbt/.sbt
    15 -Dsbt.repository.config=D:/javaTool/sbt/conf/repo.properties
    16 -Dsbt.log.format=true
    17 
    18 说明:前一部分是jvm的一些配置
    19 -Dsbt.ivy.home:是本地库,类似与maven的本地库
    20 -Dsbt.repository.config:指定使用的配置文件
    21 另外另个还没去查找啥意思 

    配置完如下

    到目前为止sbt配置部分就结束了,接下来只要到开一个命令行输入sbt,不出意外的话sbt就会构建成功,会生成D:/javaTool/sbt/ivy等等

    但是可能是版本原因,配置的本地仓库并没有生效,jar还是下载到了C盘,在查找资料后,发现还有另一个地方需要配置。

    D:\javaTool\sbt\bin\sbt-launch.jar

    配置文件是在D:\javaTool\sbt\bin\sbt-launch.jar中的\sbt\sbt.boot.properties中(可用rar解压工具直接打开修改并覆盖,记住是用rar打开文件不需要解压,否则弄不回jar了),修改里面的内容:

     1 [scala]
     2   version: ${sbt.scala.version-auto}
     3 
     4 [app]
     5   org: ${sbt.organization-org.scala-sbt}
     6   name: sbt
     7   version: ${sbt.version-read(sbt.version)[1.1.6]}
     8   class: ${sbt.main.class-sbt.xMain}
     9   components: xsbti,extra
    10   cross-versioned: ${sbt.cross.versioned-false}
    11   resources: ${sbt.extraClasspath-}
    12 
    13 [repositories]
    14   local
    15   spring: http://conjars.org/repo/
    16   cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/
    17   aliyun: http://maven.aliyun.com/nexus/content/groups/public/
    18   maven-central
    19   sbt-maven-releases: https://repo.scala-sbt.org/scalasbt/maven-releases/, bootOnly
    20   sbt-maven-snapshots: https://repo.scala-sbt.org/scalasbt/maven-snapshots/, bootOnly
    21   typesafe-ivy-releases: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
    22   sbt-ivy-snapshots: https://repo.scala-sbt.org/scalasbt/ivy-snapshots/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
    23 
    24 [boot]
    25   directory: ${sbt.boot.directory-${sbt.global.base-${user.home}/.sbt}/boot/}
    26   lock: ${sbt.boot.lock-true}
    27 
    28 [ivy]
    29   ivy-home: D:/javaTool/sbt/ivy
    30   checksums: ${sbt.checksums-sha1,md5}
    31   override-build-repos: ${sbt.override.build.repos-false}
    32   repository-config: ${sbt.repository.config-${sbt.global.base-${user.home}/.sbt}/repositories} 

    修改后如下:

    查看安装情况

    再终端执行sbt

    经测试,此时下载的jar会放在D:/javaTool/sbt/ivy中,即自己设置的本地库中

    安装IDEA

    因为我的IDEA早就安装完了,所以在网上找了个教程,参照下面教程就可以把IDEA安装完毕

    下载IDEA

    1 关于JDK版本,在scala的官网上有这么一段话
    2 Installation
    3 1.Make sure you have the Java 8 JDK (also known as 1.8)
    4 o    Run javac -version on the command line and make sure you seejavac 1.8.___
    5 o    If you don’t have version 1.8 or higher, install the JDK
    6 2.Next, download and install IntelliJ Community Edition
    7 3.Then, after starting up IntelliJ, you can download and install the Scala plugin by following the instructions on how to install IntelliJ plugins (search for “Scala” in the plugins menu.)
    8 When we create the project, we’ll install the latest version of Scala. Note: If you want to open an existing Scala project, you can click Open when you start IntelliJ.
    9 大概意思是 需要1.8以上版本的jdk,所以我们需要安装jdk1.8或以上版本

    IntelliJ IDEA有免费的社区版(Community Edition)和收费的旗舰版(Ultimate Edition),我安装的是社区版本

    安装IDEA

    Windows版本安装比较简单,找到我们下载好的exe执行文件,傻瓜式安装,其中的一些选项建议参考下面的

    将IDEA安装到:D:\javaTool

    操作系统位数选择,大家选择自己操作系统的位数,还有需要安装的一些插件

    接下来就是选择我们的菜单,然后点击【install】安装就会进入安装过程

    安装完成后,会出现下图【finish】,结束按钮,上面的选项是问我们是否现在打开IDEA

    到现在,我们的安装过程就讲完了,我们讲解下如何配置IDEA,假如已经有配置的话,可以直接导入之前的配置,我们选择不导入配置

    开始进入配置,首先配置的是IDEA的主题颜色,这里选择了黑色的炫酷色

    接下来是设置IDEA的一些默认的plugins,也就是默认的插件,大家根据自己的开发需要选择

    选择,一些第三方的编辑方式,例如vim,可以方便我们在键盘上跳舞,如果要进行scala开发 不建议在此处选择scala插件,下载实在太慢了,可以进入idea后在setting中的plugins中下载插件或者添加已下载的插件

    接下来就可以直接开始使用我们的IDEA啦

    IDEA的配置

    Scala插件安装

    SBT配置

    SVN配置

     项目配置

    配置JDK

    配置scala

    至此配置如果不出意外应该在你的build文件加入相关依赖后,会自动下载相关的jar

    最后一点在IDEA中使用SVN

    剩下的看着就知道怎么弄了这里就不累赘了

    还有更新和提交代码

    搞定

    遇到的问题(不定期更新)

    1、在添加svn项目的时候,由于svn的目录(建议类似的目录不要包含空格和中文)带有中文,

    导致项目虽然加进了idea,但是在本地测试的时候由于中文的乱满会导致一些奇怪的错,这个好像是idea的bug,eclipse就没有这样的问题。

    解决办法,在导入svn项目的时候,本地存储路径修改为不含有中文和空的的路径即可

  • 相关阅读:
    122. Best Time to Buy and Sell Stock II
    121. Best Time to Buy and Sell Stock
    72. Edit Distance
    583. Delete Operation for Two Strings
    582. Kill Process
    indexDB基本用法
    浏览器的渲染原理
    js实现txt/excel文件下载
    git 常用命令
    nginx进入 配置目录时
  • 原文地址:https://www.cnblogs.com/lillcol/p/9805149.html
Copyright © 2011-2022 走看看