zoukankan      html  css  js  c++  java
  • 使用IDEA运行Spark程序

    使用IDEA运行Spark程序


    1.安装IDEA

    从IDEA官网下载Community版本,解压到/usr/local/idea目录下。

    tar –xzf ideaIC-13.1.4b.tar.gz

    mv idea-IC-135.1230/ /usr/local/idea

    为了方便使用其bin目录下的命令,把它配置在“/etc/profile”目录下。

    export PATH=$PATH:/usr/local/idea/ idea-IC-135.1230/bin

    2.安装Scala插件

    1. 在终端输入idea.sh进入如下界面:


    2. 点击”Configure”进入IDEA的配置界面:


    3. 选择“Plugins”,进入插件安装界面:


    4. 点击左下角的“Install JetBrains plugin”选项进入如下界面在左上方的输入框输入“scala”来查找scala插件,点击右侧的“Install plugin”开始下载插件:


    5. 安装完后重启IDEA:


    3.使用scala SBT工程

    1. 重启之后进入如下界面,选择“Create New Project”,选择左侧列表中的“Scala”选项,为了方便以后的开发,选择右侧的“SBT”选项:

     

    2. 设置scala工程的名称和目录,点击Finish:


    3. 此时发现没有设置Java的JDK路径,点击进入ProjectStructure目录,点击New,选择JDK路径后,关闭后重新打开项目:







    4. 此时IDEA会智能的帮助我们构建SBT工具,IDEA自动完成SBT工具的安装需要一段时间(1-2分钟),SBT会自动帮我们建好一些目录:


    5. 点击src下的main下的scala在弹出的“New”下选择“Scala Class,输入文件名称并选择类型:


    6. 写入代码:


    7. 右击代码区点击运行,第一次运行scala程序会有点缓慢:


    8. 运行的结果如下:


    4.搭建Spark运行环境

    1.导入Spark的包,依次点击File -> Project Structure ->Libraries ->点击“+”号 ->选择Java -> 选择spark lib目录下的assembly包




    IDEA工作完后发现Spark的jar包导入到我们的工程中


    5.运行Spark程序

    1.我们这里采用standalone模式运行wordcount作代码演示。数据从hdfs读取,代码如下。


    2. 下面描述如何打jar包:


    配置路径和包名



    之后便可在集群上运行spark程序。

    注:每次修改代码后都要rebuild jar包。

  • 相关阅读:
    2011 ACM-ICPC 成都赛区解题报告(转)
    Subarray Sorting (线段树)
    sample
    gamma correction / /alpha blend
    mipmap
    antialiasing
    汇编指令
    zfighting 的问题
    勉励自己
    Ambient Occulution
  • 原文地址:https://www.cnblogs.com/zhangyunlin/p/6168209.html
Copyright © 2011-2022 走看看