zoukankan      html  css  js  c++  java
  • spark(3)

    >>非集成:

    环境需要

      * spark 2.4.0

      * scala 2.11.12

      * sbt (打包)

    开发过程

      1、shell命令下创建项目目录结构 

          *****/ project / src / main / scala 

                        -> . / ClassName.scala ( touch + gedit 命令)      

          *****/ project 

               -> . / ******.sbt (Scala & spark 配置信息)

      2、编写代码

      3、sbt打包jar - sbt package

      4、运行 spark-submit  --class " ** "  ..../../../../ ***.jar

     目录结构:

        /src  - 手动编写

        simple.sbt - 手动编写

        /project  - sbt 打包生成

        /target  - sbt 打包生成

    >>集成环境

      * Eclipse +maven/sbt

      * Scala IDE for  eclipse

      * Intellij IDEA + maven/sbt

      使用过程:

        创建项目

        编写代码

        运行调试

    【问题】:这几个工具配合使用maven/sbt 老由问题

       待处理 :1、网速慢   2、配置不熟悉

    ...................................................
  • 相关阅读:
    Diverse Garland
    Basketball Exercise
    Quasi Binary
    Vacations
    Given Length and Sum of Digits...
    三大集合框架之map
    三大集合框架之Set
    JDBC操作数据库的基本步骤:
    java面试之----堆(heap)、栈(stack)和方法区(method)
    JSP九大隐式对象
  • 原文地址:https://www.cnblogs.com/floakss/p/10526213.html
Copyright © 2011-2022 走看看