zoukankan      html  css  js  c++  java
  • spark(3)

    >>非集成:

    环境需要

      * spark 2.4.0

      * scala 2.11.12

      * sbt (打包)

    开发过程

      1、shell命令下创建项目目录结构 

          *****/ project / src / main / scala 

                        -> . / ClassName.scala ( touch + gedit 命令)      

          *****/ project 

               -> . / ******.sbt (Scala & spark 配置信息)

      2、编写代码

      3、sbt打包jar - sbt package

      4、运行 spark-submit  --class " ** "  ..../../../../ ***.jar

     目录结构:

        /src  - 手动编写

        simple.sbt - 手动编写

        /project  - sbt 打包生成

        /target  - sbt 打包生成

    >>集成环境

      * Eclipse +maven/sbt

      * Scala IDE for  eclipse

      * Intellij IDEA + maven/sbt

      使用过程:

        创建项目

        编写代码

        运行调试

    【问题】:这几个工具配合使用maven/sbt 老由问题

       待处理 :1、网速慢   2、配置不熟悉

    ...................................................
  • 相关阅读:
    前端程序员的进阶
    字符集的知识
    通晓多种编程语言的程序员,真香?
    理解 Docker
    免费开源软件的潜在安全风险
    技术编程人员成长的 9 个段位
    如何更好的设计 RESTful API
    selenium环境搭建:
    自动化测试有哪些?
    删除书籍:
  • 原文地址:https://www.cnblogs.com/floakss/p/10526213.html
Copyright © 2011-2022 走看看