zoukankan      html  css  js  c++  java
  • 假期学习进度十三

    安装sbt

    sbt是一款Spark用来对scala编写程序进行打包的工具,下载地址https://repo.typesafe.com/typesafe/ivy-releases/org.scala-sbt/sbt-launch/0.13.11/sbt-launch.jar

    下载后,执行如下命令拷贝至 /usr/local/sbt 中:

    接着在 /usr/local/sbt 中创建 sbt 脚本(vim ./sbt),添加如下内容:

    为 ./sbt 脚本增加可执行权限:

     

     最后运行如下命令,检验 sbt 是否可用(第一次需要下载相关jar包,耐心等待,下载时间与网速有关。成功后如图2所示)

     Scala应用程序代码
    在终端中执行如下命令创建一个文件夹 sparkapp 作为应用程序根目录:

    在 ./sparkapp/src/main/scala 下建立一个名为 SimpleApp.scala 的文件(vim ./sparkapp/src/main/scala/SimpleApp.scala),添加代码如下:

      ./sparkapp 中新建文件 simple.sbt(vim ./sparkapp/simple.sbt),添加内容如下,声明该独立应用程序的信息以及与 Spark 的依赖关系:

    为保证 sbt 能正常运行,先执行如下命令检查整个应用程序的文件结构:

     我们就可以通过如下代码将整个应用程序打包成 JAR(首次运行同样需要下载依赖包 ):

    /usr/local/sbt/sbt package

     

     说明成功。

    最后,我们就可以将生成的 jar 包通过 spark-submit 提交到 Spark 中运行了,命令如下:

  • 相关阅读:
    简单对称加密
    temp
    标点符号
    PHP定时执行计划任务
    从杨致远辞去雅虎说起,那些衰落的网站巨头给我们的启示
    JS判断手机浏览器
    如何制作在线参考手册
    不是每个程序员都是适合创业,即使你工作了十年
    两级导航栏联动效果
    关于腾讯ip接口一个流传很广的错误用法
  • 原文地址:https://www.cnblogs.com/lover995/p/12304567.html
Copyright © 2011-2022 走看看