zoukankan      html  css  js  c++  java
  • 打包Scala jar 包的正确步骤

    实验目的:打包可运行的scala jar,上传到spark集群,提交执行

    1.idea中编译运行代码,可成功运行

    2.修改2处代码
    //只配置appName,其他配置项注释掉
    val conf=new SparkConf()
    .setAppName("pageRank")
    //文件加载路径设为空,在提交执行时设置该参数
    val inputPath=args(0)
    val links=sc.textFile(inputPath)

    3.如果已经打包过,需要删除main/java目录下的manifest.mf文件

    Manifest-Version: 1.0
    Main-Class: org.apache.spark.examples.wordcount

    4.file->project structure->artifacts-> + jar->from modules with dependencies

    5.删除多余的jar包(很重要)
    只留下一个 :*** compile output
    标明main class

    6.build -> build artifacts->build/rebuild

    打包成功后目录

    7.注意 jar包提交到集群之前,需要手动删除 META-INF 文件夹中的 .mf文件!

  • 相关阅读:
    第十次作业
    java第九次作业
    优秀的计算机编程类博客 和 文章
    SQLAlchemy使用总结
    Go Web
    beego
    项目注意事项
    爬虫
    Linux笔记
    计算机英语
  • 原文地址:https://www.cnblogs.com/moonlightml/p/9312192.html
Copyright © 2011-2022 走看看