zoukankan      html  css  js  c++  java
  • IDEA里如何多种方式打jar包,然后上传到集群

    关于IDEA里如何多种方式打jar包,然后上传到集群的问题?

      前期准备,就是在,IDEA里,maven来创建项目。这里不多赘述。

      1)用maven项目来打包,我推荐这个。 (强烈推荐,简单又快速)

    Spark编程环境搭建(基于Intellij IDEA的Ultimate版本)

      而且,还可以改名。比如我这篇博客里最后打好需要包括MyJavaWordCount.java和MyScalaWordCout.scala,默认名为test-spark-1.0-SNAPSHOT.jar,你自己可以更改,这个不是重点。

          2)如下,以下这种方式,看看就好,显得有点冗长。

     

     

      一般,我们,习惯将默认的D:CodeIntelliJIDEACodespark-helloworldsrcmainscala

     改为 D:CodeIntelliJIDEACodespark-helloworldsrc

      如下,不是maven创建出来的项目,到了这一步,需要如下。(我这里是manven,所以不需)

     

     

     name:spark-helloworld:jar

     Output directory: D:CodeIntelliJIDEACodespark-helloworldoutartifactsspark-helloworld_jar

     

     

     

     

     

     

     

       比如,我这里

    [spark@sparksinglenode testspark]$ $HADOOP_HOME/bin/hadoop fs -copyFromLocal /home/spark/testspark/words.txt hdfs://sparksinglenode:9000/

  • 相关阅读:
    Spring总结
    Json
    智能搜索
    Ajax
    include指令和include标签的区别
    jsp状态管理
    Model1
    JavaBean
    JSP内置对象的解析
    镜像地址管理工具nrm
  • 原文地址:https://www.cnblogs.com/wangsongbai/p/9115979.html
Copyright © 2011-2022 走看看