localhost方式提交作业到spark运行

• 修改参数

代码见上一节代码地址

Java版本：

JavaRDD rdd1 =  sc.textFile(args[0])

Scala版本：

val rdd1 = sc.textFile(args(0))

• 编译
• 添加spark依赖包
  

<dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>2.2.1</version>
        </dependency>

• 利用maven打包
  

• 将打包文件复制到centos的home目录下
• 进入spark的bin目录运行jar包

[root@localhost bin]# spark-submit --master local --name mywordCount --class  com.cr.scala.wordcountscala sparkDemo3-1.0-SNAPSHOT.jar /home/test.txt

注意包名在前，jar包在后

运行结果如图所示：

 还要注意的是Scala版本和spark版本一定要对应