Maven安装（Linux）

1.从官网上寻找自己需要的合适的版本，此处我用的是maven-3.6.1

wget http://mirrors.tuna.tsinghua.edu.cn/apache/maven/maven-3/3.6.1/binaries/apache-maven-3.6.1-bin.tar.gz

2.将其解压在/usr/local 目录下

tar -zxvf apache-maven-3.6.1-bin.tar.gz -C /usr/local
rm apache-maven-3.6.1-bin.tar.gz -C /usr/local

3.进入/usr/local目录下，修改maven文件目录的名字

cd /usr/local
mv apache-maven-3.6.1 maven-3.6.1

4.接下来进行maven的环境配置

vim /etc/profile

export MAVEN_HOME=/usr/local/maven-3.6.1
export PATH=$JAVA_HOME/bin:$MAVEN_HOME/bin:$PATH

5.刷新环境变量

source /etc/profile

6.测试maven是否成功安装

mvn -version

7.Java独立应用编程

1）进入用户主文件夹

cd ~

2）创建sparkApp2

mkdir sparkapp2

3）创建一个SimpleApp.java文件在./sparkapp2/src/main/java中

vim ./sparkapp2/src/main/java/SimpleApp.java

内容如下：

/*** SimpleApp.java ***/
import org.apache.spark.api.java.*;
import org.apache.spark.api.java.function.Function;
 
public class SimpleApp {
public static void main(String[] args) {
String logFile = "file:///usr/local/spark-2.4.3/README.md";
JavaSparkContext sc = new JavaSparkContext("local", "Simple App",
"file:///usr/local/spark-2.4.3/", new String[]{"target/simple-project-1.0.jar"});
JavaRDD<String> logData = sc.textFile(logFile).cache();
 
long numAs = logData.filter(new Function<String, Boolean>() {
public Boolean call(String s) {
return s.contains("a");
}
}).count();
 
long numBs = logData.filter(new Function<String, Boolean>() {
public Boolean call(String s) { return s.contains("b"); }
}).count();
 
System.out.println("Lines with a: " + numAs + ", lines with b: " + numBs);
}
}

该程序依赖Spark java API，因此需要通过Maven进行编译打包。

4）在./sparkapp2中新建文件pom.xml

此处的依赖如果不知道是哪个具体的版本，可以直接在maven的官网上查看依赖，官网链接https://mvnrepository.com/

内容如下：

<project>
<groupId>edu.berkeley</groupId>
<artifactId>simple-project</artifactId>
<modelVersion>4.0.0</modelVersion>
<name>Simple Project</name>
<packaging>jar</packaging>
<version>1.0</version>
<repositories>
<repository>
<id>Akka repository</id>
<url>http://repo.akka.io/releases</url>
</repository>
</repositories>
<dependencies>
<dependency> <!-- Spark dependency -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.4.3</version>
</dependency>
</dependencies>
</project>

5）使用maven程序打包java程序

cd ~/sparkapp2
find .

6）接着将整个应用程序打包成jar（耗时长，十几二十分钟这样子吧，会比sbt时间要长），成功后的提示信息如下所示：

/usr/local/maven-3.6.1/bin.mvn package

7）通过spark-submit运行程序

将生成的jar包通过spark-submit提交到Spark中

/usr/local/spark-2.4.3/bin/spark-submit --class "SimpleApp" ~/sparkapp2/target/simple-project-1.0.jar 2>&1 | grep "Lines with a"