【大数据Spark】PC单机Spark开发环境搭建

本文档基于Windows搭建本地JAVA Spark开发环境。

JDK1.8+Spark2.3.1+Hadoop2.7.1

1      JDK 1.8安装

官网下载JDK。

注意JDK安装目录不可以包含空格，比如：C:Javajdk1.8.0_171，否则可能导致后续运行Spark报错（提示找不到java.exe）。

2      Spark安装（V2.3.1）

1、到spark官网网站 http://spark.apache.org/downloads.html下载spark；

     注意点击红框部分进入选择下载包，不要点击截图上步骤3后面链接。

    

2、参考截图下载 spark-2.3.1-bin-hadoop2.7.tgz

   

3、下载本地进行解压

   比如解压后路径：D:Toolsspark-2.3.1-bin-hadoop2.7

4、配置环境变量

   1）SPARK_HOME

     

2）Path环境变量增加

   %SPARK_HOME%in，%SPARK_HOME%sbin

3      Hadoop安装（V2.7.1）

1、到 https://archive.apache.org/dist/hadoop/common/hadoop-2.7.1下载Hadoop 2.7.1；

     

2、将下载的hadoop解压缩在本地目录；

  比如：D:Toolshadoop-2.7.1

3、配置环境变量

   1）HADOOP_HOME

     

  2）Path环境变量增加

       %HADOOP_HOME%in

 4、下载 winutils.exe 并复制到 hadoop的bin目录

  https://github.com/steveloughran/winutils/blob/master/hadoop-2.7.1/bin/winutils.exe

 

  备注：如果不下载winutils.exe会导致启动spark-shell提示如下错误

  

4      启动Spark

1、CMD切换到spark-2.3.1-bin-hadoop2.7in目录

2、运行spark-shell

   如果可以看到如下界面，则代表启动成功

   可以访问截图中的网址查看Spark的管理界面。

 

5      启动IDEA运行小程序

1、新建一个Maven工程

 New Project -->Maven -> maven-archetype-quickstart 

 

2、java源码

package com.spark;

import org.apache.spark.sql.Dataset;
import org.apache.spark.sql.Row;
import org.apache.spark.sql.SparkSession;

public class App {


        public static void main( String[] args )
        {
            SparkSession spark= SparkSession.builder().appName("sparkTest").master("local[3]").getOrCreate();
            Dataset<Row> result=spark.read().json("people.json");
            System.out.println("Line count:" + result.count());
            result.show();
            result.printSchema();
            spark.stop();
        }
}

setMaster: "local[4]" to run locally with 4 cores, 

 

3、POM.XML配置

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>

    <groupId>com.spark</groupId>
    <artifactId>sparkTest</artifactId>
    <version>1.0-SNAPSHOT</version>

    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <spark.version>2.3.1</spark.version>
        <hadoop.version>2.7.1</hadoop.version>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-hive_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming-kafka-0-10_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-streaming_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.hadoop</groupId>
            <artifactId>hadoop-common</artifactId>
            <version>${hadoop.version}</version>
        </dependency>

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql-kafka-0-10_2.11</artifactId>
            <version>${spark.version}</version>
        </dependency>

    </dependencies>
</project>

4、新建一个 people.json 文件，并拷贝到工程目录

     文件内容如下

{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}

5、（可选）优化IDEA控制台打印，使得INFO级别日志不打印

1) 拷贝spark-2.3.1-bin-hadoop2.7conflog4j.properties.template到当前工程srcmain esources log4j.properties.

2）调整日志级别

            log4j.rootCategory=WARN, console

6、启动工程，查看是否可以运行看到结果