spark在eclipse下V2-搭建Demo代码阅读环境

https://files.cnblogs.com/files/wifi0/spark2.1.1example_api_sql_streaming_eclipseProject.zip
https://files.cnblogs.com/files/wifi0/runconfig.zip

搭建代码阅读环境

 

下载spark-2.1.1-bin-hadoop2.7.tgz

http://spark.apache.org/downloads.html

解压缩spark-2.1.1-bin-hadoop2.7.tgz

注意：以上的examples目录下的jar包和examplesjars下的所有jar包，将被用来创建换一个eclipes UserLibrary。名为：spark2.1.1jars

下载winutils

https://github.com/steveloughran/winutils

Figure 6解压缩后:

创建spark2.1.1jars

eclipse->Window->Preferences->Java->Build Path->User Liberary->new

输入spark2.1.1jars。Add External Jars。

选择spark/jars中和spark/examples/jars两个目录中所有jar文件。

创建HADOOP_HOME

eclipse->Window->Preferences->Run/Debug->String substitution，HADOOP_HOME指向

F:/TDDOWNLOAD/winutils-master/winutils-master/hadoop-2.7.1

设置eclipse使用jdk8编译和用jdk8的lib。

以管理员身份运行eclipse

导入例子

File->Import->Existing Projects Into Workspace->select Archive File

选中spark2.1.1example_api_sql_streaming_eclipseProject.zip

确定。

这是导入后的样子。随后运行spark时，程序会添加目录到里面，注意清理。

在本机安装一个mysql服务器，root,root。或者修改对应代码 DataSource。