* SparkCore基础(二)
继续探讨SparkCore,开门见山,不多废话。
SparkApplication结构探讨
包含关系:
之前我们运行过很多App了,其实每一个App都包含若干个Job任务;
而Job任务呢,一般都是由RDD的Action动作发出的eg:first、count、collect等等;
一个Job任务包含多个Stage,各个Stage之间是互相依赖的,比如,第一个stage没有走完,是不会走第二个stage的,对于同一个stage,所有的task的业务逻辑相同,而处理的数据不同;
一个Stage包含多个Task。
运行构成:
对于Spark Application的集群运行情况来讲,都有两个部分组成
** Driver:每个应用都有一个driver,在其中的main方法中实例化SparkContext,从而创建RDD,然后向Master或者ResourceManager申请资源来运行Executor,调度Job任务
** Executor:相当于MapReduce中的Map Task一样,是一个JVM进程,用于运行Task,以线程形式运行
![](http://upload-images.jianshu.io/upload_images/4951489-5bdc8b1d173a3689.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/596)
下面是Spark集群的一些概念简述:
![](http://upload-images.jianshu.io/upload_images/4951489-12ffb9211e062f21.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
RDD进一步探讨
RDD是什么:
** 是一系列分区的数据集合,类似于Hadoop中的split
** 每个分区都可以应用某个函数去运算
** RDD之间具有依赖关系,例如,RDD1 转换为RDD2时,那么RDD2就依赖于RDD1
** 可以指定key-value形式的RDD的分区规则,比如hash
** RDD可以选择最优的读取数据的位置,比如:从内存读?从本地读?或者设置了多个副本,决定从哪个副本读数据是最优的。
IDEA工具开发Spark
Step1、创建一个Scala项目
![](http://upload-images.jianshu.io/upload_images/4951489-2f738dbba6fab777.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
Step2、创建项目名称以及指定路径后直接Finish
![](http://upload-images.jianshu.io/upload_images/4951489-11b617e453df96cf.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
Step3、在File--Project Structure选项的Modules中创建目录结构如图,注意文件夹图标样式,main和test中的resources文件夹图标是有区别的
![](http://upload-images.jianshu.io/upload_images/4951489-967d4ed30f8b116e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
Step4、在Libraries中点击加号导入Spark相关依赖Jar(这里我导入的Jar是CDH-Spark根目录下的lib目录下的Jar,这里不需要导入example相关Jar)
![](http://upload-images.jianshu.io/upload_images/4951489-0f5cf8b256dc7bc1.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
Step5、将HDFS的两个配置文件拷入到resources目录下
![](http://upload-images.jianshu.io/upload_images/4951489-c064c306f830305a.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/481)
Step6、创建一个Scala-object,编写代码如下:
![](http://upload-images.jianshu.io/upload_images/4951489-ead443c63b4db0bb.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
IDEA打包SparkJar
我们也可以使用IDEA打包编写好的SparkJar包然后使用spark-submit命令提交任务
Step1、点击Artifacts标签后,点击加号,选择JAR-from modules from dependencies
![](http://upload-images.jianshu.io/upload_images/4951489-b3ac6de128d827f5.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
Step2、点击红框内容后,出现蓝框内容
![](http://upload-images.jianshu.io/upload_images/4951489-c891059851beece2.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
Step3、搞定后,删除掉关于Spark和Hadoop的相关依赖,打包自己的工程时,不需要将Spark和Hadoop的Jar也打包入你的工程里,这样会增加你的工程的体积(官方描述:The user's jar should never include Hadoop or Spark libraries, however, these will be added at runtime.),点击减号删除到如下所示:
![](http://upload-images.jianshu.io/upload_images/4951489-b8ef2b4d863714da.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
Step4、OK后,选择Build-Build Artifacts-Build,然后去对应目录下,拷贝出Build好的Jar到Linux,什么?不知道生成的Jar在哪?你看看上图中Output directory属性
Step5、运行你的Jar
$ bin/spark-submit --master spark://z01:7077 /home/z/Desktop/FirstSpark.jar
Spark在Yarn上运行
相关文档:http://spark.apache.org/docs/1.6.1/running-on-yarn.html
运行Spark应用有两种模式:
1、在Client端所在节点运行
这种情况比较适用于调试应用程序,比如:
Yarn:
bin/spark-submit
--master yarn
--deploy-mode client
/home/z/Desktop/FirstSpark.jar
2、在Cluster中运行
Yarn:
$ bin/spark-submit
--master yarn
--deploy-mode cluster
/home/z/Desktop/FirstSpark.jar
以上两种模式的区别在于:
Client模式:
Spark App的Driver请求ResourceManager,产生一个ApplicationMaster,然后由ApplicationMaster向ResourceManager申请资源,ResourceManager分配Container给NodeManager,然后由NodeManager运行其上的Executor。
Cluster模式:
Driver运行节点即ApplicationMaster节点,后面的操作你懂得,跟Client模式差不多了。
注意:spark-shell只能在client模式下运行,比如默认deploty-mode其实如下
Standalone:
$ bin/spark-shell --master spark://z01:7077 --deploy-mode client
Spark的广播使用
广播这个概念在不同的计算机领域中都有涉及,那么在Spark中,如果你想过滤掉一些特殊符号,在这样的情境中,就可以使用广播(不使用行不行?行!但消耗更多。)首先我们先上代码:
![](http://upload-images.jianshu.io/upload_images/4951489-149beddaacf4a6ff.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
代码中,注意红框部分,我们使用广播过滤掉了一些特殊字符的统计。如果不适用广播,意味着list特殊字符集合中的所有信息都需要拷贝到所有的数据分区中,如果使用了广播,只需要将数据广播到指定的Executor中即可。
Spark中Maven项目的构建
在构建项目时,可以选择使用mvn命令构建,当然也可以使用IDEA的可视化界面构建,那么我们下面分别探讨两种方式:
方式一:环境-Linux(不推荐,当然也要看喜好)
方式二:环境-Windows(推荐)
Step1、打开IDEA工具,选择Create new project,选择Maven,点击Create from archetype,留意红框内容
![](http://upload-images.jianshu.io/upload_images/4951489-6009f53ea9f4af57.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
Step2、Next后,不必解释过多了吧?如图:
![](http://upload-images.jianshu.io/upload_images/4951489-88981133bd54b81f.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
Step3、选择你的Maven仓库地址,默认在.m2目录下,可以自己指定,稍后会自动下载相关依赖
![](http://upload-images.jianshu.io/upload_images/4951489-d1605530c32bf68e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
Step4、Next后,编辑项目的一些基本信息,finish即可,如图:
![](http://upload-images.jianshu.io/upload_images/4951489-9b06650aa3d4ebeb.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
Step5、打开pom.xml,配置一些后边课程我们可能会用到的依赖,剩下的目录配置等等,和之前的我们学过的一样
![](http://upload-images.jianshu.io/upload_images/4951489-a9c971f32093e51b.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/700)
Step6、最后完成时,你会发现导入的jar包在左边的External Libraries中看到如下内容
![](http://upload-images.jianshu.io/upload_images/4951489-6352c1b5b39e8370.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/456)
最后,在刚创建好的Maven工程中写一个WordCount试试?:)
* 总结
学会这些基础操作后,可以进行更多的拓展,比如分析一下apache的日志?请参看官方完整案例。
个人微博:http://weibo.com/seal13
QQ大数据技术交流群(广告勿入):476966007
作者:Z尽际
链接:https://www.jianshu.com/p/ec5b8869f2f4
來源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。