zoukankan      html  css  js  c++  java
  • Spark学习体系

    底理解Spark,能够分为以下几个层次。
    1 Spark基础篇
    	1.1 Spark生态和安装部署
    		在安装过程中,理解其基本操作步骤。
    		安装部署
    		  Spark安装简单介绍
    		  Spark的源代码编译
    		  Spark Standalone安装
    		  Spark Standalone HA安装
    		  Spark应用程序部署工具spark-submit
    		Spark生态
    		  Spark(内存计算框架)
    		  SparkSteaming(流式计算框架)
    		  Spark SQL(ad-hoc)
    		  Mllib(Machine Learning)
    		  GraphX(bagel将被代替)
    	1.2 Spark执行架构和解析
    		Spark的执行架构
    		  基本术语
    		  执行架构
    		  Spark on Standalone执行过程
    		  Spark on YARN 执行过程
    		Spark执行实例解析
    		  Spark on Standalone实例解析
    		  Spark on YARN实例解析
    
    
        1.3 Spark的监控和调优
    		Spark的监控
    		  Spark UI监控,默认port是4040
    		  Ganglia 监控,大数据监控开源框架
    		Spark调优
    		  基础性调优方式
    	1.4 Spark编程模型	  
    	    Spark的编程模型
    		  Spark编程模型解析
    		  RDD的特点、操作、依赖关系
    		  Spark应用程序的配置
    	    Spark编程实例解析
    		  日志的处理
    	1.5 Spark Streaming原理	  
    		  Spark流式处理架构
    		  DStream的特点
    		  Dstream的操作和RDD的差别
    		  Spark Streaming的优化
    		Spark Streaming实例分析
    		  经常使用的实例程序:
    				  文本实例
    				  Window操作
    				  网络数据处理
    	1.6 Spark SQL原理
    		  Spark SQL的Catalyst优化器
    		  Spark SQL内核
    		  Spark SQL和Hive	
            Spark SQL的实例
    		  Spark SQL的实例操作demo
    		  Spark SQL的编程,须要网络上查找一些资源		  
    
    
    2 中级篇
    	2.1 Spark的多语言编程	
            Spark的scala编程
            Spark的Python编程(Java一定熟悉啦,不用多说了)
               相应的应用程序实例,理解主要的处理模式。		
    
    
    	2.2 Spark 机器学习入门
    		机器学习的原理
    		Mllib简单介绍,实例分析
        2.3 GraphX 入门
    		图论基础
    		GraphX的简单介绍
    		GraphX例程分析
        2.4 理解Spark与其他项目的差别和联系
    	    Spark和MapReduce、Tez
    		Spark的衍生项目BlinkDB,RSpark
        2.5 关注Spark的作者的blog和权威站点的文档
    
    
    3 高级篇
       3.1 深入理解Spark的架构和处理模式
       
       3.2 Spark源代码剖析与研读
            Spark Core核心模块,
    		掌握以下核心功能的处理逻辑:
    			SparkContext 
    			Executor
    			Deploy
    			RDD和Storage
    			Scheduler和Task
    		Spark Examples
    	3.3 思考怎样优化和提升,掌握其优缺点,
    	    深入思考能不能衍生出有意思的课题。


          以上就是学习Spark的有关内容和步骤,详细怎样学习,仁者见仁智者见智。

  • 相关阅读:
    HDU 4296 Buildings(贪心)
    HDU 4288 Coder(线段树)
    hdu 5073 Galaxy
    ZOJ 3905 Cake(贪心+dp)
    ZOJ 3903 Ant(公式推导)
    除法求逆元(扩展欧几里德和费马小定理)
    HDU 4442 Physical Examination(关于贪心排序)
    ACM vim配置
    2015 南阳ccpc The Battle of Chibi (uestc 1217)
    次小生成树(入门)
  • 原文地址:https://www.cnblogs.com/hrhguanli/p/3904446.html
Copyright © 2011-2022 走看看