spark特性：
提供了java scala python 和R的api支持。
在生产环境上扩展超过8000个节点。
可以在内存中缓存交互中间数据的能力：提炼一个工作集合，缓存它，反复查询。
低级别的水平伸缩的数据检索可以通过scala或者python 命令行进行交互。
高级别的流处理库spark streaming可以处理流数据。
通过spark sql支持结构化的关系查询处理（sql）。
机器学习和图形处理的高级别库。
spark工程构成：
1. spark核心及RRDs(Resilient Distributed Datasets)
spark核心是整个工程的基础，它提供了分布式任务的分发、调度和基本的IO功能。最基本的抽象就是RRDs，一个跨机器的分区数据的逻辑集合。RDDs可以由引用的外部存储系统创建，或者在已存在的RDDs上应用粗粒度变换(如map，filter，reduce，join等)。
RDDs抽象接口由特定语言java、python、scala 的api接口暴露，如在本地数据集合一样。这简化了编程的复杂性，因为应用操作RDDs的方式和操作本地数据集合类似。
2. spark sql
spark sql组件位于spark核心之上，它引入了名称为SchemaRDD的新的数据抽象。SchemaRDD支持结构化和半结构化数据。spark sql 提供了基于特定语言scala，java，python操作schemaRDDs。它也提供了通过命令行和odbc/jdbc服务器来操作sql语句的支持。从Spark 1.3开始，SchemaRDD命名为DataFrame。
3. spark streaming
spark streaming利用spark核心的快速调度能力来执行流分析。它小批量采集数据并且对这些小批量数据执行RDD转换。这种设计使在一台引擎中，批量分析的应用程序代码也可以用在流分析的批量分析中。
4. MLLIb机器学习库
MLLib是一个位于spark之上的分布式系统学习框架，因其基于分布式内存的spark架构，它的速度达到相同版本的基于磁盘的apache Mahout的9倍，扩展性甚至优于Vowpal Wabbit。它实现了很多通用机器学习和分析算法来简化大规模机器学习管道，包括：
summary statistics, correlations, stratified sampling, hypothesis testing, random data generation； classification and regression: SVMs, logistic regression, linear regression, decision trees, naive Bayes； collaborative filtering: alternating least squares (ALS)； clustering: k-means, Latent Dirichlet Allocation (LDA)； dimensionality reduction: singular value decomposition (SVD), principal component analysis (PCA)； feature extraction and transformation； optimization primitives: stochastic gradient descent, limited-memory BFGS (L-BFGS)；
5. GraphX
GraphX是一个位于spark之上的分布式图形处理框架。
spark源码结构
整体上Spark分为以下几个主要的子模块:
deploy:deply模块包括Master，Work和Client，参见architecture图的最上 部分。deploy主要负责启动和调度用户实现的Spark application并且分配资源给用户 application，类似于Hadoop YARN框架。scheduler:scheduler主要负责调度用户application内的tasks，根据部署方式的不 同Spark实现了多种不同的scheduler，包括LocalScheduler，ClusterScheduler等 。rdd:rdd类似于一个分布式的数据集，用户可以根据rdd所提供的api进行数据集的 操作，rdd模块是用户交互的主要模块。storage:storage模块主要负责数据集，也就是rdd的存取。根据设定的不同，数 据可以保存在内存、磁盘或是两者。Spark与Hadoop MapReduce最大的不同在于MapReduce 将数据保存在HDFS上，而Spark则由自己的存储系统。
参考文献
【1】https://en.wikipedia.org/wiki/Apache_Spark
【2】http://jerryshao.me/architecture/2013/03/29/spark-overview/