What Is Apache Spark?
- 速度方面：Spark扩展了MapReduce模型，可以更高效地提供多种类型的计算，包括交互式查询和流处理。Spark为speed所提供的最大能力就是内存计算。
- 通用性方面：Spark被设计以支持多种工作负载，包括批应用，迭代算法，交互式查询和流。
A Unified Stack
- Spark项目包含很多紧密集成的组件
Spark Core
- 包含Spark的基础功能，包括任务调度、内存管理、容错、与存储系统交互等组件
- 定义了Spark的主要编程抽象--RDD
Spark SQL
- Spark‘s package for working with structured data --> 用于处理结构化数据
- 允许通过SQL、HQL查询数据，支出多种数据源：Hive tables、Parquet以及JSON
- Spark SQL通过RDD操作可以允许开发者将SQL查询与可编程的数据操作混合
Spark Streaming
- enables processing of live streams of data
- 数据流的例子有：web server产生的logfiles、web service产生的查询信息等
MLib
- a library containing common machine learning functionality
- 提供了多种机器学习算法，包括分类、回归、聚类、协同过滤以及模型验证和数据导入等等
GraphX
- a library for manipulating graphs and performing graph-parallel computations
- 其API提供了创建带有任意属性的有向图的功能，以及对图的多种操作
Cluster Managers
- Spark被设计为可以高效地扩展到上千台计算节点
- 为了实现这种可扩展性并且最大化灵活性，Spark可以允许在很多种cluster managers之上，包括Hadoop YARN， Apache Mesos以及Spark内包含的Standalone Scheduler