首先我们来看看Hadoop的相关简短回顾：
1. Hadoop是由Java语言编写，在分布式集群上存储海量数据并运行分布式分析应用框架
2. HDFS为其存储数据的分布式文件系统
3. 分布式计算框架为MapReduce
4. HBase一个基于HDFS的分布式非关系型数据库
5. Yarn作为分布式资源调度框架
再来看看Spark：
1. 开发语言 为 Scala
2. 基础于核心 == Spark Core
3. Spark SQL 用来操作结构化数据的组件。可以通过使用 SQL 语言来查询数据
4. Spark Streaming 针对实时数据进行流式计算的组件
5. 还有 Spark MLlib 和 Spark Graphx 分别是机器学习算法库 、面向图计算提供的框架与算法库
选择 Spark 还是选 Hadoop（MR）？？？
· Spark在MR的基础上，进行了计算过程的优化，利用其RDD计算模型（适合并行计算和重复使用）
· Hadoop基于磁盘进行数据通信，而Spark多个作业之间的通信是基于内存
· Spark Task 启动时间快，采用的是fork线程的方式；而Hadoop采用创建新的进程的方式
· Spark只有在shuffle 的时候将数据写到磁盘（进行磁盘IO），而Hadoop多个MR之间的胡数据交互都要依赖于磁盘交互
· Spark 的缓存机制 比 HDFS的缓存机制 更为高效（Spark中的 cache ＆ checkpoint）
由于Spark基于内存, 所以在实际环境中, 会受内存限制
Spark 相比于 MR更有优势 但是不能完全替代 MR