Spark基本概述

Spark概述

• 描述：基于内存的快速、通用、可扩展的分析计算引擎

MR与Spark对比

MR

从数据源获取数据，经过map、shuffle、reduce计算，将结果输出到指定位置，其核心是一次计算，不适合迭代计算和图计算

Spark

从数据源获取数据，将计算逻辑封装成RDD，经过特定算子计算，将结果输出到指定位置，可多次计算，适合迭代计算和图计算。中间结果不进行落盘（只有shuffle的结果落盘）

Spark

1. Spark Core：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core中还包含了对弹性分布式数据集(Resilient Distributed DataSet，简称RDD)的API定义。
2. Spark SQL：是Spark用来操作结构化数据的程序包。通过Spark SQL，我们可以使用 SQL或者Apache Hive版本的HQL来查询数据。Spark SQL支持多种数据源，比如Hive表、Parquet以及JSON等。
3. Spark Streaming：是Spark提供的对实时数据进行流式计算的组件。提供了用来操作数据流的API，并且与Spark Core中的 RDD API高度对应。
4. Spark MLlib：提供常见的机器学习功能的程序库。包括分类、回归、聚类、协同过滤等，还提供了模型评估、数据 导入等额外的支持功能。
5. Spark GraphX：主要用于图形并行计算和图挖掘系统的组件。
6. 集群管理器：Spark设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算。为了实现这样的要求，同时获得最大灵活性，Spark支持在各种集群管理器（Cluster Manager）上运行，包括Hadoop YARN、Apache Mesos，以及Spark自带的一个简易调度器，叫作独立调度器。

Spark特点

1. 快：与Hadoop的MapReduce相比，Spark基于内存的运算要快100倍以上，基于硬盘的运算也要快10倍以上。Spark实现了高效的DAG执行引擎，可以通过基于内存来高效处理数据流。计算的中间结果是存在于内存中的。
2. 易用：Spark支持Java、Python和Scala的API，还支持超过80种高级算法，使用户可以快速构建不同的应用。而且Spark支持交互式的Python和Scala的Shell，可以非常方便地在这些Shell中使用Spark集群来验证解决问题的方法。
3. 通用：Spark提供了统一的解决方案。Spark可以用于，交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）。这些不同类型的处理都可以在同一个应用中无缝使用。减少了开发和维护的人力成本和部署平台的物力成本。
4. 兼容性：Spark可以非常方便地与其他的开源产品进行融合。比如，Spark可以使用Hadoop的YARN和Apache Mesos作为它的资源管理和调度器，并且可以处理所有Hadoop支持的数据，包括HDFS、HBase等。这对于已经部署Hadoop集群的用户特别重要，因为不需要做任何数据迁移就可以使用Spark的强大处理能力。

Spark运行模式

1. 部署Spark集群大体上分为两种模式：单机模式与集群模式
2. 大多数分布式框架都支持单机模式，方便开发者调试框架的运行环境。但是在生产环境中，并不会使用单机模式。因此，后续直接按照集群模式部署Spark集群。
3. 下面详细列举了Spark目前支持的部署模式。
   1. Local模式：在本地部署单个Spark服务
   2. Standalone模式：Spark自带的任务调度模式。（国内常用）
   3. YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用）
   4. Mesos模式：Spark使用Mesos平台进行资源与任务的调度。