什么是RDD（Resilient Distributed Dataset）
RDD叫作弹性分布式数据集合，是spark中最基本的数据（计算、逻辑）抽象，在代码中它是一个抽象类，代表一个不可变、可分区、里面的元素的可并行计算的集合。
RDD属性
1.一组分区，即数据集的基本组成单位
2.一个计算每个分区的函数
3.RDD之间存在依赖关系（血统）
4.一个Partitioner，即RDD的分片函数
5.一个列表，存储存取每个Partition的优先位置（移动数据不如移动计算）
- 进程本地化
- 节点本地化
- 机架本地化
RDD特点
RDD表示只读的分区的数据集，对RDD进行改动，只能铜鼓RDD的转换操作，由一个RDD得到一个新的RDD，新的RDD包含了从其他RDD衍生所必须的信息。RDDs之间存在依赖，RDD执行的是按照血缘关系延时计算的。如果血缘关系较长，可以通过持久化RDD来切断血缘关系。如果程序中多次使用同一个RDD，可以将该RDD进行缓存，只有在第一次计算的时候回根据血缘关系得到分区数据，在后续其他地方用到直接从缓存中取
算子
Spark中所有的RDD方法都称为算子，有转换算子和行动算子两大类。
创建RDD
有三种创建方式
- 从集合中创建
- 从外部存储创建
- 从其他RDD创建
注：以下都是在local部署模式下的条件上说明
从集合中创建
spark提供了两种函数：parallelize()和makeRDD(),底层实现都是用的parallelize()
1.使用parallelize（）
val arrayRDD = sc.parallelize(Array(1,2,3,4))
val arrayRDD = sc.parallelize(Array(1,2,3,4)，X) #自定义分区数量，默认是8
2.使用makeRDD（）
val listRDD = sc.makeRDD(lsit(1,2,3,4))
从外部存储系统的数据集创建
默认情况下，可以读取项目路径，也可以读其他路径，例如HDFS
val fileRDD = sc.textFile("XXX")
val fileRDD = sc.textFile(("XXX"),X) #这里自定义分区为最小分区数，具体如何分区依赖于hadoop的切片规则
RDD的转换
**RDD整体上分为Value类型和Key-Value类型
任务的划分&调度
一个分区划分一个任务（Task），一个任务会被分配到Executor执行