首先来看 MapReduce 流程图
一个 map，一个 reduce，中间靠 shuffle 连接，shuffle 左边被划分到 map，右边被划分到 reduce
InputFormat
input 是个文件，进入 mapper 后变成一行一行，如何实现的呢？
在 hadoop 中实现的方法叫 inputFormat；
它先对 原始文件进行 切片 Split，然后把每个 Split 转换成 line；
mapreduce 是个分布式计算框架，它如何实现并行呢？
比如 1G 的数据假设划分 8 份，每份128M，那 1M 的数据呢，也划分 8 份，每份才128K，感觉不靠谱，
到底如何划分，就是我们所说的 InputFormat 中的 Split
Split 与 MapTask 并行度
在 hadoop中，MapTask 并行度是靠 Split 决定的，有多少个 Split，就有多少个 task 并行；
那如何 Split 呢？
首先明确两点：
1. HDFS 上数据文件是以 block 存储的，一个 block 默认 128M
2. Split 是逻辑上的切分，而不会像 block 一样进行物理切分
Split 方式分析
假设 HDFS 上有个文件 300M，分为 3 个 block 存储，两个block 128M，另一个 44M；
假设我们按 100M 进行切分，如图
我们知道 hadoop 任务调度有个原则叫数据本地化，就是说尽量把任务发配到存放所需数据的节点上，从而避免网络传输；
上面的划分方式，仅仅是 300M 的数据，就传输了 28+56=84M， 显然效率不会高
假设我们按 block 进行切分，如图
虽然每个任务 处理的数据量稍微大了点，但是避免了网络传输，效率比较高
总结：
1. MapTask 的并行度由切片数决定
2. 一个 切片对应一个 MapTask
3. 默认情况下，切片大小=BlockSize，这种方式也是比较高效的
4. 切片时不考虑数据集整体，而是针对单个文件进行切片
如一个数据集有3个文件，一个 300M，一个 50M，一个20M，那么第一个文件切3份，第二个文件切1份，第三个文件切1份，彼此独立切分，互不影响