【MapReduce Notes】
1、一个Map/Reduce 作业的输入和输出类型如下所示：
2、Shuffle & Sort & Secondary Sort
Reducer的输入就是Mapper已经排好序的输出。在这个阶段，框架通过HTTP为每个Reducer获得所有Mapper输出中与之相关的分块。
框架将按照key的值对Reducer的输入进行分组 （因为不同mapper的输出中可能会有相同的key）。Shuffle和Sort两个阶段是同时进行的；map的输出也是一边被取回一边被合并的。
如果需要中间过程对key的分组规则和reduce前对key的分组规则不同，那么可以通过
JobConf.setOutputValueGroupingComparator(Class)来指定一个Comparator。再加上 JobConf.setOutputKeyComparatorClass(Class)可用于控制中间过程的key如何被分组，所以结合两者可以实现按值的二次排序。
3、combiner的输入输出类型必须和mapper的输出以及reducer的输入类型一致。
4、Shuffle全过程：