MapReduce原理

以WordCount程序为例，假设有三台DataNode，每台DataNode有不一样的数据，如下表格所示：

DataNode1	DataNode2	DataNode3
who are you are	who am i are	who is he am

经过Map函数后，生成以下键值对：

DataNode1	DataNode2	DataNode3
who   1 are     1 you    1 are     1	who    1 am      1 i          1 are      1	who   1 is        1 he      1 am     1

然后按照key值排序，变成以下键值对：

DataNode1	DataNode2	DataNode3
are      1 are      1 who    1 you     1	am       1 are       1 i           1 who     1	am      1 he       1 is         1 who    1

如果有Combiner函数的话，则把相同的key进行计算，我们可以吧Combiner函数当做一个miniReduce函数：

DataNode1	DataNode2	DataNode3
are      2 who    1 you     1	am       1 are       1 i           1 who     1	am      1 he       1 is         1 who    1

如果有Partition函数的话，则进行分区，分几个区就有几个Reducer同时进行运算，然后就会生成几个不一样的结果文件；默认只有一个Reducer进行工作。

这里先讲一个Reducer的情况，数据先从三个DataNode中Copy过来，然后Merge到Reducer中去：

Reducer

are      2

who    1

you     1

am      1

are      1

i          1

who    1

am      1

he       1

is         1

who    1

然后对数据按照key进行排序(Sort)，Copy，Merge，Sort过程统称为Shuffle过程：

Reducer

am      1

am      1

are      2

are      1

he       1

i          1

is         1

you     1

who    1

who    1

who    1

然后数据经过Reduce函数后，生成以下输出文件：

Reducer

am      2

are      3

he       1

i          1

is         1

you     1

who    3

 

到这里为止，整个MapReduce过程也就完成了。

如果有多个Reducer的话，不同的是数据会分开Copy到不同的机器中，也就是分开计算，然后Copy到每个Reducer中的数据都会经过Merge，Sort，Reduce过程，最后每个Reducer都会生成一个结果文件。