一、数值统计模式
1、求最大值、最小值、总值、个数、平均值
案例：给出用户发帖的第一次时间、最后一次时间、评论总数、帖子平均长度 等。
解决：定义一个 类CaculateObj实现 Writable 接口，以用户ID为Key，在Map/Reduce阶段向HDFS写入的是 CaculateObj 对象，这样一个MapReduce 程序可以完成所有操作。
最大值、最小值、总数、个数 可以用Combiner ， 平均值不能用Combiner 。
其中均值在Reduce 阶段使用 总值除以个数 来计算。
public class CaculateObj implements Writable{
private int max ;
private int min ;
private int sum;
private int count;
private int average;
private Date firstDate;
private Date lastDate;
@Override
public void write(DataOutput d) throws IOException {
d.writeInt(max);
d.writeInt(min);
d.writeInt(sum);
d.writeInt(count);
d.writeInt(average);
d.writeLong(firstDate.getTime());
d.writeLong(lastDate.getTime());
}
@Override
public void readFields(DataInput di) throws IOException {
this.max = di.readInt();
this.min = di.readInt();
this.sum = di.readInt();
this.count = di.readInt();
this.average = di.readInt();
this.firstDate = new Date(di.readLong());
this.lastDate = new Date(di.readLong());
}
// Getter / Setter
}
2、求中值和均方差
案例：统计用户每天发帖长度的中值和标准差。
解决方法1：以时间 “天”为 Key，map 阶段的Key是天、Value是帖子长度，Reduce 阶段先计算每天发帖的数目，总长度，手动计算得到中值= 顺序为发帖数/2 的那个元素，均值=总长度/个数，均方差 按公式计算。此方法的缺点是内存消耗大。
解决方法2：以时间 “天” 为Key，map 阶段的Key是天、Value是SortedMapWritable(key为帖子长度，value为1) ，在Combiner 阶段写入key是天，Value是SortedMapWritable(key为帖子长度，value为个数)，reduce阶段输入的Value就是SortedMapWritable(帖子长度、相同长度的个数) 。此方法的节约内存，减少传输。
二、反向索引模式
根据数据集生成索引，用于快速搜索或数据的富集能力。
案例：给出用户评论数据，在一系列回答问题的id上创建wikipedia的反向索引
解决：很简单。从url中抽出id，map阶段url为key、id为value，reduce 阶段url为key，id拼凑字符串为value。
三、计数器模式
案例：用hadoop自定义计数器统计每个州的用户数。
解决：使用计数器，
- context.getCounter(STATE_COUNTER_GROUP, state) .increment(1);
四、过滤器模式
就是过滤掉不符合要求的记录。
案例：Grep 作为流行的文本过滤工具，对一个文件进行行扫描，匹配指定的样式就输出。我们要在MapReduce中应用正则表达式。
解决：setup方法中取得要使用的正则表达式，在map中简单使用就行，无需reduce。
案例：随机采样。
解决：setup方法中取得采样参数，在map中简单使用就行，无需reduce。
特别的，有高效的布隆过滤器“ BloomFilter。
案例：给出用户评论数据，过滤出绝大多数不包含指定关键词的评论。
解决：使用BloomFilter。
案例：给出用户评论列表，过滤掉声誉不超过1500的用户的评论。
解决：使用BloomFilter。
五、Top ten 模式
案例：问题：给出用户信息数据，根据用户的声誉值输出top ten。
解决：在Map、Reduce 阶段都计算top ten，使用一个容量为10的PriorityQueue。Map阶段的map方法中将数据保存在PriorityQueue中，不写入HDFS，在clean方法中以Null为key，PriorityQueue中用户信息为Value写入HDFS中。Reduce 阶段直接再将数据放入PriorityQueue，循环完成后，以Null为key，PriorityQueue中用户信息为Value写入HDFS中。
六、Distinct 模式
就是去掉重复值。
案例：给出用户评论数据，根据用户id去重。
解决：map阶段以用户Id为key，Null为value写入HDFS；Combine阶段直接输出用户Id；Reduce阶段直接输出用户Id。
七、结构分层模式
把基于行的数据转换成有层次的格式，例如，json xml。
案例：给出用户发帖和评论数据，创建结构化的xml层次结构，将相关的评论嵌套在对应的发帖之内。
解决：两个Map， map1用于处理发帖， map2处理评论。map输出的key均为帖子Id，map1输出的value标记1表示发帖，map2的输出value标记2表示评论。Reduce的时候以帖子id为key，组合所有的发帖、回帖记录为XML。
案例：使用前面例子的输出，执行自关联操作，创建问题帖，回答帖，和评论的层次结构。
解决：
八、分区模式
分区模式是把记录移动到目录里（分片，分区，或箱）。但不关心记录的顺序。
案例：给出用户信息数据，根据一年内最后访问日期分区数据，一年一个大分区。
解决：配置使用自定义的partitioner。不同年份写入不同目录。
九、分箱模式
归档数据集中的每条记录到一个或多个类别。
案例：给出stackOverflow发帖数据，基于hadoop，pig，hive，hbase四个标签分到四个箱。对于文本内容或标题提到hadoop的，放在跟上面不同的箱。
解决：使用MultipleOutputs 。Map阶段的setup方法配置MultipleOutputs ，map方法写入不同目录，clean方法关闭MultipleOutputs 。
十、全局排序
案例：stackOverflow 的用户数据是按账户排序的。而我们希望根据最后访问网站的时间排序。
解决：
十一、混洗
打乱排序，随机合并数据集。
案例：给出大量评论数据，隐藏评论的某些信息：移除id，移除时间。然后随机混洗数据。
解决：map 阶段随机生成key，将评论作为value，则可将顺序弄乱。
十二、表连接
1、Reduce 端连接
案例： 给出用户数据和用户评论数据，把评论所属用户信息关联到评论数据上。
解决：两个Map，一个读入用户数据，一个读入评论数据，以用户Id为key，用值U、C分别标记用户数据和评论数据。在Reduce阶段再进行连接。
2、使用布隆过滤器的Reduce 端连接
可大大减少数据传输。
案例：只对声誉值在1500以上的用户感兴趣。
解决：
3、Map 端连接
案例：给出少量的用户信息数据和一个大的评论数据，用用户数据丰富评论数据。
解决：Setup阶段，从分布式缓存 DistributedCache 读用户数据并存进内存。
4、Hadoop自带的连接
Hadoop本身有CompositeInputFormat 类支持复合join。这种模式的限制类型为：内连接和全外连接。Mapper的输入必须用指定的方式分区和排序，并且每个输入数据集必须分成相同数量的分区。另外，相同的外键必须在两个数据集相同的分区。这通常发生在几个job有相同的reducer个数并输出键也相同，并且输出文件时不能分割的。例如，比hdfs的block小或是一种不支持split的压缩格式。
案例：给出两个大数据集：用户信息和评论数据，使用用户数据丰富评论数据。
解决：使用CompositeInputFormat
5、笛卡尔积
笛卡尔积会使数据集的大小暴增，甚至是一个100万数据的自连接也会产生1万亿条记录。会用掉很多map slot 并运行很长时间，所以要谨慎使用。
案例：给出处理过的stackOverflow 评论数据，根据每对之间的相似单词的数量找出评论之间的相似程度。
解决：笛卡尔积。
十二、Job链
1、Job链
案例：给出stackOverflow 用户发帖数据，把用户分成两部分，根据高于或低于发帖数的平均值。并且丰富用户信息，加上从另一个数据集获得的声誉值，然后输出。
解决：两个MapReduce 程序。
2、并行Job链
并行job链的驱动跟前面例子的相似。唯一大的改进是jobs被并行提交然后监控它们直到完成。
案例：用到前面例子产生的分箱的用户数据，在两个箱上同时跑job计算平均声誉值。
解决：
3、带Shell 的Job链
4、使用 JobControl的Job链
5、Job链合并
案例：给出用户发帖和用户信息数据，根据声誉值在5000上或下分类用户。
6、Job Merging
十三、输入输出模式
1、生成数据模式
案例：为了生成随机stackOverflow数据，我们使用1000个单词的list生成随机短评。我们需要生成一个随机分数，row id，userid，和创建时间。
解决：
2、外部源输出模式
外部源输出模式写到hadoop系统之外。
案例：给出用户信息数据，并行随机分发用户-声誉值的映射数据到一个数量可配置的redis集群。
3、外部源输入模式
这种模式不从hdfs加载数据，而是从hadoop以外系统，例如RDB或web service加载。
案例：给出csv格式redis实例列表，通过可配置的hash并行读取所有数据。
4、分区裁剪模式
案例：指根据文件名配置框架挑选和丢弃的要加载到MapReduce的文件的方式。