MapReduce 框架原理

1. Hadoop 序列化

1.1 自定义Bean对象实现序列化接口

• 必须实现 Writable 接口；
• 反序列化时，需要反射调用空参构造函数，所以必须有空参构造；
• 重写序列化方法；
• 重写反序列化方法；
• 注意反序列化的顺序和序列化的顺序完全一致；
• 要想把结果显示在文件中，需要重写 toString（）,可以" "分开，方便后续使用；
• 如果需要将自定义的Bean放在KEY中传输，则还需要实现 Comparable 接口，因为 MapReduce 框架中的 Shuffle 过程要求KEY必须能排序。

2. 切片与 MapTask 并行度决定机制

• MapTask 的并行度决定 Map 阶段的任务处理并发度，进而影响到整个 Job 的处理速度；
• MapTask 并行度决定机制
  • 数据块：Block 是 HDFS 物理上把数据分成一块一块；
  • 数据切片：数据切片只是逻辑上对输入进行分片，并不会在磁盘上将其切分成片进行存储；
• 一个Job在Map阶段并行度由客户端在提交Job时的切片数决定；
• 每一个Split切片分配一个 MapTask 并行实例处理；
• 默认情况，切片大小=BlockSize；

=======================

3. WordCount 案例

4. FileInputFormat 实现类

• FileInputFormat 常见的接口实现类包括： TextInputFormat,KeyValueTextInputFormat,NLineInputFormat,CombineTextInputFormat和自定义InputFormat等；

4.1 TextInputFormat

• TextInputFormat 是默认的 FileInputFormat 实现类。按行读取每条记录。键是存储该行在整个文件中的起始字节偏移量， LongWritable 类型。值是这行的内容，不包括任何行终止符（换行符和回车符），Text 类型。

4.2 KeyValueTextInputFormat

• 每一行均为一条记录，被分隔符分割为key，value。可以通过在驱动类中设置 conf.set(KeyValueLineRecordReader.KEY_VALUE_SEPERATOR, " "); 来设定分隔符。默认分隔符是tab( );

// 示例 a.txt
line1    Rich learning form
line2    Intelligent learning engine
line3    Learning more convenient
line4    From the real demand for more close to the enterprise

// 切割后的效果，键值对
(line1, Rich learning form)
(line2, Intelligent learning engine)
(line3, Learning more convenient)
(line4, From the real demand for more close to the enterprise)

=======================

4.3 NLineInputFormat

• 如果使用 NLineInputFormat， 代表每个map进程处理的 InputSplit 不再按 Block 块去划分，而是按 NLineInputFormat 指定的行数 N 来划分。即输入文件的总行数/N = 切片数， 如果不整除，切片数=商+1；

4.4 自定义 InputFormat

• 步骤：
  • 自定义一个类继承 FileInputFormat；
  • 改写 RecordReader，实现一次读取一个完整文件封装为KV；
  • 在输出时，使用 SequenceFileOutPutFormat 输出合并文件；

5.OutputFormat 数据输出

• OutputFormat是MapReduce输出的积累，所有实现MapReduce输出都实现了OutputFormat接口。
• 常见实现类：
  • TextOutputFormat(文本输出)
    • 默认的输出格式。它把每条记录写为文本行。它的键和值可以是任意类型。
  • SequenceFileOutputFormat
    • 经常作为后续MapReduce任务的输入，因为它的格式紧凑，很容易被压缩。
  • 自定义OutputFormat
    • 步骤：自定义一个类继承 FileOutputFormat;
    • 改写RecordWriter，具体改写输出数据的方法 write();