020 shuffle的重要作用，以及分区的实践

一：学shuffle原理的必要性

1.说明

　　学习shuffle的作用是可以对程序进行优化。

　　在shuffle这个部分有三个部分需要注意：

　　　　分区

　　　　排序

　　　　分组

　　这个可以进行优化。

二：分区的实践

1.说明

　　在shuffle中有一行程序job.setPartitionerClass(partition.class);

　　所以，可以书写一个分区规则。

2.程序

package com.senior.bigdata;

import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;

public class PartitionerRule extends Partitioner<Text,IntWritable>{

    @Override
    public int getPartition(Text key, IntWritable value, int numPartitions) {
        String str=key.toString();
        if(str.substring(0,1).matches("A-Z")){
            return 0;
        }
        return 1;
    }

}