前言:为什么Hadoop基本类型还要定义序列化?
1、Hadoop在集群之间通信或者RPC调用时需要序列化,而且要求序列化要快,且体积要小,占用带宽小。
2、java的序列化机制占用大量计算开销,且序列化结构体积过大,它的引用机制也导致大文件不能被切分,浪费空间,此外,很难对其他语言进行扩展使用。
3、java 的反序列化过程每次都会构造新的对象,不能复用对象。
Hadoop定义了两个序列化相关的接口
-Writable
-Comparable
WritableComparable接口相当于继承了上述两个接口的新接口。
Public interface WritableComparable<T> extends Writable,Comparable<T>
Writable接口
基于DataInput与DataOutput的简单高效可序列化接口,就是org.apache.hadoop.io.Writable接口
几乎所有的hadoop可序列化对象都必须实现这个接口有2个方法,Write,readFiles
下面以IntWritable为例,它把java的int类型封装成了Writable序列化格式,并且可以通过set()设置它的值
-new IntWritable().set(100); -new IntWritable(100);
WritableComparable接口
类似java的Comparable接口,用于类型的比较。MR其中一个阶段叫排序,默认使用Key来排序。Hadoop提供了一个优化接口RawComparator。
Public interface RawComparator<T> extends Comparator<T>{
Public int compare(byte[] b1,int s1,int l1,byte[] b2,int s2,int l2);
}
可以比较b1和b2,允许执行者直接比较数据流记录,而无须先把数据流反序列化成对象,这样可以避免新建对象的开销
例子: