1. 为什么要序列化
如图,一个活着的对象只存在于内存中,一旦断电就会消失。并且,在正常情况下,一个或者的对象无法直接通过网络发送到其他(远程)机器上。而序列化可以克服上述问题,它能存储对象,并完成其网络传输的任务。
2. 什么是序列化
序列化是将对象转化为字节流的方法,或者说用字节流描述对象的方法。与序列化相对的是反序列化,即将字节流转化为对象的方法。
序列化由两个目的:
1)进程间通信;
2)数据持久性存储。
3. 为什么不用Java的序列化机制
Java的序列化机制存在开销大、体积大和和它的引用机制所导致的大文件不能分割的缺点。因此,Java的序列机制不适合Hadoop,Hadoop设计了自己的序列化机制。
4. Hadoop序列化机制的特点
Hadoop采用RPC来实现进程间通信,RPC的序列化机制具有以下特点:
1)紧凑:紧凑的格式可以充分利用带宽,加快传输速度;
2)快速:能减少序列化和反序列化的开销,这会有效地较少进程间通信的时间;
3)可扩展:可以逐步改变,是客户端与服务器直接相关的,可以随时加入一个新的参数方法调用;
4)互操作性:支持不同语言编写的客户端与服务器交换数据。
5. Hadoop序列化接口
Hadoop的序列化机制定义了两个接口:Writable接口和Comparable接口,它们可以合并为WritableComparable接口。
5.1 Writable类
Writable是Hadoop的核心,Hadoop通过它定义了Hadoop中基本的数据类型及其操作。Writable类定义了两个方法:
package org.apache.hadoop.io;
import java.io.DataOutput;
import java.io.DataInput;
import java.io.IOException;
public interface Writable {
/**
* 将对象转换为字节流并写入到输出流out中
*/
void write(DataOutput out) throws IOException;
/**
* 从输入流in中读取字节流反序列化为对象
*/
void readFields(DataInput in) throws IOException;
}
5.2 Comparable类
所有实现了Comparable的对象都可以和自身相同类型的对象比较大小。该接口定义为:
package java.lang;
import java.util.*;
public interface Comparable
{
/**
* 将this对象和对象o进行比较,约定:返回负数为小于,零为大于,整数为大于
*/
public int compareTo(T o);
}
6. 自定义writable接口
Hadoop 中,并没有使用Java自带的基本类型类(Integer、Float等),而是使用自己开发的序列化类型。Hadoop 自带有很多序列化类型,大致分为以下两种。
6.1 实现了WritableComparable接口的类
* 基础:BooleanWritable | ByteWritable
* 数字:IntWritable | VIntWritable | FloatWritable | LongWritable | VLongWritable | DoubleWritable
* 高级:NullWritable | Text | BytesWritable | MDSHash | ObjectWritable | GenericWritable
6.2 仅实现了Writable接口的类:
* 数组:ArrayWritable | TwoDArrayWritable
* 映射:AbstractMapWritable | MapWritable | SortedMapWritable
为便于理解 Hadoop 自带的 Writable 类型,我们使用以下表格展示Java基本类型和 Writable 的对应关系。
针对上述 Hadoop 中的Writable类型,我们只简单介绍一下 Text。
Text 类是一种 UTF-8 格式的 Writable 类型。可以将它理解为一种与 java.lang.String 类似的 Writable 类型。
Text类型与String类型的主要区别如下:
1)String的长度定义为String包含的字符个数;Text的长度定义为UTF-8编码的字节数。
2)String内的indexOf()方法返回的是char类型字符的索引,比如字符串(1234),字符3的位置就是2(字符1的位置就是0);而Text的find()得到返回得是字节偏移量。
3)String的charAt()方法返回的是指定位置的插入字符;而Text的charAt()方法需要制定偏移量。
另外,Text内定义了一个方法toString(),它用于将Text类型转化为String类型。
以上就是博主为大家介绍的这一板块的主要内容,这都是博主自己的学习过程,希望能给大家带来一定的指导作用,有用的还望大家点个支持,如果对你没用也望包涵,有错误烦请指出。如有期待可关注博主以第一时间获取更新哦,谢谢!
版权声明:本文为博主原创文章,未经博主允许不得转载。