zoukankan      html  css  js  c++  java
  • Hadoop IO操作之序列化

    前言:为什么Hadoop基本类型还要定义序列化?

      1、Hadoop在集群之间通信或者RPC调用时需要序列化,而且要求序列化要快,且体积要小,占用带宽小。

      2、java的序列化机制占用大量计算开销,且序列化结构体积过大,它的引用机制也导致大文件不能被切分,浪费空间,此外,很难对其他语言进行扩展使用。

      3、java 的反序列化过程每次都会构造新的对象,不能复用对象。

    Hadoop定义了两个序列化相关的接口

      -Writable

      -Comparable

    WritableComparable接口相当于继承了上述两个接口的新接口。

             Public interface WritableComparable<T>  extends Writable,Comparable<T>
    Writable接口

       基于DataInput与DataOutput的简单高效可序列化接口,就是org.apache.hadoop.io.Writable接口

       几乎所有的hadoop可序列化对象都必须实现这个接口有2个方法,Write,readFiles

    下面以IntWritable为例,它把java的int类型封装成了Writable序列化格式,并且可以通过set()设置它的值

       -new IntWritable().set(100);   -new IntWritable(100);

        WritableComparable接口

      类似java的Comparable接口,用于类型的比较。MR其中一个阶段叫排序,默认使用Key来排序。Hadoop提供了一个优化接口RawComparator。

      Public interface RawComparator<T> extends Comparator<T>{
            Public int compare(byte[]  b1,int s1,int l1,byte[] b2,int s2,int l2);
      }
      可以比较b1和b2,允许执行者直接比较数据流记录,而无须先把数据流反序列化成对象,这样可以避免新建对象的开销

      例子:

    A implements Writable,comparable{
    write(DataInputStream);
    DataInputStream readFiles();
    comparaTo (B b){ // 二次排序
    if(b.x > a.x)
    }
    equals();
    hascode();
    }
    A实现了上述两种接口,就可以作为hadoop的类.
  • 相关阅读:
    promise思考
    思考
    前端命名规范化
    location的属性
    underscore里面的debounce与throttle
    nginx使用
    js原形链
    JS中常遇到的浏览器兼容问题和解决方法
    用js刷题的一些坑
    从mixin到new和prototype:Javascript原型机制详解
  • 原文地址:https://www.cnblogs.com/1iHu4D0n9/p/8361077.html
Copyright © 2011-2022 走看看