zoukankan      html  css  js  c++  java

  • Hive中的文件存储格式

    文件存储格式

    Hive支持的存储数据的格式主要有：文本格式（TEXTFILE ）、二进制序列化文件（SEQUENCEFILE）、行列式文件（RCFile）、优化的行列式文件（ORC）、PARQUET。其中优化的行列式文件（ORC）、PARQUET以其高效的数据存储和数据处理性能得以在实际的生产环境中大量运用。

    列式存储和行式存储

    image-20210620201431329

    如图所示左边为逻辑表，右边第一个为行式存储，第二个为列式存储。

    行式存储的特点

    查询满足条件的一整行数据的时候，如果数据文件是列式存储的，则需要去每个聚集的字段找到对应的每个列的值，行存储只需要找到其中一个值，其余的值都在相邻地方，所以此时行存储查询的速度更快。

    列式存储的特点

    因为每个字段的数据聚集存储，在查询少数几个字段的时候，可以只读需要的数据，这样能大大减少读取的数据量，降低IO数据量；每个字段的数据类型一定是相同的，列式存储可以针对性的设计更好的设计压缩算法，进一步节约存储空间。

    TEXTFILE和SEQUENCEFILE的存储格式都是基于行式存储的；

    ORC和PARQUET是基于列式存储的。

    TextFile格式

    默认格式，数据不做压缩，磁盘开销大，数据解析开销大。可结合Gzip、Bzip2使用，但使用Gzip这种方式，hive不会对数据进行切分，从而无法对数据进行并行操作。

    Orc格式

    Orc (Optimized Row Columnar)是Hive 0.11版里引入的新的存储格式。ORC存储的文件是一种带有模式描述的行列式存储文件，有别于传统的数据存储文件，它会将数据先按照行组进行切分，一个行组内部包含若干行，每一行再按列进行存储。如下图所示，可以看到每个Orc文件由1个或多个stripe组成，每个stripe250MB大小，这个Stripe实际相当于RowGroup概念。

    image-20210620202300669

    ORC文件结构由三部分组成：

    • 条带（Stripe）：ORC文件存储数据的地方。
    • 文件脚注（File Footer）：包含了文件中stripe的列表，每个stripe的行数，以及每个列的数据类型。它还包含了每个列的最小值、最大值、行计数、求和等聚合信息。
    • Postscript：记录了整个文件的压缩类型，含有压缩参数和压缩大小相关的信息。

    Stripe结构也可以分为三个部分：

    • Index Data：它保存了所在条带的一些统计信息，以及数据在stripe中的位置索引信息。它是一个轻量级的索引，默认是每隔1W行做一个索引。这里做的索引应该只是记录某行的各字段在Row Data中的offset。
    • Row Data：存的是具体的数据，先取部分行，然后对这些行按列进行存储。对每个列进行了编码，分成多个Stream来存储。
    • Stripe Footer：存的是各个Stream的类型，长度等信息。

    Row Data主要存储两部分的数据，即metadata stream和data stream：

    • metadata stream：用于描述每个行组的元数据信息；
    • data stream：存储数据的地方；

    从上面的ORC文件结构可以知道ORC在每个文件中提供了3个级别的索引：

    • 文件级：这一级的索引信息记录文件中所有stripe的位置信息，以及文件中所存储的每列数据的统计信息。==> File Footer
    • 条带级：该级别索引记录每个strpe所存储数据的统计信息。==> Index Data
    • 行组级：在stripe中，每隔10000行构成一个行组，该级别的索引信息就是记录这个行组中存储的数据的统计信息。 ==> metadata stream

    程序在查询ORC文件类型的表时，会先读取每一列的索引信息，将查找数据的条件和索引信息进行比较，找到满足查找条件的文件。接着根据文件中的索引信息，找到存储对应的查询条件数据stripe，再借助stripe的索引信息读取文件中满足查询条件的所有行组。之后再根据stripe中每个行组的索引信息和查询条件比对的结果，找到满足要求的列。

    Parquet格式

    Parquet是面向分析型业务的列式存储格式，由Twitter和Cloudera合作开发，2015年5月从Apache的孵化器里毕业成为Apache顶级项目。

    在一个Parquet类型的Hive表文件中，数据被分成多个行组（Row Group），一个行组包含这个行组对应的区间内的所有列的列块（column chunk）。一个列块负责存储某一列的数据，一个列块由page组成，page是压缩和编码的单元。Row Group是数据读写时的缓存单元。

    Parquet文件是以二进制方式存储的，所以是不可以直接读取的，文件中包括该文件的数据和元数据，因此Parquet格式文件是自解析的。

    通常情况下，在存储Parquet数据的时候会按照Block大小设置行组的大小，由于一般情况下每一个Mapper任务处理数据的最小单位是一个Block，这样可以把每一个行组由一个Mapper任务处理，增大任务执行并行度。

    image-20210620205710668

    上图展示了一个Parquet文件的内容，一个文件中可以存储多个行组，文件的首位都是该文件的Magic Code，用于校验它是否是一个Parquet文件，Footer length记录了文件元数据的大小，通过该值和文件长度可以计算出元数据的偏移量。Parquet在存储数据时，也同ORC一样记录这些数据的元数据，这些元数据主要有：

    • 文件级别的元数据
      • 表结构信息（Schema）
      • 该文件的记录数
      • 该文件拥有的行组，以及每个行组的数据总量，记录数；
      • 每个行组下，列块的文件偏移量；
    • 列块的元数据信息
      • 数据页的偏移量
      • 索引页的偏移量
      • 列块的数据记录数
    • 页头的元数据信息
      • 该页的编码信息
      • 该页的数据记录数

    在Parquet中，有三种类型的页：数据页、字典页和索引页。数据页用于存储当前行组中该列的值，字典页存储该列值的编码字典，每一个列块中最多包含一个字典页，索引页用来存储当前行组下该列的索引，目前Parquet中还不支持索引页。

    主流文件存储格式对比实验

    从存储文件的压缩比和查询速度两个角度对比。

    存储文件的压缩比测试

    1.TextFile

    （1）创建表，存储数据格式为TEXTFILE

    create  table log_text (  track_time  string,  url  string,  session_id  string,  referer  string,  ip  string,  end_user_id  string,  city_id  string  )  row  format delimited fields terminated by '	'  stored  as textfile ;

    （2）向表中加载数据

    hive  (default)> load data local inpath '/opt/module/datas/log.data' into table  log_text ;

    （3）查看表中数据大小

    hive  (default)> dfs -du -h /user/hive/warehouse/log_text;

    18.1 M /user/hive/warehouse/log_text/log.data

    2.ORC

    （1）创建表，存储数据格式为ORC

      create  table log_orc(  track_time  string,  url  string,  session_id  string,  referer  string,  ip  string,  end_user_id  string,  city_id  string  )  row  format delimited fields terminated by '	'  stored  as orc ;

    （2）向表中加载数据

      hive  (default)> insert into table log_orc select * from log_text ;

    （3）查看表中数据大小

      hive  (default)> dfs -du -h /user/hive/warehouse/log_orc/ ;

    2.8 M /user/hive/warehouse/log_orc/000000_0

    3.Parquet

    （1）创建表，存储数据格式为parquet

      create  table log_parquet(  track_time  string,  url  string,  session_id  string,  referer  string,  ip  string,  end_user_id  string,  city_id  string  )  row  format delimited fields terminated by '	'  stored  as parquet ;

    （2）向表中加载数据

      hive  (default)> insert into table log_parquet select * from log_text ;

    （3）查看表中数据大小

      hive  (default)> dfs -du -h /user/hive/warehouse/log_parquet/ ;

    13.1 M /user/hive/warehouse/log_parquet/000000_0

    存储文件的压缩比总结：

    ORC > Parquet > textFile

    image-20210620220802802

    存储文件的查询速度测试

    1.TextFile
    hive (default)> select ip from log_text;

    image-20210620221208408

    hive (default)> select * from log_text;

    image-20210620221433856

    2.ORC
    hive (default)> select ip from log_orc;

    image-20210620221224640

    hive (default)> select * from log_orc;

    image-20210620221352066

    3.Parquet
    hive (default)> select ip from log_parquet;

    image-20210620221240644

    hive (default)> select * from log_parquet;

    image-20210620221312937

    通过上面的实验检测发现，这种存储方式对应的文件的查询速度相近。
  • 相关阅读:
    基于php socket(fsockopen)的应用实例分析
    php多线程的问题
    PHP之fsockopen提交POST数据讲解
    Sort List
    Insertion Sort List
    LRU Cache
    Reorder List
    Word Break II
    Word Break
    Copy List with Random Pointer
  • 原文地址：https://www.cnblogs.com/yxym2016/p/14908934.html
Copyright © 2011-2022 走看看