zoukankan      html  css  js  c++  java
  • Hive-文件存储格式

    Hive-文件格式

    TEXTFILE

    描述

    TEXTFILE是普通的文本型文件,是Hadoop里最常用的输入输出格式,也是Hive的默认文件格式。

    输入输出包

    org.apache.hadoop.mapred.TextInputFormat

    org.apache.hadoop.mapred.TextOutputFormat

    SEQUENCEFILE

    描述

    Sequence文件是由二进制键值对组成的平面文件。Hive将查询转换成MapReduce作业时,决定一个给定记录的哪些键/值对被使用,Sequence文件是可分割的二进制格式,主要的用途是联合多个小文件

    Hadoop处理少量大文件比大量小文件的性能要好。如果文件小于Hadoop定义的块大小(Hadoop 2.x默认是128MB),可以认为是小文件。元数据的增长将转化为NameNode的开销。如果有大量小文件,NameNode会成为性能瓶颈。为了解决这个问题,Hadoop引入了Sequence文件,将Sequence作为存储小文件的容器

    输入输出包

    org.apache.hadoop.mapred.SequenceFileInputFormat

    org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat

    RCFILE

    描述

    RCFILE指的是Record Columnar File,是一种高压缩率的二进制文件格式,被用于在一个时间点操作多行的场景。RCFILE是由二进制键/值对组成的平面文件,这点与SEQUENCEFILE非常相似。

    RCFILE以记录的形式存储表中的列,即列式存储。它先分割行做水平分区,然后分割列做垂直分区。RCFILE把一行的元数据作为键,把行数据作为值。这种面向列的存储在执行数据分析时更高效

    输入输出包

    org.apache.hadoop.hive.ql.io.RCFileInputFormat

    org.apache.hadoop.hive.ql.io.RCFileOutputFormat

    ORCFILE

    描述

    ORC指的是Optimized Record Columnar,相对于其他文件格式,它以更优化的方式存储数据。ORC能将原始数据的大小所见75%。从而提升了数据处理的速度。

    ORCTextSequenceRC文件格式有更好的性能,而且ORC是目前Hive中唯一支持事务的文件格式。

    输入输出包

    org.apache.hadoop.hive.ql.io.orc

    文件格式选取

    如果数据有参数化的分隔符,可以选择TEXTFILE格式

    如果数据所在文件比块尺寸小,可以选择SEQUENCEFILE格式

    如果像执行数据分析,并高效的存储数据,可以选择RCFILE

    如果希望减小数据所需的存储空间并提升性能,可以选择ORCFILE格式

  • 相关阅读:
    notes: the architecture of GDB
    How systems researchers build systems
    spark1.1.0源码阅读-executor
    spark1.1.0源码阅读-taskScheduler
    spark1.1.0源码阅读-dagscheduler and stage
    akka简单示例-2
    环境安装与项目配置
    安装zsh
    linux mysql 密码修改
    django-debug-toolbar 安装及配置 django性能监控及调试
  • 原文地址:https://www.cnblogs.com/EnzoDin/p/14198467.html
Copyright © 2011-2022 走看看