Hive-文件格式
TEXTFILE
描述
TEXTFILE是普通的文本型文件,是Hadoop里最常用的输入输出格式,也是Hive的默认文件格式。
输入输出包
org.apache.hadoop.mapred.TextInputFormat
org.apache.hadoop.mapred.TextOutputFormat
SEQUENCEFILE
描述
Sequence文件是由二进制键值对组成的平面文件。Hive将查询转换成MapReduce作业时,决定一个给定记录的哪些键/值对被使用,Sequence文件是可分割的二进制格式,主要的用途是联合多个小文件
Hadoop处理少量大文件比大量小文件的性能要好。如果文件小于Hadoop定义的块大小(Hadoop 2.x默认是128MB),可以认为是小文件。元数据的增长将转化为NameNode的开销。如果有大量小文件,NameNode会成为性能瓶颈。为了解决这个问题,Hadoop引入了Sequence文件,将Sequence作为存储小文件的容器
输入输出包
org.apache.hadoop.mapred.SequenceFileInputFormat
org.apache.hadoop.hive.ql.io.HiveSequenceFileOutputFormat
RCFILE
描述
RCFILE指的是Record Columnar File,是一种高压缩率的二进制文件格式,被用于在一个时间点操作多行的场景。RCFILE是由二进制键/值对组成的平面文件,这点与SEQUENCEFILE非常相似。
RCFILE以记录的形式存储表中的列,即列式存储。它先分割行做水平分区,然后分割列做垂直分区。RCFILE把一行的元数据作为键,把行数据作为值。这种面向列的存储在执行数据分析时更高效
输入输出包
org.apache.hadoop.hive.ql.io.RCFileInputFormat
org.apache.hadoop.hive.ql.io.RCFileOutputFormat
ORCFILE
描述
ORC指的是Optimized Record Columnar,相对于其他文件格式,它以更优化的方式存储数据。ORC能将原始数据的大小所见75%。从而提升了数据处理的速度。
ORC比Text、Sequence和RC文件格式有更好的性能,而且ORC是目前Hive中唯一支持事务的文件格式。
输入输出包
org.apache.hadoop.hive.ql.io.orc
文件格式选取
如果数据有参数化的分隔符,可以选择TEXTFILE格式
如果数据所在文件比块尺寸小,可以选择SEQUENCEFILE格式
如果像执行数据分析,并高效的存储数据,可以选择RCFILE
如果希望减小数据所需的存储空间并提升性能,可以选择ORCFILE格式