zoukankan      html  css  js  c++  java
  • Hive 创建和生成Rcfile 和SequenceFile格式的表

    rcfile格式表需要从原始的textfile 文件格式表导出数据并导入到新建好的rcfile格式表里

    转: HIVE RCFile高效存储结构

    创建rcfile 格式的表:

    CREATE TABLE fc_rc_test (
      datatime string,
      section string,
      domain string,
      province string,
      city string,
      idc string,
      ext string,
      ip string,
      file_size string,  
      down_sudo string)
    STORED AS  RCFILE ;


    因rcfile 和SequenceFile 格式的表的数据必须要从textfile 文件格式表通过 insert 操作才能完成。
    故先要创建textfile 的表。

    可以采用外部表的形式导入数据:

    CREATE TABLE fc_rc_ext (
      datatime string,
      section string,
      domain string,
      province string,
      city string,
      idc string,
      ext string,
      ip string,
      file_size string,  
      down_sudo string)
    ROW FORMAT DELIMITED FIELDS TERMINATED BY " "
    STORED AS textfile
    LOCATION '/user/hive/warehouse/log/fc';

    导入rcfile 格式的数据:

    insert overwrite table fc_rc_test select * from fc_rc_ext ;

  • 相关阅读:
    @loj
    @loj
    @划水记@ THUWC2020 (?)
    @codeforces
    @loj
    Spark设计理念与基本架构
    Spark源码解析
    Spark Submitting Applications浅析
    Spark RDD基本概念与基本用法
    Storm基本原理概念及基本使用
  • 原文地址:https://www.cnblogs.com/dongxiao-yang/p/4627288.html
Copyright © 2011-2022 走看看