zoukankan      html  css  js  c++  java
  • 对现有Hive的大表进行动态分区

    分区是在处理大型事实表时常用的方法。分区的好处在于缩小查询扫描范围,从而提高速度。分区分为两种:静态分区static partition和动态分区dynamic partition。静态分区和动态分区的区别在于导入数据时,是手动输入分区名称,还是通过数据来判断数据分区。对于大数据批量导入来说,显然采用动态分区更为简单方便。

    - 对现存hive表的分区

    首先,新建一张我们需要的分区以后的表create table like 'origin'

    若现存hive表中没有分区信息,我们需要手动修改hive配置数据库来增加hive表的分区信息。hive表分区存在PARTITION_KEYS数据表中,其中表项的| TBL_ID | PKEY_COMMENT | PKEY_NAME | PKEY_TYPE | INTEGER_IDX |分别是hive表名(在TBLS中存储),备注,分区名,分区索引的顺序。建立完成后我们就有一张类似于原始表,但是带有分区的表。

    然后,我们修改一下hive的默认设置以支持动态分区:

    set hive.exec.dynamic.partition=true;

    set hive.exec.dynamic.partition.mode=nonstrict; 

    第二步仅在你仅使用动态分区字段做分区索引时。

    然后用hive的insert命令进行插入操作。注意,除了所有列外,需要将分区的动态字段跟在后面。

    INSERT OVERWRITE TABLE target PARTITION (dt) 
    SELECT id,user_id,app_id,time,ip,substr(time,0,10) FROM origin 

    可以看到,动态分区的字段支持函数操作。

    这样,我们得到了一张分区后的hive大表。


    参考:https://cwiki.apache.org/Hive/dynamicpartitions.html



    转载地址: http://blog.csdn.net/awayyao/article/details/7630000

    Meet so Meet. C plusplus I-PLUS....
  • 相关阅读:
    转载【工具】目前几种常见的线上接口文档管理平台的比较
    最好的Julia语言
    称霸Kaggle的十大深度学习技巧
    AI以假乱真怎么办?TequilaGAN教你轻松辨真伪
    2018 CISCN reverse
    2018 CISCN Writeup
    加壳&脱壳
    脱upx壳--初试--单步追踪
    Linux
    hackme.inndy.tw
  • 原文地址:https://www.cnblogs.com/iplus/p/4489932.html
Copyright © 2011-2022 走看看