zoukankan      html  css  js  c++  java
  • 如何删除hive表格的分区

    今天的一个业务场景就是要把三年的数据从第一天不停的融合起来,每一天作为表格一个新的分区。由于空间有限,数据量很大,可能每天数据都是几十个G的大小。所以我需要做的一点就是在融合这一天之后,删除一天的分区数据,为了保险起见,我删除这一天的前三天的数据。

    大致代码是这样的

    function shan(){
    cat <<EOF
    ALTER TABLE table_name DROP PARTITION (dt='$san');
    EOF
    }
    
    first=20160706
    second=20190310
    
    while [ "$first" -le "$second" ]
    do
        zhong=`date -d "1 days ago ${first}" +%Y%m%d`
        hive -e "`merge`" #这行代码就是在生成当天的数据融合
        san=`date -d "3 days ago ${first}" +%Y%m%d`
        hive -e "`shan`" #删除三天前的数据
        let first=`date -d "-1 days ago ${first}" +%Y%m%d`
    done
    
    

    当然核心代码就是删除分区的那个代码

    ALTER TABLE table_name DROP PARTITION (dt='$san');
    
  • 相关阅读:
    Naive Operations HDU6315 (杭电多校2G)
    Baker Vai LightOJ
    LOJ#6278. 数列分块入门 2
    LOJ#6277. 数列分块入门 1
    Picture POJ
    Who Gets the Most Candies? POJ
    Dividing the Path POJ
    Balanced Sequence HDU
    归并排序
    Flying to the Mars
  • 原文地址:https://www.cnblogs.com/lzida9223/p/10536239.html
Copyright © 2011-2022 走看看