zoukankan      html  css  js  c++  java
  • hive多分区表创建+数据导入

    步骤:建分区表、建临时表、临时表数据写入、临时表写入数据到分区表

    1、分区参数介绍

     
    • hive.exec.dynamic.partition:是否启动动态分区。默认false。

    • hive.exec.dynamic.partition.mode:打开动态分区后,动态分区的模式为strict和nonstrict。

      • strict可设置为静态和半动态,要求至少包含一个静态分区列。

      • nonstrict可设置为静态、半动态和动态,动态必须设置此参数。

    • hive.exec.max.dynamic.partitions:允许的最大的动态分区的个数。默认1000。

    • hive.exec.max.dynamic.partitions.pernode:一个mapreduce job所允许的最大的动态分区的个数。默认是100。

     

    2、分区表的创建

     

    (1)分区表创建

     
    create table test.user_list(
    user_id  string,
    msisdn   string,
    imsi     string)
    partitioned by (city string,sdate string)
    row format delimited fields terminated by ',';
    
     

    (2)临时表创建(辅助分区表测试)

     
    create table test.user_list_tmp(
    user_id  string,
    msisdn   string,
    imsi     string
    city     string,
    sdate    string)
    row format delimited fields terminated by ',';
    
     

    3、数据插入方式

     

    (1)静态分区插入数据:

     
    insert into table user_list partition(city='HANGZHOU',sdate='20200101')   
    select 
        t.user_id,
        t.msisdn,
        t.imsi
    from test.user_list_tmp t
    
     

    (2)动静混合分区插入数据

     
    set hive.exec.dynamic.partition=true;  
    set hive.exec.dynamic.partition.mode=strick;
    --set hive.exec.dynamic.partition.mode=nonstrick;
    insert into table user_list partition(city='HANGZHOU',sdate='${sdate}')   
    select 
        t.user_id,
        t.msisdn,
        t.imsi,
        t.sdate
    from test.user_list_tmp t
    
     

    注意:动静分区混合时,静态分区参数必须放置在前面。

     

    (3)动态分区插入数据

     
    set hive.exec.dynamic.partition=true;  
    set hive.exec.dynamic.partition.mode=nonstrick;
    insert into table user_list partition(city='${city}',sdate='${sdate}')   
    select 
        t.user_id,
        t.msisdn,
        t.imsi,
        t.city,
        t.sdate
    from test.user_list_tmp t
    
     

    4、insert into 和 insert overwrite

     

    insert into示例:

     
    insert into table user_list partition(city='HANGZHOU',sdate='20200101')  
    select 
        t.user_id,
        t.msisdn,
        t.imsi
    from test.user_list_tmp t
    
     

    insert overwrite示例:

     
    insert overwrite table user_list partition(city='HANGZHOU',sdate='20200101')   
    select 
        t.user_id,
        t.msisdn,
        t.imsi
    from test.user_list_tmp t
    
     

    两者区别:insert into直接追加到表中数据的尾部,而insert overwrite会重写数据,既先进行删除,再写入。

    转自:http://blog.sina.com.cn/s/blog_155cf0b760102x1ij.html

  • 相关阅读:
    jmeter 安装
    Day05_系统监控、rpm、yum软件包管理及源码安装python解释器
    Day04_vim编辑器及硬盘操作
    Day03_用户群组权限及正文处理命令
    Day02_操作系统、网络及Linux基础
    Day01_计算机硬件及启动流程
    让Sublime Text成为静态WEB服务器:SublimeServer
    sublime text2-text3 定义的不同浏览器的预览快捷键
    css之px自动转rem—“懒人”必备
    修改Sublime Text3 的侧边栏字体大小
  • 原文地址:https://www.cnblogs.com/51python/p/15318945.html
Copyright © 2011-2022 走看看