zoukankan      html  css  js  c++  java
  • hive常用语句

    1. 删除分区

    ALTER TABLE dms.tracklog_5min DROP PARTITION(DAY='${today}');
    ALTER TABLE table_name DROP IF EXISTS PARTITION(dt='2018-01-01', game_code='gcol')

    2.1. 添加分区

    alter table dms.tracklog_5min add partition(day='${today}') location '/dw/dms/tracklog_5min/day=${today}';
    目录为hdfs的目录时,目录中如有数据会自动加载,不存在hive自动创建。
    use db; alter table table_name add if not exists partition(day=${logdate}) location ‘dir’;

    2.2. load已有数据到hive分区中

    LOAD DATA INPATH '/dw/ods/flumelck/day=20151111/lck.1447234402226.gz' INTO TABLE ods.flumelck PARTITION (day='20151111');
    分区存在则追加数据,不存在则新建分区。

    2.3. 如果需重写该分区则加overwrite

    LOAD DATA INPATH '/dw/ods/flumelck/day=20151111/lck.1447235127866.gz' overwrite INTO TABLE ods.flumelck PARTITION (day='20151112');

    注意:如果load的hdfs目录与分区目录不一致,则会mv数据到分区目录中。

    3. 删除表
    Drop table DROP TABLE [IF EXISTS] table_name;

    4. 建内部表

    use lhc;
    #drop table dw_wide_site;
    create table dw_wide_site(
    `siteNo` STRING COMMENT '新建站点时系统分配的站点唯一编号',
    `siteBusinessNo` STRING COMMENT '站点业务编码',
    `siteName` STRING COMMENT '站点名称',
    `siteType` SMALLINT COMMENT '站点类型,0可发货 1可提货 ^^',
    `province` STRING COMMENT '站点所在省份',
    `city` STRING COMMENT '站点所在城市',
    `county` STRING COMMENT '站点所在区县',
    `address` STRING COMMENT '站点地址',
    `lnglat` DOUBLE COMMENT '经度,纬度',
    `leaderName` STRING COMMENT '负责人姓名',
    `leaderContact` STRING COMMENT '负责人联系方式',
    `enterpriseName` STRING COMMENT '归属企业名称',
    `deptNo` STRING COMMENT '部门编号',
    `createTime` STRING COMMENT '站点创建日期',
    `updateTime` STRING COMMENT '站点基本信息的更新日期'
    )
    COMMENT '站点信息 部分数据根据订单数据逐日统计产生。'
    PARTITIONED BY (
    `ymd` string)
    row format delimited
    FIELDS TERMINATED BY ';'
    LINES TERMINATED BY ' '
    ;

    hadoop fs -cat /user/hive/warehouse/original.db/t_yundan_info/t_yundan_info.txt |more
    hadoop fs -ls /user/hive/warehouse/lhc.db/
    hadoop fs -mkdir /user/hive/warehouse/lhc.db/dw_wide_site/

  • 相关阅读:
    [转]Spring+SpringMVC+MyBatis+easyUI整合基础篇(一)项目简述及技术选型介绍
    推荐一个windows系统的下载和安装的网址:win7之家
    [转]vue调试工具vue-devtools安装及使用(亲测有效,望采纳)
    [转]Error: Node Sass does not yet support your current environment: Windows 64-bit
    [转]升级/重装win10系统--提示无法验证密钥的解决办法
    Sólo le pido a Dios
    Composer 语法中的^符号意思
    服务器上传的目录索引一定要关闭
    [SAP] CloudWatch
    [SAA] 32. Data Engineering
  • 原文地址:https://www.cnblogs.com/andylhc/p/9705160.html
Copyright © 2011-2022 走看看