zoukankan      html  css  js  c++  java
  • 查看hive的信息

    一、Hive下查看数据表信息的方法
    方法1:查看表的字段信息
    desc table_name;

    方法2:查看表的字段信息及元数据存储路径
    desc extended table_name;

    方法3:查看表的字段信息及元数据存储路径
    desc formatted table_name;

    方法4:查看建表语句及其他详细信息的方法
    show create table table_name;

    备注:查看表元数据存储路径时,推荐方法3,信息比较清晰。

    二、查看表容量大小
    方法1:查看一个hive表文件总大小时(单位为Byte),可以通过一行脚本快速实现,其命令如下:
    -- #查看普通表的容量
    [hs@master ~]$ hadoop fs -ls /home/hs/opt/hive-1.2.1/hive-warehouse/tmp.db/temp_bigdata_dormiten|awk -F ' ' '{print $5}'|awk '{a+=$1}END{print a}'
    [hs@master ~]$ hadoop fs -ls /home/hs/opt/hive-1.2.1/hive-warehouse/tmp.db/temp_bigdata_dormiten|awk -F ' ' '{print $5}'|awk '{a+=$1}END{print a/(1024*1024*1024)}'

    这样可以省去自己相加,下面命令是列出该表的详细文件列表
    [hs@master ~]$ hadoop fs -ls /home/hs/opt/hive-1.2.1/hive-warehouse/tmp.db/temp_bigdata_dormiten
    统计文件详细数目
    [hs@master ~]$ hadoop fs -ls /home/hs/opt/hive-1.2.1/hive-warehouse/tmp.db/temp_bigdata_dormiten|wc -l

    -- #查看分区表的容量
    [hs@master ~]$ hadoop fs -ls /home/hs/opt/hive-1.2.1/hive-warehouse/tmp.db/temp_bigdata_dormiten/yyyymm=201601|awk -F ' ' '{print $5}'|awk '{a+=$1}END {print a/(1024*1024*1024)}'

    这样可以省去自己相加,下面命令是列出该表的详细文件列表
    [hs@master ~]$ hadoop fs -ls /home/hs/opt/hive-1.2.1/hive-warehouse/tmp.db/temp_bigdata_dormiten/yyyymm=201601

    方法2:查看该表总容量大小,单位为G
    [hs@master ~]$ hadoop fs -du /home/hs/opt/hive-1.2.1/hive-warehouse/tmp.db/temp_bigdata_dormiten|awk ' { SUM += $1 } END { print SUM/(1024*1024*1024) }'

  • 相关阅读:
    luogu P1630 求和(枚举暴力)
    luogu P3414 SAC#1
    luogu P1869 愚蠢的组合数(质因数+瞎搞)
    luogu P1586 四方定理(背包)
    luogu P3795 钟氏映射(递推)
    2017.8.15 [Haoi2016]字符合并 区间dp+状压dp
    [NOI2002] 荒岛野人 扩展欧几里得算法
    [Noi2002]Savage 扩展欧几里得
    bzoj 1778: [Usaco2010 Hol]Dotp 驱逐猪猡
    bzoj 3505: [Cqoi2014]数三角形
  • 原文地址:https://www.cnblogs.com/wqbin/p/10267407.html
Copyright © 2011-2022 走看看