zoukankan      html  css  js  c++  java
  • hive 内部表和外部表总结

    1. 外部表(external table)

    有external修饰,表数据保存在HDFS上,该位置由用户指定。删除表时,只会删除表的元数据,所以外部表不是有Hive完全管理的


    2. 内部表(internal table/managed table)

    没有external修饰,表数据保存在Hive默认的路径下,数据完全由Hive管理,删除表时元数据和表数据都会一起删除。


    3.区别
    1. 外部表的表数据由HDFS管理,Hive管理外部表元数据,尔内部表的表数据和元数据都由Hive管理
    2. 外部表的表数据存储位置由用户指定,而内部表的数据默认存储位置为/apps/hive/warehouse/数据库名.db/数据文件名
    3. 删除外部表时,只会删除表的元数据,表数据仍然存储在HDFS中,删除内部表时,元数据和表数据都会删除
    4. 对内部表修改时会同步到元数据,而对外部表结构和分区修改时,需要进行修复
      msck rapair table table_name

    4. 使用场合
    1. 希望做数据备份并且不经常改变的数据,存放在外部表可以减少失误操作
    2. 数据清洗转换后的中间结果,可以存放在内部表,因为Hive对内部表支持的功能比较全面,方便管理
    3. 处理完成的数据由于需要共享,可以存储在外部表,这样能够防止失误操作,增加数据的安全性



    链接:https://www.jianshu.com/p/26bd884e9a98

  • 相关阅读:
    php发送post请求的方法
    跨域请求的三种解决办法
    php验证码+js点击刷新
    13.mysql数据类型
    12.dateformat常用格式
    11.设计的三大范式
    nginx passwd (http://www.voidcn.com/article/p-suebfyqy-nx.html)
    删除文件 过滤某个文件
    mac必装软件
    elasticsearch 安装
  • 原文地址:https://www.cnblogs.com/Allen-rg/p/13371897.html
Copyright © 2011-2022 走看看