zoukankan      html  css  js  c++  java
  • hive数据的导入导出方式

    导入方式

    1、load方式

    load data local inpath 'local_path' into table tb_name;
    从本地复制了文件到表的路径下
    应用场景:大部分的使用,文件几乎都是默认现在本地的

    2、load方式,HDFS
    load data inpath 'hdfs_path' into table tb_name;
    将文件移动到了表的路径下
    应用场景:更适合大数据量的存储

    3、load方式,overwrite

    load data inpath 'hdfs_path' overwrite into table tb_name;
    应用场景:适合一些重复写入的表(临时表),作为一个过渡使用

    4、子查询方式,as

    create table tb_name as select sql;
    应用场景:对于数据查询结果的保存

    5、insert方式
    传统关系型数据库中,insert是插入一个值
    在hive中insert into table后面还是跟一个语句(select语句)
    insert into table select sql;
    举例:
    create table emp_insert like emp;

    insert into table emp_insert select * from emp;

    6、location
    指定一个文件夹,然后将数据导入进去

    导出方式

    1、insert方式
    格式:insert overwrite [local] directory 'path' select sql;
    数据导出到本地
    insert overwrite local directory '/opt/datas/emp_in01' select * from emp;
    -》输出的目标可以提前存在,底层实现的时候,先删除再重新创建
    -》指定分隔符
    insert overwrite local directory '/opt/datas/emp_in01' row format delimited fields terminated by ' ' select * from emp;
    -》HDFS
    insert overwrite directory '/emp_insert' select * from emp;
    -》注意:上一级的父目录必须存在

    2、HDFS SHELL命令 -get
    bin/hdfs dfs -get hdfs_path local_path

    3、在Linux的命令行使用hive的-e -f参数,将输出重定向保存到本地文件

    bin/hive -e "select * from student" > /opt/datas/

    4、sqoop方式

    如:

    bin/sqoop export
    --connect
    jdbc:mysql://hostname:3306/sqoop
    --username root
    --password 123456
    --table tomysql
    --export-dir /sqoop
    --num-mappers 1       --->设置分片个数
    --input-fields-terminated-by ' '   --->设置分隔符

    5、hive支持export和import
    -》export
    export table tb_name to 'hdfs_path'
    -》import
    import table tb_name from 'hdfs_path'

  • 相关阅读:
    骑行318、 2016.7.22
    骑行318、 2016.7.21
    自定义的cell上面有图片时,如果产生了重用,图片可能会错乱问题
    当前View的坐标相对其他View的位置坐标
    自定义UIButton 实现图片和文字 之间距离和不同样式
    自定义导航栏 标题视图 返回按钮
    IOS 隐藏tabBar
    ShareSDK集成遇到问题
    导航栏相关设置
    根据字符内容计算宽高度
  • 原文地址:https://www.cnblogs.com/wakerwang/p/9377887.html
Copyright © 2011-2022 走看看