zoukankan      html  css  js  c++  java
  • sqoop导入数据到hive---2

    1.hive-table

    从mysql导入数据到hive表中,可以使用--hive-table来指定hive的表名,不指定hive表名,则hive表名与mysql表名保持一致。

    sqoop import --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --hive-import --fields-terminated-by '|' --lines-terminated-by "
    " -m 1 --hive-table person_mysql

    hive中的表结构是:

    hive> show create table person_mysql;
    OK
    CREATE TABLE `person_mysql`(
      `id` int, 
      `name` string)
    COMMENT 'Imported by sqoop on 2016/07/26 15:13:48'
    ROW FORMAT DELIMITED 
      FIELDS TERMINATED BY '|' 
      LINES TERMINATED BY '
    ' 
    STORED AS INPUTFORMAT 
      'org.apache.hadoop.mapred.TextInputFormat' 
    OUTPUTFORMAT 
      'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
    LOCATION
      'hdfs://hadoop26:8020/user/hive/warehouse/person_mysql'
    TBLPROPERTIES (
      'COLUMN_STATS_ACCURATE'='true', 
      'numFiles'='1', 
      'totalSize'='18', 
      'transient_lastDdlTime'='1469517213')
    Time taken: 0.21 seconds, Fetched: 18 row(s)

    2.create-hive-table工具

    create-hive-table工具是依据mysql中的表定义在hive中创建一个表

    sqoop create-hive-table --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --table person --hive-table person_mysql_222 fields-terminated-by '|'

     只在hive中创建了表,没有把数据进行导入,所以hive表中是没有数据的:

    hive> select * from person_mysql_222;
    OK
    Time taken: 0.299 seconds
    hive> show create table person_mysql_222;
    OK
    CREATE TABLE `person_mysql_222`(
      `id` int, 
      `name` string)
    COMMENT 'Imported by sqoop on 2016/07/26 15:22:14'
    ROW FORMAT DELIMITED 
      FIELDS TERMINATED BY '|' 
      LINES TERMINATED BY '
    ' 
    STORED AS INPUTFORMAT 
      'org.apache.hadoop.mapred.TextInputFormat' 
    OUTPUTFORMAT 
      'org.apache.hadoop.hive.ql.io.HiveIgnoreKeyTextOutputFormat'
    LOCATION
      'hdfs://hadoop26:8020/user/hive/warehouse/person_mysql_222'
    TBLPROPERTIES (
      'transient_lastDdlTime'='1469517719')
    Time taken: 0.22 seconds, Fetched: 15 row(s)

    3.import-all-tables工具

    将数据库中所有的表都导入到hive中

    目前mysql中有person、sun两张表

    sqoop import-all-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 --hive-import -m 1

    这样在hive中也生成了两张表,分别是person和sun.

    在这个语句中也可以指定hive-table来指定一个表名,这样多个表的数据就会导入到一个hive表中了。

     sqoop import-all-tables --connect jdbc:mysql://localhost:3306/test --username root --password 123456 -m 1 --hive-import --hive-table all_person
  • 相关阅读:
    自定义TabControl
    认识——转化的力量
    提取网页中的javascript脚本和下载链接
    【作业】简单绘图程序
    遥感中几个物理量计算及比较
    [C++学习]C++内存管理
    小技巧
    Threading.Timer学习
    Unsupported Oracle data type 101 encountered
    Vs2008不能调试的问题
  • 原文地址:https://www.cnblogs.com/dongdone/p/5707817.html
Copyright © 2011-2022 走看看