zoukankan      html  css  js  c++  java
  • sqoop的导入|Hive|Hbase

    导入数据(集群为对象)

    在Sqoop中“导入”概念指:从非大数据集群(RDBMS)向大数据集群(HDFS,HIVE,HBASE)中传输数据,叫做:导入,即使用import关键字。

    1 RDBMS到HDFS

    1) 确定Mysql服务开启正常

    2) 在Mysql中新建一张表并插入一些数据

    $ mysql -uroot -p000000
    
    mysql> create database company;
    
    mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
    
    mysql> insert into company.staff(name, sex) values('Thomas', 'Male');
    
    mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');

    3) 导入数据

    (1)全部导入

    $ bin/sqoop import 
    
    --connect jdbc:mysql://hadoop102:3306/company 
    
    --username root 
    
    --password 000000 
    
    --table staff 
    
    --target-dir /user/company 
    
    --delete-target-dir 
    
    --num-mappers 1 
    
    --fields-terminated-by "	"

    (2)查询导入

    $ bin/sqoop import 
    
    --connect jdbc:mysql://hadoop102:3306/company 
    
    --username root 
    
    --password 000000 
    
    --target-dir /user/company 
    
    --delete-target-dir 
    
    --num-mappers 1 
    
    --fields-terminated-by "	" 
    
    --query 'select name,sex from staff where id <=1 and $CONDITIONS;'

    提示:must contain '$CONDITIONS' in WHERE clause,传递参数使用,保证最后写入数据的一致性。

    如果query后使用的是双引号,则$CONDITIONS前必须加转移符,防止shell识别为自己的变量。

    (3)导入指定列

    $ bin/sqoop import 
    
    --connect jdbc:mysql://hadoop102:3306/company 
    
    --username root 
    
    --password 000000 
    
    --target-dir /user/company 
    
    --delete-target-dir 
    
    --num-mappers 1 
    
    --fields-terminated-by "	" 
    
    --columns id,sex 
    
    --table staff

    提示:columns中如果涉及到多列,用逗号分隔,分隔时不要添加空格

    (4)使用sqoop关键字筛选查询导入数据

    $ bin/sqoop import 
    
    --connect jdbc:mysql://hadoop102:3306/company 
    
    --username root 
    
    --password 000000 
    
    --target-dir /user/company 
    
    --delete-target-dir 
    
    --num-mappers 1 
    
    --fields-terminated-by "	" 
    
    --table staff 
    
    --where "id=1"

    2 RDBMS到Hive

    $ bin/sqoop import 
    
    --connect jdbc:mysql://hadoop102:3306/company 
    
    --username root 
    
    --password 000000 
    
    --table staff 
    
    --num-mappers 1 
    
    --hive-import 
    
    --fields-terminated-by "	" 
    
    --hive-overwrite 
    
    --hive-table staff_hive

    提示:该过程分为两步,第一步将数据导入到HDFS,第二步将导入到HDFS的数据迁移到Hive仓库,第一步默认的临时目录是/user/你的用户名/表名

    3 RDBMS到Hbase

    $ bin/sqoop import 
    
    --connect jdbc:mysql://hadoop102:3306/company 
    
    --username root 
    
    --password 000000 
    
    --table company 
    
    --columns "id,name,sex" 
    
    --column-family "info" 
    
    --hbase-create-table 
    
    --hbase-row-key "id" 
    
    --hbase-table "hbase_company" 
    
    --num-mappers 1 
    
    --split-by id

    提示:sqoop1.4.6只支持HBase1.0.1之前的版本的自动创建HBase表的功能

    解决方案:手动创建HBase表

    hbase> create 'hbase_company,'info'

    (5) 在HBase中scan这张表得到如下内容

    hbase> scan ‘hbase_company’
  • 相关阅读:
    单例模式
    collections额外数据类型
    logging的简单使用
    杂记
    字符编码
    面向对象编程简介
    logging模块
    re与subprocess模块
    oepnpyxl模块 与excle交互
    json序列化模块
  • 原文地址:https://www.cnblogs.com/alexzhang92/p/10927400.html
Copyright © 2011-2022 走看看