zoukankan      html  css  js  c++  java
  • Sqoop案例-导入:RDBMS到HDFS

    Sqoop的简单使用案例

    4.1.1、RDBMS到HDFS

    1) 确定Mysql服务开启正常

    2) 在Mysql中新建一张表并插入一些数据

    $ mysql -uroot -p123456
    mysql> create database company;
    mysql> create table company.staff(id int(4) primary key not null auto_increment, name varchar(255), sex varchar(255));
    mysql> insert into company.staff(name, sex) values('Thomas', 'Male');
    mysql> insert into company.staff(name, sex) values('Catalina', 'FeMale');

    3) 导入数据

    (1)全部导入

    $ bin/sqoop import 
    --connect jdbc:mysql://linux01:3306/company 
    --username root 
    --password 123456 
    --table staff 
    --target-dir /user/company 
    --delete-target-dir 
    --num-mappers 1 
    --fields-terminated-by "	"

    (2)查询导入

    $ bin/sqoop import 
    --connect jdbc:mysql://linux01:3306/company 
    --username root 
    --password 123456 
    --target-dir /user/company 
    --delete-target-dir 
    --num-mappers 1 
    --fields-terminated-by "	" 
    --query 'select name,sex from staff where id <=1 and $CONDITIONS;'

    提示:must contain '$CONDITIONS' in WHERE clause.

    提示:如果query后使用的是双引号,则$CONDITIONS前必须加转移符,防止shell识别为自己的变量。

    提示:--query选项,不能同时与--table选项使用

    (3)导入指定列

    $ bin/sqoop import 
    --connect jdbc:mysql://linux01:3306/company 
    --username root 
    --password 123456 
    --target-dir /user/company 
    --delete-target-dir 
    --num-mappers 1 
    --fields-terminated-by "	" 
    --columns id,sex 
    --table staff

    提示:columns中如果涉及到多列,用逗号分隔,分隔时不要添加空格

    (4)使用sqoop关键字筛选查询导入数据

    $ bin/sqoop import 
    --connect jdbc:mysql://linux01:3306/company 
    --username root 
    --password 123456 
    --target-dir /user/company 
    --delete-target-dir 
    --num-mappers 1 
    --fields-terminated-by "	" 
    --table staff 
    --where "id=1"

    提示:在Sqoop中可以使用sqoop import -D property.name=property.value这样的方式加入执行任务的参数,多个参数用空格隔开。

  • 相关阅读:
    POJ3928 Pingpong(统计比 K 小的个数 + 树状数组)
    C++ Primer Plus读书笔记
    HDU1698Just a Hook(线段树 + 区间修改 + 求和)
    POJ3468A Simple Problem with Integers(区间加数求和 + 线段树)
    POJ2528Mayor's posters(离散化 + 线段树)
    约瑟夫环
    编写一个JavaWeb项目
    四则运算在线答题系统
    JAVA项目中的常用的异常处理情况
    第八周动手动脑
  • 原文地址:https://www.cnblogs.com/LIAOBO/p/13666955.html
Copyright © 2011-2022 走看看