sqoop简单介绍

一简介

Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。

 

二特点

Sqoop中一大亮点就是可以通过hadoop的mapreduce把数据从关系型数据库中导入数据到HDFS。

三 Sqoop 命令

Sqoop大约有13种命令,和几种通用的参数(都支持这13种命令)，这里先列出这13种命令。

接着列出Sqoop的各种通用参数,然后针对以上13个命令列出他们自己的参数。Sqoop通用参数又分Common arguments,Incremental import arguments,Output line formatting arguments,Input parsing arguments,Hive arguments,HBase arguments,Generic Hadoop command-line arguments,下面一一说明:

1.Common arguments

通用参数,主要是针对关系型数据库链接的一些参数

 

四  sqoop命令举例

1）列出mysql数据库中的所有数据库

 

sqoop list-databases --connect jdbc:postgresql://host/database --username username --password password

3)将关系型数据的表结构复制到hive中,只是复制表的结构，表中的内容没有复制过去。

2.sqoop create-hive-table --connect jdbc:postgresql://host/database --table trace_log_2015_07_27 --username username --password password --hive-table tmp.trace_log_2015_07_27