大数据之路week07--day07 （Sqoop 从mysql增量导入到HDFS）

我们之前导入的都是全量导入，一次性全部导入，但是实际开发并不是这样，例如web端进行用户注册，mysql就增加了一条数据，但是HDFS中的数据并没有进行更新，但是又再全部导入一次又完全没有必要。

所以，sqoop提供了增量导入的方法。

1、数据准备：

2、将其先用全量导入到HDFS中去

3、先在mysql中添加一条数据，在使用命令进行追加

 #指定字段的取值范围，增量到数据(指的是Mysql增加了一条或多条数据，追加到HDFS中去,
 如果想追加到hive本来的数据中去就把路径换成hive的路径)
 # 适用于表不断的有新数据插入
 
sqoop import 
--connect jdbc:mysql://master:3306/student 
--username root 
--password 123456 
--table student_zeng 
--target-dir /user/hive/warehouse/sqlhivetest.db/student_zeng/ 
--split-by id 
-m 1 
--fields-terminated-by '	' 
--incremental append 
--check-column id 
--last-value 3

4、根据时间进行大量追加（不去重）

追加  
sqoop import 
--connect jdbc:mysql://master:3306/student 
--username root 
--password 123456 
--target-dir /user/hive/warehouse/sqlhivetest.db/student_zeng/ 
--table student_zeng 
--fields-terminated-by '	' 
--check-column last_mod 
--incremental lastmodified 
--last-value "2019-12-19 20:57:16" 
-m 1 
--append 

结果：但是我们发现有两个重复的字段

5、往往开发中需要进行去重操作：sqoop提供了一个方法进行去重，内部是先开一个map任务将数据导入进来，然后再开一个map任务根据指定的字段进行合并去重

#根据业务可能需要去重  -merge-key 就是做这个事

sqoop import 
--connect jdbc:mysql://master:3306/student 
--username root 
--password 123456 
--target-dir /user/hive/warehouse/sqlhivetest.db/student_zeng/ 
--table student_zeng 
--fields-terminated-by '	' 
--check-column last_mod 
--incremental lastmodified 
--last-value "2019-12-19 22:00:09" 
-m 1 
-merge-key id 

结果：

 之前有重复的也进行合并去重操作，最后生成一个结果。