sqoop命令总结

1.数据从mysql到hdfs

/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/bin/sqoop import
--connect jdbc:mysql://mysql_ip:3306/mysql_database
--username root
--password mysql_pwd
--table mysql_table
--target-dir /cetc2020/1/1/user/hdfs_dir/$db_date
--delete-target-dir
--hive-delims-replacement ''
--num-mappers 1
--fields-terminated-by " "

解析:
--hive-delims-replacement 这个是为了防止mysql字段的值有换行符,
--hive-delims-replacement ''可以替换换行符换成空字符串

2.数据从mysql表到hive表

/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/bin/sqoop import 
--connect jdbc:mysql://mysql_ip:3306/mysql_database 
--username root 
--password mysql_pwd 
--table mysql_table 
--fields-terminated-by '01' 
--lines-terminated-by '
' 
--hive-import 
--hive-overwrite 
--hive-database hive_database 
--hive-table hive_table 
--hive-delims-replacement '' 
--delete-target-dir -m 1



解析:

--hive-delims-replacement 这个是为了防止mysql字段的值有换行符,

--hive-delims-replacement ''可以替换换行符换成空字符串

3.数据从hive的数据到mysql表

/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/bin/sqoop export 
--connect jdbc:mysql://mysql_ip:3306/mysql_database 
--username root 
--password mysql_pwd 
--table mysql_table 
--num-mappers 1 
--export-dir /data/hive/warehouse/xzs.db/hive_table 
--input-fields-terminated-by  '01' 

4.sqoop执行hive的查询等语句

/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/bin/sqoop eval 
--connect jdbc:mysql://mysql_ip:3306/mysql_database 
--username root 
--password mysql_pwd 
--query "truncate table mysql_table;"