1.数据从mysql到hdfs
/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/bin/sqoop import
--connect jdbc:mysql://mysql_ip:3306/mysql_database
--username root
--password mysql_pwd
--table mysql_table
--target-dir /cetc2020/1/1/user/hdfs_dir/$db_date
--delete-target-dir
--hive-delims-replacement ''
--num-mappers 1
--fields-terminated-by " "
解析:
--hive-delims-replacement 这个是为了防止mysql字段的值有换行符,
--hive-delims-replacement ''可以替换换行符换成空字符串
2.数据从mysql表到hive表
/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/bin/sqoop import --connect jdbc:mysql://mysql_ip:3306/mysql_database --username root --password mysql_pwd --table mysql_table --fields-terminated-by ' 01' --lines-terminated-by ' ' --hive-import --hive-overwrite --hive-database hive_database --hive-table hive_table --hive-delims-replacement '' --delete-target-dir -m 1
解析:
--hive-delims-replacement 这个是为了防止mysql字段的值有换行符,
--hive-delims-replacement ''可以替换换行符换成空字符串
3.数据从hive的数据到mysql表
/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/bin/sqoop export --connect jdbc:mysql://mysql_ip:3306/mysql_database --username root --password mysql_pwd --table mysql_table --num-mappers 1 --export-dir /data/hive/warehouse/xzs.db/hive_table --input-fields-terminated-by ' 01'
4.sqoop执行hive的查询等语句
/opt/cloudera/parcels/CDH-5.12.1-1.cdh5.12.1.p0.3/lib/sqoop/bin/sqoop eval --connect jdbc:mysql://mysql_ip:3306/mysql_database --username root --password mysql_pwd --query "truncate table mysql_table;"