sqoop将hive数据导出到关系型数据库

以下信息，只要根据自己的数据库的相应信息修改以下，即可，sqoop其实就是很简单的，一般hive数据存储为列式存储，所以要提前把要写到关系型数据库的数据写到一个text后缀的表里，然后才能导出到关系型数据库中。

还要特别注意写到关系型数据库中数据的格式要一一对应

#pg库相关信息

database_connection="jdbc:postgresql://192.168.0.2:8080/db_name"
database_username="user" 
database_password="pass" 
databaseTableName="test2"
databaseColums="a1,a2,a3"

　

#将数据写到一个临时表中
hive -v -e "
set mapred.job.queue.name=${queueName};

USE hive_db_name;
INSERT OVERWRITE TABLE test3

select a1,a2,a3 from test1 where y='2019' and m='11' and d='29';
";

if [[ $? != 0 ]]; then
print_log "hive执行失败!"
exit 1
fi

#hdfs路径
exportHdfsPath="hdfs://hdfs01-shyp-cx/hive_db_name/test3"

sqoop export -Dmapred.job.queue.name=$queueName    //mr的队列
--connect $database_connection         //关系型数据库的连接
--username $database_username       //关系型数据库的用户名
--password $database_password       //关系型数据的密码
--export-dir $exportHdfsPath               //hive表的hdfs路径
--verbose 
--table $databaseTableName           //要写到的表名
--columns $databaseColums           //要写过去的字段名
--input-fields-terminated-by '01'    //hive表的分割符，注意表一定是行式存储的表才能导出，一般是text后缀的表
--input-lines-terminated-by '
'        //每行的分割符
--input-null-string '\N'                     //空值处理
--input-null-non-string '\N'               //空值处理

if [[ $? != 0 ]]; then
print_log "sqoop导出失败!"
exit 1
fi