由于用到了从HIVE向MySQL导出数据,这里我查找到的是下载sqoop这个软件,安装在虚拟机上,然后在sqoop的bin目录下执行语句即可将数据导出到MySQL,首先是sqoop的安装,这里我是参考的哔哩哔哩的sqoop安装教程,总结下来就是下载安装包,放到虚拟机上,解压然后配置环境变量,在配置sqoop的一些变量,指定hadoop等这些组件的路径。
主要是导出用到的命令:
从hive向mysql导出表:mysql中必须先存在那个表
bin/sqoop export \
--connect jdbc:mysql://hadoop102:3306/tesqoop \
--username root \
--password root \
--table test1 \
--num-mappers 1 \
--export-dir /user/hive/warehouse/test \
--input-fields-terminated-by "\t"