最近在使用sqoop往hdf上导入数据时,报出下面的错误:
网上找了很多资料,发现有一种可以解决
1. 你得确定你得确定你得sqoop可以连接你的linux上面的mysql数据库
2. 你得配置好sqoop的环境,确保可以连接hdoop, 进入sqoop的安装目录,进入bin目录,运行
Export HADOOP_COMMON_HOME=$HADDOP_HOME(hadoop的安装目录)
Export HADDOP_MAPRED_HOME=$HADDOP_HOME(hadoop的安装目录)
3. 将hIve的安装目录下lib下的hive-common-1.2.2.jar,hive-shi*.jar这些包拷贝到sqoop安装目录下的lib里面
4. mysql的服务启动了,如果没有启动,使用命令service mysqld start启动
5. 修改hadoop目录下etc/hadoop目录下的mapred-site.xml
加上下面这句话:
随后需要启动hadoop/sbin目录下的mr-jobhistory-daemon.sh 输入mr-jobhistory-daemon.sh start historyserver
问题解决。