安装sqoop 1.默认已经安装好java+hadoop 2.下载对应hadoop版本的sqoop版本 3.解压安装包 tar zxvf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz 4.配置环境变量(/etc/profile) #sqoop export SQOOP_HOME=/opt/sqoop export PATH=$PATH:$SQOOP_HOME/bin 保存退出 source /etc/profile 5.修改配置文件(sqoop-env.sh/sqoop-site.xml/sqoop) 1.复制配置文件模板 cd /opt/sqoop-1.4.6/conf cp sqoop-site-template.xml sqoop-site.xml cp sqoop-env-template.sh sqoop-env.sh ####sqoop-env.sh#### export HADOOP_COMMON_HOME=/opt/hadoop-2.5.2 ####sqoop-site.xml#### 无需配置 但须有此文件 ####bin/sqoop#### 最后一行需要改成 注意sqoop-1.4.6.jar 为lib目录下的包 exec ${HADOOP_COMMON_HOME}/bin/hadoop jar $SQOOP_HOME/sqoop-1.4.6.jar org.apache.sqoop.Sqoop "$@" 6.添加jar包 1.添加关系型数据库jdbc jar包 到 lib 目录下 cp mysql-connector-java-5.1.21.jar /opt/sqoop-1.4.6/lib 7.验证 sqoop list-databases --connect jdbc:mysql://192.168.22.1/test --username root --password root //注意此时需保证mysql连接正常。不然报错 无报错显示出数据库则表示安装成功 8.常用命令 1.显示 sqoop list-databases --connect jdbc:mysql://192.168.22.1/test --username root --password root //显示数据库 sqoop list-tables --connect jdbc:mysql://192.168.22.1/test --username root --password root //显示数据表 2.hdfs导出到mysql sqoop export --connect jdbc:mysql://192.168.22.1/test --username root --password root --table access_log --fields-terminated-by ' ' --export-dir /access/part-m-00000 //需保证导出表已创建并字段跟存储文件一致 注意字段分隔符 3.mysql导入到hdfs sqoop import --connect jdbc:mysql://192.168.22.1/test --username root --password root --table access_log --fields-terminated-by ' 01' --lines-terminated-by ' ' --target-dir /access -m 1 //无主键时需加 -m 1 不然报错 /access在hdfs需不存在 注意字段分隔符