修改Sqoop1.4.6源码实现--fields-terminated-by选项支持多字节分隔符
最近项目中需要使用sqoop实现oracle与hdfs的数据交换，从oracle数据表导入到hdfs集群，以及把hdfs数据导出到oracle数据表。客户要求Hdfs文本文件中，字段分隔符必须是“|@|”。然而发现sqoop的—fields-terminated-by选项只能支持单字节分隔符，无法支持多字节分隔符，难以满足要求。上网搜索了一下，并没有太多公开资料能较好的解决这个问题。这篇文章（http://www.cnblogs.com/YFYkuner/p/3748495.html）是通过修改codegen生成的Java代码，再编译实现多字节分隔。不过这种办法还不够通用，并不能完全满足我的需求。但通过这篇文章可以学习到，分隔符主要是在DelimiterSet这个类定义。所以，我打算修改sqoop的源代码，使其支持多字节分隔。
使用sqoop1.4.6，下载地址：http://www.apache.org/dyn/closer.lua/sqoop/1.4.6
1. Sqoop工作原理
Sqoop在进行导入导出任务时，都会先自动生成一个java文件，并编译打成jar包，再提交到hadoop集群真正执行MapReduce任务。可以先阅读sqoop自动生成的java文件，看看其中数据导入导出的接口，以及分隔符如何被使用。这样可以有一个整体的印象。参考http://www.cnblogs.com/YFYkuner/p/3748495.html
2. 核心代码修改
2.1. 分隔符DelimiterSet的修改
首先了解一下分隔符org.apache.sqoop.lib.DelimiterSet的定义。
第一个字段field就是 –fields-terminated-by 指定的字段分隔符。源文件中变量类型是char，只能支持单字节。因此，首先需要将其修改为String类型，以便支持多字节分隔。
同时，DelimiterSet类的成员变量fieldDelim也需要修改为String类型。
2.2. 从Oracle导入Hdfs的修改
Sqoop主要是使用org.apache.sqoop.orm.ClassWriter类来实现从Oralce导入数据到Hdfs的。ClassWriter通过generateClassForColumns函数自动生成对应的java代码，这些被生成的代码才是真正在hadoop集群上执行。
其中导出到hdfs文本文件这段代码，具体是generateToString函数生成。
由于我们把DelimiterSet的fieldDelim字段类型从char改成了String，因此ClassWriter自动生成的java源码，也需要对应的修改。所以，需要修改如下：
2.3. 从Hdfs导出到Oracle的修改
从Hdfs导出到Oracle数据表，主要改动在于对Hdfs文本记录的解析，能够识别多字节分隔符。文本解析是通过org.apache.sqoop.lib.RecordParser的parseRecord方法来实现的。
源码是通过一个有限状态机来解析文本。我这里用String的split方法做了个最简单的处理来替换。
2.4. 解析--fields-terminated-by参数
sqoop通过命令行参数--fields-terminated-by设置分隔符。所以需要在org.apahe.sqoop.tool.BaseSqoopTool中设置Input和Output的分隔符，修改为字符串类型。修改如下：
2.5. 变更源码文件一览
由于修改了变量类型，以及相关函数参数，为了解决编译错误，还需要修改一些其它java文件。所有被修改的java文件如下。
3. 编译和打包
在ubuntu下使用ant编译和打包。参考sqoop的README，我安装的是jdk1.8.0_121和ant1.10.1。
|
== Compiling Sqoop Compiling Sqoop requires the following tools: * Apache ant (1.7.1) * Java JDK 1.6 Additionally, building the documentation requires these tools: * asciidoc * make * python 2.5+ * xmlto * tar * gzip To compile Sqoop, run +ant package+. There will be a fully self-hosted build provided in the +build/sqoop-(version)/+ directory. |
执行ant package命令即可。
在build下得到构建产物。
BTW：这里我指定了hadoop版本是2.6.1，只要在build.xml中修改版本号即可。
4. 测试
从Oracle导入Hdfs：
sqoop import --connect jdbc:oracle:thin:@ip:port --username username --password password --target-dir /hdfs/cluster/sqoop/dir --table oracletable --fields-terminated-by \\|@\\|
从Hdfs导出Oracle：
sqoop export --connect jdbc:oracle:thin:@ip:port --username username --password password --table oracletable --fields-terminated-by \\|@\\| --export-dir /hdfs/cluster/sqoop/dir
验证发现hdfs文件中字段分隔符确实是“|@|”，测试通过。
最后抛出一个问题供思考：分隔符是“|@|”，但为什么测试命令中--fields-terminated-by 指定的却是“\\|@\\|”呢？