Solr4：配置Data Import，从数据库直接创建索引

1. 要求

将数据库中的数据直接创建到Solr索引中去。先做全部索引，然后定期做增量索引。

2. 环境

Solr4.4版本，Tomcat7.0版本，Oracle 11g，已经配置好Tomcat与Solr的集成，包括中文分词等。

3. 实现步骤

3.1 编辑solrconfig.xml文件，在合适位置增加如下代码：

<requestHandler name="/dataimport" class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
    <str name="config">data-config.xml</str>
</lst>
</requestHandler>

3.2 在conf目录下创建data-config.xml文件，内容如下：

<dataConfig>
    <dataSource driver="oracle.jdbc.driver.OracleDriver" 
　　　　url="jdbc:oracle:thin:@127.0.0.1:1521:orcl" user="mybbs" password="bbs001"/>
    <document>
        <entity name="bbsdetail" query="select DETAIL_ID,TITLE,CATEGORY_NAME,PUBLISH_TIME from VIEW_DETAIL">
        </entity>
    </document>
</dataConfig>

注意：上面查询语句中定义的字段必须在schema.xml文件中有相关定义。在我这里，VIEW_DETAIL是一张视图，包含了三张表中所有需要索引的列。

上面是Oracle数据库相关代码，如果是SQL Server2012版本，代码如下：

    <dataSource driver="com.microsoft.sqlserver.jdbc.SQLServerDriver" 
        url="jdbc:sqlserver://localhost:1434;databaseName=rujia;user=sa;password=yourpass;"/>

3.3 拷贝数据库JDBC驱动包及Solr相关的包到$solr-home/lib目录，在我这里是C:/Solr/lib。

文件包括：ojdbc6.jar（如果是SQL Server2012，则是：sqljdbc4.jar）、solr-dataimporthandler-4.4.0.jar、solr-dataimporthandler-extras-4.4.0.jar，后两个包在solr-4.4.0.zip包的dist目录下。

3.4 重新启动Tomcat，登录Solr管理后台，即可以在collection1下面的Dataimport中实现操作。

说明：

• 在做delta-import（增量索引）的时候，应该把clean核选框中勾去掉，以避免清除之前创建的索引。
• 可以选中Auto-Refresh Status核选框，以实时监控当前数据导入状态。
• 可以选中Debug核选框，以方便在出现问题时，通过查看Tomcat后台及Solr控制台界面找出错误原因。 

4. 若干问题

问题1：数据库中字段名与schema.xml文件中的字段名不一致时，作如下修改：

<dataConfig>
    <dataSource driver="oracle.jdbc.driver.OracleDriver" 
        url="jdbc:oracle:thin:@127.0.0.1:1521:orcl" user="mybbs" password="bbs001"/>
    <document>
        <entity name="bbsdetail"  
            query="select DETAIL_ID,TITLE,CATEGORY_NAME,PUBLISH_TIME from VIEW_DETAIL">

            <field column="TITLE" name="solr_title"/>
            <field column="CATEGORY_NAME" name="solr_category_name"/>
        </entity>
    </document>
</dataConfig>

问题2：数据库有Clob字段需要抓取时，作如下修改：

<dataConfig>
    <dataSource driver="oracle.jdbc.driver.OracleDriver" 
　　　　url="jdbc:oracle:thin:@127.0.0.1:1521:orcl" user="mybbs" password="bbs001"/>
    <document>
        <entity name="bbsdetail" transformer="ClobTransformer" 
            query="select DETAIL_ID,TITLE,CATEGORY_NAME,DETAIL_INFO,PUBLISH_TIME from VIEW_DETAIL">
            <field column="DETAIL_INFO"clob="true"/>
        </entity>
    </document>
</dataConfig>

说明：在entity上面增加transformer="ClobTransformer"，然后在Clob列上增加“clob="true"即可。

问题3：需要做增量索引时，作如下修改：

<dataConfig>
    <dataSource driver="oracle.jdbc.driver.OracleDriver" 
　　　　url="jdbc:oracle:thin:@127.0.0.1:1521:orcl" user="mybbs" password="bbs001"/>
    <document>
        <entity name="bbsdetail" pk="DETAIL_ID" transformer="ClobTransformer" query="select * from VIEW_DETAIL"
            deltaImportQuery="select * from VIEW_DETAIL where DETAIL_ID='${dih.delta.DETAIL_ID}'"
            deltaQuery="select DETAIL_ID from VIEW_DETAIL where PUBLISH_TIME &gt; to_date('${dih.last_index_time}','yyyy-mm-dd hh:mi:ss')">

            <field column="DETAIL_INFO"clob="true"/>
        </entity>
    </document>
</dataConfig>    
    

说明：

• pk参数表示主键字段名。
• deltaQuery参数为查询出所有更新时间大于最后创建索引时间的主键值。${dih.last_index_time}是一个内置变量，此值默认存储于conf/dataimport.properties文件中。
• deltaImportQuery参数是按照主键值查询数据的语句。
• pk值，deltaQuery查询字段值，deltaImportQuery查询参数这三个名称必须保持一致（如本例中都为DETAIL_ID）。

问题4：需要查询从表时，作如下修改： 

<dataConfig>
    <dataSource driver="oracle.jdbc.driver.OracleDriver" 
　　　　url="jdbc:oracle:thin:@127.0.0.1:1521:orcl" user="mybbs" password="bbs001"/>
    <document>
        <entity name="bbsdetail" pk="DETAIL_ID" transformer="ClobTransformer" query="select * from VIEW_DETAIL where district_id=3004"
            deltaImportQuery="select * from VIEW_DETAIL where DETAIL_ID='${dih.delta.DETAIL_ID}'"
            deltaQuery="select DETAIL_ID from VIEW_DETAIL where PUBLISH_TIME &gt; to_date('${dih.last_index_time}','yyyy-mm-dd hh:mi:ss')">

            <field column="DETAIL_INFO" clob="true"/>
            
            <entity name="bbscomment" query="select COMMENT_BODY||'('||to_char(COMMENT_TIME,'yyyy-mm-dd hh:mi:ss')||')' as CONCAT_RESULT
                 from BBSCOMMENT where detail_id=${bbsdetail.DETAIL_ID}">

                <field column="CONCAT_RESULT" name="COMMENT_INFO"/>
            </entity>
        </entity>
    </document>
</dataConfig>    

5. 补充说明

• BBSDETAIL是主表，BBSCOMMENT是从表，为1..n的关系。
• 上述子查询是将从表中的记录形成一条摘要（用操作符”||“将多列合并为一列），保存到索引中。
• schema.xml文件中必须将comment_info字段的multiValued属性设置为true。