solr学习笔记-全量更新与增量更新，去除html标签

前段时间开发使用了solr进行全量更新，近期开发过程中对接信息发布，要求信息发布与更新要及时更新到solr中，使用全量更新耗时时间长效率太低，经过几番搜索找到了增量更新的方法：

（solr版本：7.7.2）

1.solrhome中的conf/data-config.xml

<dataConfig>
    <dataSource type="JdbcDataSource"
        driver="oracle.jdbc.driver.OracleDriver" url="jdbc:oracle:thin:@localhost:1521/orcl"
                user="db_user" password="db_password" />
    <document>
        <entity name="V_CONTENT" pk="ARTICLE_ID" transformer="ClobTransformer" 
            query="select * from V_CONTENT" 
            deltaQuery="select ARTICLE_ID from V_CONTENT where ARTICLE_ID='${dataimporter.request.id}' or CHANNEL_ID='${dataimporter.request.channelId}'" 
            deltaImportQuery="select * from V_CONTENT where ARTICLE_ID='${dih.delta.ARTICLE_ID}'" >
            <field column="ARTICLE_ID" name="id" />
            <field column="TITLE" name="articleTitle" />
            <field column="SHORT_TITLE" name="shortTitle" />
            <field column="CHANNEL_ID" name="channelId" />
            <field column="CHANNEL_NAME" name="channelName" />
            <field column="ARTICLE_KEYWORDS" name="articleKeywords" />
            <field column="ARTICLE_DIGEST" name="articleDigest" />
            <field column="ARTICLE_SOURCE" name="articleSource" />
            <field column="ARTICLE_VIEW_RIGHT" name="articleViewRight" />
            <field column="ARTICLE_CONTENT" name="articleContent" clob="true"/>
            <field column="IS_TOP" name="isTop" />
            <field column="TOP_DATE" name="topDate" />
            <field column="WRITE_TIME" name="writeTime" />
            <field column="PUBLISH_TIME" name="publisherTime" />
            <field column="PBTIME" name="pbtime" />
            <field column="SITE_ID" name="siteId" />
            <field column="URL" name="url" /> 
        </entity>
    </document>
</dataConfig>

说明：

dataSource：需要建立索引的数据库的相关配置

document：需要建立索引的数据库数据的实体映射关系建立在此标签内，可建立多个实体

entity：需要建立索引的数据库数据的实体映射关系

　　name：数据库中的表明或视图名

　　pk：数据库中的主键名，注意大小写

　　transformer=”ClobTransformer“：如果实体数据中包含colb字段需添加此配置，与<field column="" name="" clob="true" />结合使用

       query：全量导入需要执行的sql

　　deltaQuery：查询出所有经过修改的记录的ID，可能是修改操作，添加操作，删除操作产生的(此查询只对增量导入起作用，而且只能返回ID值)

       deltaImportQuery：次查询是获取以上步的ID，然后把其全部数据获取，根据获取的数据，对索引库进行更新操作，可能是删除，添加，修改(此查询只对增量导入起作用，可以返回多个字段的值,一般情况下，都是返回所有字段的列)

　　　　${dataimport.request.id}/${dataimport.request.channelId}：获取请求连接中自定义的参数，如：主键id、channelId等。

　　　　${dih.delta.ARTICLE_ID}：获取deltaQuery查询结果

更多信息请参看（solr增量更新之同步（添加、修改、删除））

全量更新请求地址：

http://localshot:8080/solr/content/dataimport?command=full-import&commit=true&clean=true

增量更新请求地址：

http://localshot:8080/solr/content/dataimport?command=delta-import&commit=true&clean=false&id=&channelId=

获取更新导入状态：

http://localshot:8080/solr/content/dataimport?command=status

其中 content 为创建的索引库的名称，需注意请求中 索引库名称 防止请求出错或更新出错！！！

参数说明：

command：

　　full-import：全量更新

　　delta-import：增量更新

　　status：获取更新导入状态

clean：选择是否要在索引开始构建之前删除之前的索引，默认为true。注意增量更新时设置此参数clean=false，否则将会清除所有已建索引！！！

commit：选择是否在索引完成之后提交。默认为true

optimize：是否在索引完成之后对索引进行优化。默认为true

debug：是否以调试模式运行，适用于交互式开发（interactive development mode）之中。请注意，如果以调试模式运行，那么默认不会自动提交，请加参数“commit=true”

所有命令如下 ：

public static final String FULL_IMPORT_CMD = "full-import";
 
  public static final String IMPORT_CMD = "import";
 
  public static final String DELTA_IMPORT_CMD = "delta-import";
 
  public static final String ABORT_CMD = "abort";
 
  public static final String DEBUG_MODE = "debug";
 
  public static final String RELOAD_CONF_CMD = "reload-config";
 
  public static final String SHOW_CONF_CMD = "show-config";

2.增量更新使用solr客户端（HttpSolrClient）

引入jar包：solr-solrj-5.5.5.jar

在项目配置文件Application-context.xml（更具自己项目实际情况进行配置）中注入bean：

<bean id="httpSolrClient" class="org.apache.solr.client.solrj.impl.HttpSolrClient">
        <constructor-arg index="0" value="http://localhost:8080/solr/"/>
        <property name="connectionTimeout" value="30000"/>
    </bean>

java代码：

@Service("solrServiceImpl")
public class SolrServiceImpl implements SolrService {

    @Resource
    private HttpSolrClient httpSolrClient;

    /**
     * 获取所有数据
     *
     * @param solrName      上文说的的创建的索引库的名称，如：content
     * @throws Exception
     */
    @Override
    public Object getAllList(String solrName) throws Exception {
        SolrQuery solrQuery = new SolrQuery();
        solrQuery.set("q", "*:*");
        QueryResponse response = httpSolrClient.query(solrName, solrQuery);
        SolrDocumentList documents = response.getResults();
        return documents;
    }

    /**
     * 根据主键id删除
     *
     * @param solrName      上文说的的创建的索引库的名称，如：content
     * @throws Exception
     */
    @Override
    public void delById(String solrName, String id) throws Exception {
        httpSolrClient.deleteById(solrName, id);
        httpSolrClient.commit(solrName);
    }

    /**
     * 根据channelId删除
     *
     * @param solrName      上文说的的创建的索引库的名称，如：content
     * @throws Exception
     */
    @Override
    public void delByChannel(String solrName, String channelId) throws Exception {
        httpSolrClient.deleteByQuery(solrName, "channelId:" + channelId);
        httpSolrClient.commit(solrName);
    }

    /**
     * 删除所有索引（慎用）
     *
     * @param solrName      上文说的的创建的索引库的名称，如：content
     * @throws Exception
     */
    @Override
    public void deleteAll(String solrName) throws Exception {
        httpSolrClient.deleteByQuery(solrName, "*:*");
        httpSolrClient.commit(solrName);
    }

    /**
     * 通过id获取数据
     *
     * @param solrName      上文说的的创建的索引库的名称，如：content
     * @return
     * @throws Exception
     */
    @Override
    public SolrDocument getById(String solrName, String id) throws Exception {
        return httpSolrClient.getById(solrName, id);
    }

    /**
     * 全量更新
     *
     * @param solrName      上文说的的创建的索引库的名称，如：content
     * @return
     * @throws Exception
     */
    @Override
    public String updateSolr(String solrName) throws Exception {
        String url = ConfigConsts.SOLR_SERVICE_ROOT_URL + solrName + "/dataimport";
        String params = "command=full-import&clean=true&commit=true";
        return HttpRequestUtil.sendGet(url, params);
    }

    /**
     * 根据文章id或栏目id 增量更新
     *
     * @param solrName      上文说的的创建的索引库的名称，如：content
     * @return
     * @throws Exception
     */
    @Override
    public String updateDeltaImportSolr(String solrName, String contentId, String channelId) throws Exception {
        //设置请求的路径
        String url = ConfigConsts.SOLR_SERVICE_ROOT_URL + solrName + "/dataimport";
        String params = "command=delta-import&clean=false&commit=true&id=" + contentId + "&channelId=" + channelId;
        return HttpRequestUtil.sendGet(url, params);
    }

    /**
     * 获取solr导入状态
     *
     * @param solrName      上文说的的创建的索引库的名称，如：content
     * @return
     * @throws Exception
     */
    public String getImportStatus(String solrName) throws Exception {
        String url = ConfigConsts.SOLR_SERVICE_ROOT_URL + solrName + "/dataimport";
        return HttpRequestUtil.sendGet(url, "command=status");
    }
}

3.导入时去除html标签　

　　3.1、在 数据库 的读取文件data-config.xml 中的entity 标记里边添加 transformer=”HTMLStripTransformer” 代码 。

<entity name="edusystem" pk="url" transformer="HTMLStripTransformer" query="SELECT description from table">
　　　　<field column="description" name="description" stripHTML="true"/>
　　</entity>

　　3.2、在field 字段需要过滤html代码的字段添加 stripHTML=”true”

<entity name="edusystem" pk="url" transformer="HTMLStripTransformer" query="SELECT description from table">
　　　　<field column="description" name="description" stripHTML="true" />
　　</entity>

　　3.3、修改schema.xml文件中的fieldType标记中的内容，添加如下代码<charFilter class=”solr.HTMLStripCharFilterFactory” />

<analyzer type="query">
　　　　<tokenizer class="com.chenlb.mmseg4j.solr.MMSegTokenizerFactory" mode="simple" reload="true" />
　　　　<filter class="solr.LowerCaseFilterFactory" />
　　　　<charFilter class="solr.HTMLStripCharFilterFactory" />
　　</analyzer>

每天进步一点点，点滴记录，积少成多。

以此做个记录，

如有不足之处还望多多留言指教！