搜索解决方案 -- solr -- spring data solr

一、Solr的安装与配置

　　1.1 什么是Solr

　　Solr是一个开源搜索平台，用于构建搜索应用程序。它建立在Lucene(全文搜索引擎)之上。Solr是企业级的，快速的和高度可扩展的。使用Solr构建的应用程序非常复杂，可提供高性能。

　　通过使用类似REST的HTTP API，确保了几乎能使用任何编程语言来使用solr。

　　Solr可以和Hadoop一起使用。由于Hadoop处理大量数据，Solr帮助我们从这么大的源中找到所需的信息。不仅限于搜索，Solr也可以用于存储目的。像其他NoSQL数据库一样，它是一种分关系数据存储和处理技术。

　　总是，Solr是一个可扩展的，可部署，搜索/存储引擎，优化搜索大量以文本为中心的数据。

　　1.2 Solr安装

• 安装Tomcat，解压缩就可以了
• 解压solr
• 把solr下的dist目录 solr-4.10.3.war 部署到Tomcatwebapps 下(去掉版本号)。
• 启动Tomcat解压缩war包
• 包solr下example/lib/ext目录下的所有的jar包添加到solr的工程中(WEB-INFlib目录下)。
• 创建一个solrhome。solr下的/example/solr目录就是一个solrhome。复制此目录到D盘改名为solrhome
• 关联solr及solrhome。需要修改solr工程的web.xml文件

<env-entry>
    <env-entry-name>solr/home</env-entry-name>
    <env-entry-value>d:solrhome</env-entry-value>
    <env-entry-type>java.lang.String</env-entry-type>
</env-entry>

• 启动Tomcat

　　访问：http://localhost:8080/solr/

　　1.3 中文分析器IK Analyzer

　　1.IK Analyzer简介

　　一个开源的，基于Java语言开发的轻量级的中文分词工具包

　　2.IK Analyzer配置

　　步骤：

　　　　1、把IKAnalyzer2012FF_u1.jar添加到solr工程的lib目录下

　　　　2、创建WEB-INF/classes 文件夹，把扩展词典、停用词词典、配置文件放到solr工程的WEB-INF/classes目录下。

　　　　3、修改Solrhome的scheme.xml文件，配置一个FieldType，使用IKAnalyzer

<fieldType name="text_ik" class="solr.TextField">
    <analyzer class="org.wltea.analyzer.lucene.IKAnalyzer"/>
</fieldType>

　　1.4 配置域

　　域相当于数据库的表字段，用户存放数据，因此用户根据业务需要去定义相关的Field（域），一般来说，每一种域对应着一种数据，用户对同一种数据进行相同的操作

　　域的常用属性：

• name：指定域的名称
• type：指定域的类型
• indexed：是否索引
• stored：是否存储
• required：是否必须
• multiValue的：是否多值

　　1.域 -- field

　　修改solrhome的schema.xml文件，设置业务系统Field -- 为下面的demo做铺垫

<field name="item_goodsid" type="long" indexed="true" stored="true"/>
<field name="item_title" type="text_ik" indexed="true" stored="true"/>
<field name="item_price" type="double" indexed="true" stored="true"/>
<field name="item_image" type="string" indexed="false" stored="true" />
<field name="item_category" type="string" indexed="true" stored="true" />
<field name="item_seller" type="text_ik" indexed="true" stored="true" />
<field name="item_brand" type="string" indexed="true" stored="true" />

　　2.复制域 -- copyFiled

<field  name="item_keywords"  type="text_ik"  indexed="true"  stored="false"
multiValued="true"/>
<copyField source="item_title" dest="item_keywords"/>
<copyField source="item_category" dest="item_keywords"/>
<copyField source="item_seller" dest="item_keywords"/>
<copyField source="item_brand" dest="item_keywords"/>

　　3.动态域 -- dynamicField

 　　当我们需要动态扩充字段时，就需要使用到动态域，假设搜索对象为一个商品

<dynamicField name="item_spec*" type="string" indexed="true" stored="true" />

二、Spring Data Solr入门

　　2.1 Spring Data Solr简介

 　　Spring Data Solr是为了方便Solr的一个封装，其底层是对SolrJ（官方API）的封装。

　　2.2 Spring Data Solr入门小Demo

　　1.搭建工程

• pom.xml中引入依赖

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.pinyougou</groupId>
  <artifactId>Spring-Data-Solr-Demo</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  
  <dependencies>
      <!-- spring-data-solr -->
      <dependency>
        <groupId>org.springframework.data</groupId>
        <artifactId>spring-data-solr</artifactId>
        <version>1.5.5.RELEASE</version>
      </dependency>
      
      <!-- 测试用 -->
    <dependency>
        <groupId>org.springframework</groupId>
        <artifactId>spring-test</artifactId>
        <version>4.2.4.RELEASE</version>
    </dependency>
    <dependency>
        <groupId>junit</groupId>
        <artifactId>junit</artifactId>
        <version>4.9</version>
    </dependency>
  </dependencies>
</project>

• 创建applicationContext-solr.xml

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xmlns:p="http://www.springframework.org/schema/p"
    xmlns:context="http://www.springframework.org/schema/context"
    xmlns:solr="http://www.springframework.org/schema/data/solr"
    xsi:schemaLocation="http://www.springframework.org/schema/data/solr
    http://www.springframework.org/schema/data/solr/spring-solr-1.0.xsd
    http://www.springframework.org/schema/beans
    http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/context
    http://www.springframework.org/schema/context/spring-context.xsd">
    
    <!-- solr 服务器地址 -->
    <solr:solr-server id="solrServer" url="http://127.0.0.1:8080/solr" />
    
    <!-- solr 模板，使用 solr 模板可对索引库进行 CRUD 的操作 -->
    <bean id="solrTemplate" class="org.springframework.data.solr.core.SolrTemplate">
        <constructor-arg ref="solrServer" />
    </bean>
</beans>

　　2.创建搜索对应的商品类

　　将需要索引的实体类在Item对应的属注解性上使用@Filed注解标识，如果属性与配置文件定义的域名称不一致，需要在注解中指定域名称。

public class TbItem implements Serializable {

    @Field
    private Long id;

    @Field("item_title")
    private String title;

    @Field("item_price")
    private BigDecimal price;

    @Field("item_image")
    private String image;

    @Field("item_goodsid")
    private Long goodsId;

    @Field("item_category")
    private String category;

    @Field("item_brand")
    private String brand;

    @Field("item_seller")
    private String seller;

    // 省略getter和setter方法
}

　　3.solrTemplate中的常用方法

@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration(locations = "classpath:applicationContext-solr.xml")
public class SolrTest {

    @Autowired
    private SolrTemplate solrTemplate;

    /**
     * 测试添加 -- 执行增删改需要进行commit提交
     */
    @Test
    public void testAdd() {
        TbItem item = new TbItem();
        item.setId(1L);
        item.setBrand("华为");
        item.setCategory("手机");
        item.setGoodsId(1L);
        item.setSeller("华为1号专卖店");
        item.setTitle("华为Mate9");
        item.setPrice(new BigDecimal(2000));

        solrTemplate.saveBean(item);
        solrTemplate.commit();
    }

    /**
     * 测试根据主键查找一个
     */
    @Test
    public void testFindOne() {
        TbItem item = solrTemplate.getById(1, TbItem.class);
        System.out.println(item.getTitle());
    }

    /**
     * 测试根据主键删除
     */
    @Test
    public void testDele() {
        for (int i = 2; i <= 100; i++) {
            solrTemplate.deleteById("" + i + "");
            solrTemplate.commit();
        }

    }

    /**
     * 测试添加一个集合
     */
    @Test
    public void testAddList() {
        ArrayList<TbItem> list = new ArrayList<TbItem>();

        for (int i = 0; i < 100; i++) {
            TbItem item = new TbItem();
            item.setId(i + 1L);
            item.setBrand("华为");
            item.setCategory("手机");
            item.setGoodsId(1L);
            item.setSeller("华为 2 号专卖店");
            item.setTitle("华为 Mate" + i);
            item.setPrice(new BigDecimal(2000 + i));
            list.add(item);
        }

        solrTemplate.saveBeans(list);
        solrTemplate.commit();

    }

    /**
     * 测试分页查询
     */
    public void testPageQuery() {
        Query query = new SimpleQuery("*:*");
        query.setOffset(20);// 开始索引
        query.setRows(20);// 每页记录数
        ScoredPage<TbItem> page = solrTemplate.queryForPage(query, TbItem.class);
        List<TbItem> list = page.getContent();
        for (TbItem item : list) {
            System.out.println(item.getTitle());
        }

    }

    /**
     * 测试条件查询
     */
    public void testPageQueryMutil() {
        Query query = new SimpleQuery("*:*");
        Criteria criteria = new Criteria("item_title").contains("2");
        criteria = criteria.and("item_title").contains("5");
        query.addCriteria(criteria);
        ScoredPage<TbItem> page = solrTemplate.queryForPage(query, TbItem.class);
        System.out.println("总记录数：" + page.getTotalElements());
        List<TbItem> list = page.getContent();
        for (TbItem item : list) {
            System.out.println(item.getTitle());
        }
    }

    /**
     * 测试删除所有
     */
    public void testDeleAll() {
        Query query = new SimpleQuery("*:*");
        solrTemplate.delete(query);
        solrTemplate.commit();
    }
}

　　这里就不一一展示了，有兴趣的执行一下，有想用SpringBoot做一下，但是SpringBoot中的SolrTemplate的方法和上面的有点不一样，SolrClient的方法和上面使用的SolrTemplate中差不多。下次有机会再尝试。