zoukankan      html  css  js  c++  java

  • Spring Boot + Elasticsearch 实现索引的日常维护

    全文检索的应用越来越广泛，几乎成了互联网应用的标配，商品搜索、日志分析、历史数据归档等等，各种场景都会涉及到大批量的数据，在全文检索方面，方案无外乎Lucene、Solr、Elasticsearch三种应用的较为广泛。es、solr的底层都依托于Lucene，但es比solr学习成本更低，由于其提供的RESTful API简单快捷，对互联网应用开发而言更是如虎添翼。

    下面结合以实际案例，通过Java API的形式操作es数据集。

    框架选型基础是Spring Boot + Spring-data-elasticsearch + elasticsearch。

    使用ElasticsearchRepository的形式来连接、维护ES数据集，ElasticsearchRepository中提供了简单的操作索引数据的方法集合，继承自ElasticsearchCrudRepository，涵盖了CRUD、排序、分页等常见的基本操作功能。

    1. @NoRepositoryBean  
    2. public interface ElasticsearchRepository<T, ID extends Serializable> extends ElasticsearchCrudRepository<T, ID> {  
    3.     <S extends T> S index(S var1);  
    5.     Iterable<T> search(QueryBuilder var1);  
    7.     Page<T> search(QueryBuilder var1, Pageable var2);  
    9.     Page<T> search(SearchQuery var1);  
    11.     Page<T> searchSimilar(T var1, String[] var2, Pageable var3);  
    13.     void refresh();  
    15.     Class<T> getEntityClass();  
    16. }  

    从基本的pom配置开始

    1. <project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    2.     xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    3.     <modelVersion>4.0.0</modelVersion>
    4.     <groupId>com.esp.index.data</groupId>
    5.     <artifactId>esp-cube</artifactId>
    6.     <version>0.0.1-SNAPSHOT</version>
    8.     <parent>
    9.         <groupId>org.springframework.boot</groupId>
    10.         <artifactId>spring-boot-starter-parent</artifactId>
    11.         <version>1.5.2.RELEASE</version>
    12.         <relativePath /> <!-- lookup parent from repository -->
    13.     </parent>
    15.     <properties>
    16.         <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    17.         <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
    18.         <java.version>1.7</java.version>
    19.     </properties>
    21.     <dependencies>
    22.         <dependency>
    23.             <groupId>org.springframework.boot</groupId>
    24.             <artifactId>spring-boot-starter-jdbc</artifactId>
    25.             <exclusions>
    26.                 <exclusion>
    27.                     <groupId>org.apache.tomcat</groupId>
    28.                     <artifactId>tomcat-jdbc</artifactId>
    29.                 </exclusion>
    30.             </exclusions>
    31.         </dependency>
    32.         <dependency>
    33.             <groupId>org.springframework.boot</groupId>
    34.             <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
    35.         </dependency>
    36.         <dependency>
    37.             <groupId>org.springframework.boot</groupId>
    38.             <artifactId>spring-boot-starter-web</artifactId>
    39.             <exclusions>
    40.                 <exclusion>
    41.                     <artifactId>log4j-over-slf4j</artifactId>
    42.                     <groupId>org.slf4j</groupId>
    43.                 </exclusion>
    44.             </exclusions>
    45.         </dependency>
    46.         <dependency>
    47.             <groupId>org.springframework.boot</groupId>
    48.             <artifactId>spring-boot-starter</artifactId>
    49.             <exclusions>
    50.                 <exclusion>
    51.                     <groupId>org.springframework.boot</groupId>
    52.                     <artifactId>spring-boot-starter-logging</artifactId>
    53.                 </exclusion>
    54.             </exclusions>
    55.         </dependency>
    56.         <dependency>
    57.             <groupId>org.springframework.boot</groupId>
    58.             <artifactId>spring-boot-starter-test</artifactId>
    59.             <scope>test</scope>
    60.         </dependency>
    61.         <dependency>
    62.             <groupId>org.springframework.boot</groupId>
    63.             <artifactId>spring-boot-starter-log4j</artifactId>
    64.             <version>1.3.1.RELEASE</version>
    65.         </dependency>
    66.     </dependencies>
    68.     <build>
    69.         <finalName>esp-cube</finalName>
    70.         <plugins>
    71.             <plugin>
    72.                 <groupId>org.springframework.boot</groupId>
    73.                 <artifactId>spring-boot-maven-plugin</artifactId>
    74.             </plugin>
    75.         </plugins>
    76.     </build>
    77. </project>

    编写自己的Resository操作类

    1. public interface ArticleSearchRepository extends ElasticsearchRepository<Article, Long>{
    2.     List<Article> findByAbstractsAndContent(String abstracts, String content);
    3. }

    其中Article为是与elasticsearch连接的实体类，类似于PO的概念，其中指定的索引名称、类型名称、及分片、副本数量等要素。

    1. @Data
    2. @Document(indexName = "article_index", type = "article", shards = 5, replicas = 1, indexStoreType = "fs", refreshInterval = "-1")
    3. public class Article implements Serializable {
    5.     /**
    6.      * serialVersionUID:
    7.      * 
    8.      * @since JDK 1.6
    9.      */
    10.     private static final long serialVersionUID = 1L;
    12.     @Id
    13.     private Long id;
    14.     /** 标题 */
    15.     private String title;
    16.     /** 摘要 */
    17.     private String abstracts;
    18.     /** 内容 */
    19.     private String content;
    20.     /** 发表时间 */
    21.     @Field(format = DateFormat.date_time, index = FieldIndex.no, store = true, type = FieldType.Object)
    22.     private Date postTime;
    23.     /** 点击率 */
    24.     private Long clickCount;
    25. }

    我们需要定义域的实体和一个Spring data的基本的CRUD支持库类。用id注释定义标识符字段，如果你没有指定ID字段，Elasticsearch不能索引你的文件。同时需要指定索引名称类型，@Document注解也有助于我们设置分片和副本数量。

    接口类

    1. public interface ArticleService {
    3.     /**
    4.      * saveArticle: 写入<br/>
    5.      *
    6.      * @author guooo Date:2017年9月27日下午3:20:06
    7.      * @param article
    8.      * @return
    9.      * @since JDK 1.6
    10.      */
    11.     long saveArticle(Article article);
    13.     /**
    14.      * deleteArticle: 删除，并未真正删除，只是查询不到<br/>
    15.      *
    16.      * @author guooo Date:2017年9月27日下午3:20:08
    17.      * @param id
    18.      * @since JDK 1.6
    19.      */
    20.     void deleteArticle(long id);
    22.     /**
    23.      * findArticle: <br/>
    24.      *
    25.      * @author guooo Date:2017年9月27日下午3:20:10
    26.      * @param id
    27.      * @return
    28.      * @since JDK 1.6
    29.      */
    30.     Article findArticle(long id);
    32.     /**
    33.      * findArticlePageable: <br/>
    34.      *
    35.      * @author guooo Date:2017年9月27日下午3:20:13
    36.      * @return
    37.      * @since JDK 1.6
    38.      */
    39.     List<Article> findArticlePageable();
    41.     /**
    42.      * findArticleAll: <br/>
    43.      *
    44.      * @author guooo Date:2017年9月27日下午3:20:15
    45.      * @return
    46.      * @since JDK 1.6
    47.      */
    48.     List<Article> findArticleAll();
    50.     /**
    51.      * findArticleSort: <br/>
    52.      *
    53.      * @author guooo Date:2017年9月27日下午3:20:18
    54.      * @return
    55.      * @since JDK 1.6
    56.      */
    57.     List<Article> findArticleSort();
    59.     /**
    60.      * search: <br/>
    61.      *
    62.      * @author guooo Date:2017年9月27日下午3:20:22
    63.      * @param content
    64.      * @return
    65.      * @since JDK 1.6
    66.      */
    67.     List<Article> search(String content);
    69.     /**
    70.      * update: es没有修改操作，结合save操作完成<br/>
    71.      *
    72.      * @author guooo Date:2017年9月27日下午3:20:25
    73.      * @param id
    74.      * @return
    75.      * @since JDK 1.6
    76.      */
    77.     long update(long id);
    78. }

    接口实现

    1. @Service
    2. public class ArticleServiceImpl implements ArticleService {
    4.     final int page = 0;
    5.     final int size = 10;
    7.     /* 搜索模式 */
    8.     String SCORE_MODE_SUM = "sum"; // 权重分求和模式
    9.     Float MIN_SCORE = 10.0F; // 由于无相关性的分值默认为 1 ，设置权重分最小值为 10
    11.     Pageable pageable = new PageRequest(page, size);
    13.     @Autowired
    14.     ArticleSearchRepository repository;
    16.     @Override
    17.     public long saveArticle(Article article) {
    18.         Article result = repository.save(article);
    19.         return result.getId();
    20.     }
    22.     @Override
    23.     public void deleteArticle(long id) {
    24.         repository.delete(id);
    25.     }
    27.     @Override
    28.     public Article findArticle(long id) {
    29.         return repository.findOne(id);
    30.     }
    32.     @Override
    33.     public List<Article> findArticlePageable() {
    35.         return repository.findAll(pageable).getContent();
    36.     }
    38.     @Override
    39.     public List<Article> findArticleAll() {
    40.         Iterable<Article> iterables = repository.findAll();
    41.         List<Article> articles = new ArrayList<>();
    42.         for (Article article : iterables) {
    43.             articles.add(article);
    44.         }
    45.         return articles;
    46.     }
    48.     @Override
    49.     public List<Article> findArticleSort() {
    50.         List<Order> orders = new ArrayList<>();
    51.         Order order = new Order(Direction.ASC, "clickCount");
    52.         orders.add(order);
    53.         Sort sort = new Sort(orders);
    54.         Iterable<Article> iterables = repository.findAll(sort);
    55.         List<Article> articles = new ArrayList<>();
    56.         for (Article article : iterables) {
    57.             articles.add(article);
    58.         }
    59.         return articles;
    60.     }
    62.     @Override
    63.     public List<Article> search(String content) {
    64.         return repository.findByAbstractsAndContent(content, content);
    65.     }
    67.     @Override
    68.     public long update(long id) {
    69.         Article article = repository.findOne(id);
    70.         article.setTitle("test");
    71.         Article retun = repository.save(article);
    72.         System.out.println(retun.getId()+"更新的数据");
    73.         return retun.getId();
    74.     }
    75. }

    是不是与JPA、hibernate操作数据集的手法很类似？

    controller方法类：

    1. @RestController
    2. @RequestMapping(value = "/article")
    3. public class APIArticleController {
    5.     @Autowired
    6.     ArticleService articleService;
    9.     @RequestMapping(value = "save", method = RequestMethod.POST)
    10.     public long save() {
    11.         for (int i = 10000; i < 12000; i++) {
    12.             Article article = new Article();
    13.             article.setClickCount(Long.valueOf(i + RandomUtils.nextInt(23, i)));
    14.             article.setAbstracts("我的一个测试" + i);
    15.             article.setContent(i + "这是第一个测试的内容@spring-data-elasticsearch");
    16.             article.setPostTime(new Date());
    17.             article.setId(Long.valueOf(RandomUtils.nextLong(i, i)));
    18.             long _id = articleService.saveArticle(article);
    19.             System.out.println(_id);
    20.         }
    21.         return 23;
    22.     }
    24.     @RequestMapping(value = "delete", method = RequestMethod.POST)
    25.     public void deleteArticle(long id) {
    26.         articleService.deleteArticle(id);
    27.     }
    29.     @RequestMapping(value = "findOne", method = RequestMethod.POST)
    30.     public Article findArticle(long id) {
    31.         return articleService.findArticle(id);
    32.     }
    34.     @RequestMapping(value = "findArticlePageable", method = RequestMethod.POST)
    35.     public List<Article> findArticlePageable() {
    36.         return articleService.findArticlePageable();
    37.     }
    39.     @RequestMapping(value = "findArticleAll", method = RequestMethod.POST)
    40.     public List<Article> findArticleAll() {
    41.         return articleService.findArticleAll();
    42.     }
    44.     @RequestMapping(value = "findArticleSort", method = RequestMethod.POST)
    45.     public List<Article> findArticleSort() {
    46.         return articleService.findArticleSort();
    47.     }
    49.     @RequestMapping(value = "search", method = RequestMethod.POST)
    50.     public List<Article> search(String content) {
    51.         return articleService.search(content);
    52.     }
    54.     @RequestMapping(value = "update", method = RequestMethod.POST)
    55.     public long update(long id) {
    56.         return articleService.update(id);
    57.     }
    58. }

    Spring Boot的启动类及配置项，这里略过，项目启动后，可能过controller暴露出来的方法进行Article数据索引的CRUD操作




    成长的乐趣，在于分享!
    大龄程序员，一路走来，感慨颇多。闲暇时写写字，希望能给同行人一点帮助。
    本文版权归作者growithus和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。
  • 相关阅读:
    海康API——获取监控点预览取流URL，获取的rtsp流不能播放
    MySQL——ON DUPLICATE KEY UPDATE添加索引值实现重复插入变更update
    maven——pom.xml的Missing artifact net.sf.json-lib:json-lib:jar:2.4 报错问题(两种有效的解决方案)
    Mysql——navicat如何导出mysql数据表结构
    MySQL——导入导出.sql文件
    仅用U盘就可以去除XP管理员密码
    测试
    酒
    navicat 或者workbench 无法连接127.0.0.1(61)的解决方法
    在linux中添加ftp用户，并设置相应的权限
  • 原文地址：https://www.cnblogs.com/growithus/p/11012208.html
Copyright © 2011-2022 走看看