Springboot + ElasticSearch 构建博客检索系统

项目效果预览：

 

 

 

安装成功的效果图：

 kibana安装：

 

 ES使用的是倒排索引

 

 

---

参考：https://www.yuque.com/gaohanghang/vx5cb2/aa576g#HuZ1N

《Springboot + ElasticSearch 构建博客检索系统》

视频地址：https://www.imooc.com/learn/1161

代码地址：https://github.com/gaohanghang/springboot-blog-es

我所使用的 elasticsearch、logstash、kibana的版本均为 7.5.0 最新版

简介：从实际需求分析开始，打造个人博客检索系统。内容涵盖 ES安装、ES基本概念和数据类型、Mysql 到 ES 数据同步、SpringBoot 操作 ES。通过本课，让学员对ES有一个初步认识，理解ES的一些适用场景，以及如何使用springboot来同ES进行交互。

第1章 课程介绍

1-1 课程导学

• 可以反复看
• 上手做
• 学会应用

第2章 初识 ElassticSearch

2-1 ElasticSearch 概念和适用场景

2-2 ElasticSearch 数据类型，和关系型数据库对比

2-3 安装 ES、postman、Kibana

2-4 演示 postman、kibana对ES的交互

PostMan

Get 查看所有索引

localhost:9200/_all

PUT 创建索引-test

localhost:9200/test  


DEL 删除索引-test

localhost:9200/test  


PUT 创建索引-person-1

localhost:9200/person


PUT 新增数据-person-1

localhost:9200/person/_doc/1

{
    "first_name" : "John",
  "last_name" : "Smith",
  "age" : 25,
  "about" : "I love to go rock climbing",
  "interests" : [ "sports", "music" ]
}

PUT 新增数据-person-2

localhost:9200/person/_doc/2

{
    "first_name" : "Eric",
  "last_name" : "Smith",
  "age" : 23,
  "about" : "I love basketball",
  "interests" : [ "sports", "reading" ]
}

GET 搜索数据-person-id

localhost:9200/person/_doc/1

GET 搜索数据-person-name

localhost:9200/person/_doc/_search?q=first_name:john

{
  "took": 56,
  "timed_out": false,
  "_shards": {
    "total": 1,
    "successful": 1,
    "skipped": 0,
    "failed": 0
  },
  "hits": {
    "total": {
      "value": 1,
      "relation": "eq"
    },
    "max_score": 0.6931472,
    "hits": [
      {
        "_index": "person",
        "_type": "_doc",
        "_id": "1",
        "_score": 0.6931472,
        "_source": {
          "first_name": "John",
          "last_name": "Smith",
          "age": 25,
          "about": "I love to go rock climbing",
          "interests": [
            "sports",
            "music"
          ]
        }
      }
    ]
  }
}

Kibana

http://localhost:5601/app/kibana

GET _search
{
  "query": {
    "match_all": {}
  }
}


GET _all

GET /person/_doc/1

POST /person/_search
{
    "query": {
    "bool": {
            "should": [
        {"match": {
                "first_name": "Eric"
            }
            }
      ]
    }
}

POST /person/_search
{
    "query": {
    "bool": {
            "should": [
        {"match": {
                "last_name": "Smith"
            }
            },
        {
            "match": {
            "about": "basketball"
          }
                }
      ]
    }
  }
}



POST /person/_search
{
    "query": {
    "bool": {
            "must": [
        {"match": {
                "last_name": "Smith"
            }
            },
        {
            "match": {
            "about": "basketball"
          }
                }
      ]
    }
  }
}

第3章 博客网站全文检索

3-1 基于 Mysql 实现

CREATE DATABASE blog;

USE blog;

CREATE TABLE `t_blog` (    
   `id` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增id',    
   `title` varchar(60) DEFAULT NULL COMMENT '博客标题',    
   `author` varchar(60) DEFAULT NULL COMMENT '博客作者',    
   `content` mediumtext COMMENT '博客内容',    
   `create_time` datetime DEFAULT NULL COMMENT '创建时间',    
   `update_time` datetime DEFAULT NULL COMMENT '更新时间',    
   PRIMARY KEY (`id`)    
) ENGINE=InnoDB AUTO_INCREMENT=9 DEFAULT CHARSET=utf8mb4


# 自己造的几条数据
INSERT INTO `blog`.`t_blog`(`id`, `title`, `author`, `content`, `create_time`, `update_time`) VALUES (1, 'Springboot 为什么这', 'bywind', '没错 Springboot ', '2019-12-08 01:44:29', '2019-12-08 01:44:34');
INSERT INTO `blog`.`t_blog`(`id`, `title`, `author`, `content`, `create_time`, `update_time`) VALUES (3, 'Springboot 中 Redis', 'bywind', 'Spring Boot', '2019-12-08 01:44:29', '2019-12-08 01:44:29');
INSERT INTO `blog`.`t_blog`(`id`, `title`, `author`, `content`, `create_time`, `update_time`) VALUES (4, 'Springboot 中如何优化', 'bywind', NULL, '2019-12-08 01:44:29', '2019-12-08 01:44:29');
INSERT INTO `blog`.`t_blog`(`id`, `title`, `author`, `content`, `create_time`, `update_time`) VALUES (5, 'Springboot 消息队列', 'bywind', NULL, '2019-12-08 01:44:29', '2019-12-08 01:44:29');
INSERT INTO `blog`.`t_blog`(`id`, `title`, `author`, `content`, `create_time`, `update_time`) VALUES (6, 'Docker Compose + Springboot', 'bywind', NULL, '2019-12-08 01:44:29', '2019-12-08 01:44:29');

SELECT * FROM t_blog WHERE title LIKE "%spring%" or content LIKE "%spring%"

3-2 基于ES实现

第4章 Mysql、ES 数据同步

4-1 数据同步中间件

不足：不支持 ES6.X 以上、Mysql 8.X 以上

time 标识最大时间

4-2 logstash全量、增量同步解决方案

https://www.elastic.co/cn/downloads/logstash

jar 包下载地址

https://mvnrepository.com/artifact/mysql/mysql-connector-java/5.1.31

mysql.conf

input{
    jdbc{
        # jdbc驱动包位置
        jdbc_driver_library => "/Users/gaohanghang/software/0ELK7.5/logstash-7.5.0/mysql-connector-java-5.1.31.jar"
        # 要使用的驱动包类
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # mysql数据库的连接信息
        jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/blog"
        # mysql用户
        jdbc_user => "root"
        # mysql密码
        jdbc_password => "root"
        # 定时任务，多久执行一次查询，默认一分钟，如果想要没有延迟，可以使用 schedule => "* * * * * *"
        schedule => "* * * * *"
        # 清空上传的sql_last_value记录
        clean_run => true
        # 你要执行的语句
        statement => "select * FROM t_blog WHERE update_time > :sql_last_value AND update_time < NOW() ORDER BY update_time desc"
    }
}

output {
    elasticsearch{
        # es host : port
        hosts => ["127.0.0.1:9200"]
        # 索引
        index => "blog"
        # _id
        document_id => "%{id}"
    }
}

bin/logstash -f config/mysql.conf

 

会报错，错误信息：

Unable to find driver class via URLClassLoader in given driver jars: com.mysql.jdbc.Driver and com.mysql.jdbc.Driver

我用的 logstash7.5.0

这里只是一个解决方法。只需将驱动程序Jar文件复制到<logstash_install_dir>/logstash-core/lib/jars/目录。

然后删除conf里的jdbc驱动包配置

mysql.conf

input{
    jdbc{
        # 要使用的驱动包类
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        # mysql数据库的连接信息
        jdbc_connection_string => "jdbc:mysql://127.0.0.1:3306/blog"
        # mysql用户
        jdbc_user => "root"
        # mysql密码
        jdbc_password => "root"
        # 定时任务，多久执行一次查询，默认一分钟，如果想要没有延迟，可以使用 schedule => "* * * * * *"
        schedule => "* * * * *"
        # 清空上传的sql_last_value记录
        clean_run => true
        # 你要执行的语句
        statement => "select * FROM t_blog WHERE update_time > :sql_last_value AND update_time < NOW() ORDER BY update_time desc"  
    }
}

output {
    elasticsearch{
        # es host : port
        hosts => ["127.0.0.1:9200"]
        # 索引
        index => "blog"
        # _id
        document_id => "%{id}"
    }
}

成功

GET /blog/_stats

GET /blog/_search

第 5 章

5-1 分词器介绍

5-2 IK分词器的安装和使用

POST _analyze
{
  "analyzer": "standard",
  "text" : "hello imooc"
}

POST _analyze
{
  "analyzer": "standard",
  "text" : "我是中国人"
}

ik分词器下载地址：

https://github.com/medcl/elasticsearch-analysis-ik/releases

启动报错

https://github.com/medcl/elasticsearch-analysis-ik/issues/384

ES存放文件路径中不能带有空格啊！！！！

POST _analyze
{
  "analyzer": "ik_smart",
  "text" : "我是中国人"
}

POST _analyze
{
  "analyzer": "ik_max_word",
  "text" : "我是中国人"
}

POST _analyze
{
  "analyzer": "ik_max_word",
  "text" : "我是慕课网"
}

字典添加慕课网后

5-3 springboot 项目搭建

server:
  port: 8081
spring:
  #数据库配置
  datasource:
    driver-class-name: com.mysql.cj.jdbc.Driver
    url: jdbc:mysql://localhost:3306/blog?useUnicode=true&characterEncoding=utf-8
    username: root
    password: root
    # hikari 数据源专用配置
    hikari:
      maximum-pool-size: 20
      minimum-idle: 5

  # jpa 相关配置
  jpa:
    hibernate:
      ddl-auto: update
    show-sql: true
    # 数据库方言
    database-platform: org.hibernate.dialect.MySQLDialect

  # es 配置


  # mvc 静态资源映射
  mvc:
    static-path-pattern: /**

  # 静态资源热部署
  devtools:
    livereload:
      enabled: true
    restart:
      additional-paths: static/**

  # 日期格式化
  jackson:
    date-format: yyyy-MM-dd HH:mm:ss

代码地址：https://github.com/gaohanghang/springboot-blog-es

5-4 项目结构和JPA演示

5-5 springboot 集成ES

5-6 项目后端 REST API 实现

第 6 章 

6-1 课程回顾与总结