ElasticSearch 高级DSL查询语句

ElasticSearch 高级DSL查询语句

1. 准备测试索引和映射关系

向ES集群中发送Put请求，用以创建索引和映射关系：http://127.0.0.1:9200/student

请求Body携带json参数信息如下

{
    "settings": {},
    "mappings": {
        "properties": {
            "name": {
                "type": "text",
                "index": true
            },
            "sex": {
                "type": "text",
                "index": true
            },
            "age": {
                "type": "long",
                "index": true
            }
        }
    }
}

发送请求后，服务端返回响应如下

2. 插入测试数据

# POST /student/_doc/1001
{
    "name":"zhangsan",
    "nickname":"zhangsan",
    "sex":"男",
    "age":30
}
# POST /student/_doc/1002
{
		"name":"lisi", 
  	"nickname":"lisi", 
  	"sex":"男", 
  	"age":20
}
# POST /student/_doc/1003
{
		"name":"wangwu", 
  	"nickname":"wangwu", 
  	"sex":"女",
		"age":40
}
# POST /student/_doc/1004
{
		"name":"zhangsan1", 
  	"nickname":"zhangsan1", 
  	"sex":"女",
		"age":50
}
# POST /student/_doc/1005
{
		"name":"zhangsan2", 
  	"nickname":"zhangsan2", 
  	"sex":"女",
		"age":30
}

3.高级查询

3.1 查询所有文档

在Postman中，向ES服务器发送GET请求，请求路径为：http://127.0.0.1:9200/student/_search

{
    "query":{
        "match_all":{
            
        }
    }
}

query ：这里的query代表一个查询对象，里面可以有不同的查询属性

match_all：查询条件，例如：match_all(代表查询所有)，match, term, range等等

服务器响应结果如下

{
    "took【查询花费时间，单位毫秒】": 1116,
    "timed_out【是否超时】": false,
    "_shards【分片信息】": {
        "total【总数】": 1,
        "successful【成功】": 1,
        "skipped【忽略】": 0,
        "failed【失败】": 0
    },
    "hits【搜索命中结果】": {
        "total"【搜索条件匹配的文档总数】: {
            "value"【总命中计数的值】: 3,
            "relation"【计数规则】: "eq" # eq 表示计数准确， gte 表示计数不准确
        },
        "max_score【匹配度分值】": 1.0,
        "hits【命中结果集合】": [
            。。。
        
    ]
}
}

3.2 匹配查询

match匹配类型查询，会把查询条件进行分词，然后进行查询，多个词条之间是or的关系

在postman中，向ES服务器发Get请求，http://127.0.0.1:9200/student/_search

{
    "query":{
        "match":{
            "name":"zhangsan"
        }
    }
}

服务器给出的响应结果是

3.3字段匹配查询

multi_match与match类似，不同的是它可以在多个字段中查询。

在postman中，向ES发送Get请求，http://127.0.0.1:9200/student/_search

{
    "query":{
        "multi_match":{
            "query":"zhangsan",
            "fields":["name","nickname"]
        }
    }
}

服务器响应结果为：

3.4 关键字精准查找

term查询，精确的关键字匹配查询，不对查询I条件进行分词

在postman中，向ES服务器发送Get请求，http://127.0.0.1:9200/student/_search

{
    "query":{
        "fuzzy":{
            "name":{
                "value":"zhangsan",
                "fuzziness":1
            }
         
        }
    }
}

服务器响应结果

3.5 多关键字精确查询

terms查询和term查询一样，但是它可以允许指定多个值进行匹配

如果这个字段包含了指定值中的任何一个值，那么这个文档就满足要求，类似于mysql中的in.

在postman中，向ES服务器发送get请求：http://127.0.0.1:9200/student/_search

{
    "query":{
        "terms":{
            "name":["zhangsan","lisi"]
        }
    }
}

服务器返回的请求为

3.6 指定查询字段

默认情况下，ElasticSearch在搜索的结果中，会把文件中保存在_source的字段都返回出来。如果只想获取其中的部分字段，可以添加_source的过滤

{
    "_source":["name","nickname"],
    "query":{
        "terms":{
            "nickname":["zhangsan"]
        }
    }
}

服务器响应结果信息为

3.7 过滤字段

可以使用includes和excludes来指定显示与不显示的字段信息

• include：来指定想要显示的字段
• exclude：来指定不想要显示的字段

在postman中，向ES集群发送Get请求，http://127.0.0.1:9200/student/_search

{
    "_source":{
        "includes":["name","nickname"]
    },
    "query":{
        "terms":{
            "nickname":["zhangsan"]
        }
    }
}

服务器响应结果

同理，测试下exclude，向ES服务器发送Get请求，http://127.0.0.1:9200/student/_search

{
    "_source":{
        "exclude":["name","nickname"]
    },
    "query":{
        "terms":{
            "nickname":["zhangsan"]
        }
    }
}

服务器得到的响应结果为

3.8 组合查询

bool把各种其他查询通过must（必须）、must_not（必须不）、should（应该）的方式进行组合

bool	说明
must	必须
must_not	必须不
should	应用

在postman中，向ES服务器发送get请求，http://127.0.0.1:9200/student/_search

{
    "query":{
        "bool":{
            "must":[
                {
                    "match":{
                        "name":"zhangsan"
                    }
                }
            ]
        }
    }
}

服务器得到的响应结果

3.9 范围查询

range查询找出那些落在指定区间内的数字或者时间。range查询允许以下字符

操作符	说明
gt	大于>
gte	大于等于≥
lt	小于<
lte	小于等于≤

在postman中，向ES服务器发送get请求，http://127.0.0.1:9200/student/_search

{
    "query":{
        "range":{
            "age":{
                "gte":30,
                "lte":35
            }
        }
    }
}

服务器得到的响应信息为

3.10 模糊搜索

返回包含与搜索字词相近的字词的文档

编辑距离是将一个属于转换为另一个术语所需的一个字符更改的次数。这些更改可以包括

- 更改字符（eg：box -> fox）
- 删除字符 （eg：black -> lack）
- 插入字符 （eg：sic -> sick）
- 转置两个相邻字符（eg：act -> cat）

为了找到相似的术语,fuzzy查询会在指定的编辑距离内创建一组搜索词的所有可能的变体或扩展。然后查询返回每个扩展的瓦全匹配

通过fuzziness修改编辑距离。一般使用默认值AUTO，根据术语的长度生成编辑距离。

在postman中，向ES服务器发送Get请求，http://127.0.0.1:9200/student/_search

3.11 单字段排序

sort可以按照不同的字段进行排序，并且通过order指定排序方式。desc降序，asc升序。

在postman中，向ES服务器发送Get请求，htto://127.0.0.1:9200/student/_serach

{
    "query":{
        "match_all":{
        }
    },
    "sort":[{
        "age":{
            "order":"desc"
        }
    }]
}

服务器响应得到的结果为

3.12 多字段排序

假定如果我们想要结合使用age和_score进行查询，并且匹配的结果首先按照年龄排序，然后按照相关性得分进行排序。

在postman中，向ES服务器发Get请求，http://127.0.0.1:9200/student/_serach

{
    "query":{
        "match_all":{

        }
    },
    "sort":[
        {
            "age":{
                "order":"desc"
            }
        },
        {
            "_score":{
                "order":"desc"
            }
        }
    ]
}

服务器响应得到的结果

3.13 高亮查询

在进行关键字搜索的时候，搜索出来的关键字会显示出不同的颜色，称之为高亮。

ElasticSearch可以对查询内容中的关键字部分，进行标签和样式（高亮）的设置。

在使用match查询的同时，可以加上一个highlight属性：

• pre_tags：前置标签
• post_tags：后置标签
• fields：需要高亮的字段
• title：这里声明title字段需要高亮，后面可以为这个字段设置特有配置，也可以为空

在postman中，向ES服务器发get请求，http://127.0.0.1:9200/student/_search

{
    "query":{
        "match":{
            "name":"zhangsan"
        }
    },
    "highlight":{
        "pre_tags":"<font color = 'red'>",
        "post_tags":"</font>",
        "fields":{
            "name":{}
        }
    }
}

服务器响应结果

3.14 分页查询

• from: 当前页的起始索引，默认从0开始。from=(pageName -1) * size
• Size：每页显示多少条

在postman中，向ES服务器发送Get请求，http://127.0.0.1:9200/student/_search

{
    "query":{
        "match_all":{

        }
    },
    "sort":[
        {
            "age":{
                "order":"desc"
            }
        }
    ],
    "from":0,
    "size":2
}

服务器响应结果

3.15 聚合查询

聚合允许ES进行统计分析，类似于关系型数据库中的group by。除了group by 还有许多聚合函数，比如max min sum等。

• 对某个字段取最大值max

在postman中，向ES服务器发送get请求，http://127.0.0.1:9200/student/_search

{
    "aggs":{
        "max_age":{
            "max":{"field":"age"}
        }
    },
    "size":0
}

服务器响应的结果

• 对某个字段求最小值

  在postman中，向 ES 服务器发 GET 请求 :http://127.0.0.1:9200/student/_search

  {
      "aggs":{
          "min_age":{
              "min":{"field":"age"}
          }
      },
      "size":0
  }
  

  

服务器响应结果

• 对某个字段求和

  在postman中，向ES服务器发get请求，http://127.0.0.1:9200/student/_search

  {
      "aggs":{
          "sum_age":{
              "sum":{"field":"age"}
          }
      },
      "size":0
  }
  

  

服务器响应结果

• 对某个字段取平均值avg

在postman中，向ES服务器发get请求，http://127.0.0.1:9200/student/_search

{
    "aggs":{
        "avg_age":{
            "avg":{"field":"age"}
        }
    },
    "size":0
}

服务器返回的响应

• 对某个字段的值就行去重后再取总数

  在postman中，向ES服务器发get请求，http://127.0.0.1:9200/student/_search

  {
      "aggs":{
          "distinct_age":{
              "cardinality":{"field":"age"}
          }
      },
      "size":0
  }
  

  服务器返回的结果

  

根据插入的数据，age去重后的个数为4个，分别是50、40、30、20

• State聚合

  stats聚合，对某个字段一次性返回count、max、min、avg和sum五个指标

  在postman中，向ES服务器发送Get请求，http://127.0.0.1:9200/student/_search

  {
      "aggs":{
          "stats_age":{
              "stats":{"field":"age"}
          }
      },
      "size":0
  }
  

  

服务器响应的结果为

3.16 桶聚合查询

桶聚合类似于sql中的group by语句。

• term聚合，分组统计

在postman中，向ES服务器发送get请求，http://127.0.0.1:9200/student/_search

{
    "aggs":{
        "age_group":{
            "terms":{"field":"age"}
        }
    },
    "size":0
}

服务器响应结果