zoukankan      html  css  js  c++  java
  • ElasticSearch实战系列二: ElasticSearch的DSL语句使用教程---图文详解

    前言
    在上一篇中介绍了ElasticSearch集群和kinaba的安装教程,本篇文章就来讲解下 ElasticSearch的DSL语句使用。
    
    ElasticSearch DSL 介绍
    Elasticsearch提供了基于JSON的完整查询DSL(特定于域的语言)来定义查询。将查询DSL视为查询的AST(抽象语法树),它由两种子句组成:
    
    叶子查询子句:
    叶查询子句中寻找一个特定的值在某一特定领域,如 match,term或 range查询。这些查询可以自己使用。
    复合查询子句
    复合查询子句包装其他叶查询或复合查询,并用于以逻辑方式组合多个查询(例如 bool或dis_max查询),或更改其行为(例如 constant_score查询)。
    查询子句的行为会有所不同,具体取决于它们是在 查询上下文中还是在过滤器上下文中使用。
    我们在使用ElasticSearch的时候,避免不了使用DSL语句去查询,就像使用关系型数据库的时候要学会SQL语法一样。如果我们学习好了DSL语法的使用,那么在日后使用和使用Java Client调用时候也会变得非常简单。
    
    ElasticSearch DSL 语句使用
    这里我们先来介绍下DSL 语句简单的使用,从最常用的增删改查开始!
    
    一、新增数据
    ElasticSearch可以直接新增数据,只要你指定了index(索引库名称)和type(类型)即可。在新增的时候你可以自己指定主键ID,也可以不指定,由 ElasticSearch自身生成。
    
    新增数据命令示例:
    
    POST test1/_doc/1
    {
        "uid" : "1234",
        "phone" : "12345678909",
        "message" : "qq",
        "msgcode" : "1",
        "sendtime" : "2019-03-14 01:57:04"
    }
    kinaba示例图:
    在这里插入图片描述
    **注: POST test1/_doc/1 这是指定主键ID为1,如果POST test1/_doc 的话,那么便是es自身生成ES语句。**
    
    这里我们还可以通过 GET test1/ 或 GET test1/_settings和GET test1/_mapping查看该index的状态,也就是 setting(设置选项) 和mapping(数据结构)。
    在这里插入图片描述
    
    二、创建索引库
    在上述示例中,我们通过直接通过创建数据从而创建了索引库,但是没有创建索引库而通过ES自身生成的这种并不友好,因为它会使用默认的配置,字段结构都是text(text的数据会分词,在存储的时候也会额外的占用空间),分片和索引副本采用默认值,默认是5和1,ES的分片数在创建之后就不能修改,除非reindex(下面会讲到),所以这里我们还是指定数据模板进行创建。
    
    这里先简单介绍一下ES的数据结构,以下的数据结构为ES的6.x版本。
    
    核心数据类型
    text 和 keyword
    数值数据类型
    long,integer,shortbytedoublefloat,half_float,scaled_float
    日期数据类型
    date
    布尔数据类型
    boolean
    二进制数据类型
    binary
    范围数据类型
    integer_range,float_range,long_range,double_range,date_range
    
    复杂数据类型编辑
    对象数据类型
    object 用于单个JSON对象
    嵌套数据类型
    nested 用于JSON对象数组
    
    地理数据类型编辑
    地理位置数据类型
    geo_point 纬度/经度积分
    地理形状数据类型
    geo_shape 用于多边形等复杂形状
    
    专业数据类型编辑
    IP数据类型
    ip 用于IPv4和IPv6地址
    完成数据类型
    completion 提供自动完成建议
    令牌计数数据类型
    token_count 计算字符串中令牌的数量
    mapper-murmur3
    murmur3 在索引时计算值的哈希并将其存储在索引中
    mapper-annotated-text
    annotated-text 索引包含特殊标记的文本(通常用于标识命名实体)
    渗滤器类型
    接受来自query-dsl的查询
    join 数据类型
    为同一索引内的文档定义父/子关系
    别名数据类型
    为现有字段定义别名。
    
    多字段编辑
    为不同的目的以不同的方式对同一字段建立索引通常很有用。例如,一个string字段可以映射为text用于全文搜索的字段,也可以映射为keyword用于排序或聚合的字段。或者,您可以使用standard分析仪, english分析仪和 french分析仪索引文本字段。
    这是多领域的目的。大多数数据类型通过fields参数支持多字段。
    
    上面介绍的字段介绍虽然比较复杂,但是我们常用的几个类型也就是这几种 text、keyword、byteshort、integer、longfloatdoubleboolean、date,其中text和keyword都是string类型,选择区分很简单,需要进行分词用text,不需要并且进行排序或聚合的可以用keyword。
    
    关于ES的数据结构就到这里了,我们来进行索引库的创建吧!
    
    新增索引库的命令示例:
    
    PUT test1
    {
        "settings" : {
            "number_of_shards" : 10,
            "number_of_replicas" : 1,
             "refresh_interval" : "1s"
        },
        "mappings" : {
            "_doc" : {
                "properties" : {
                    "uid" : { "type" : "long" },
                    "phone" : { "type" : "long" },
                    "message" : { "type" : "keyword" },
                    "msgcode" : { "type" : "long" },
                     "sendtime" : {  
                      "type" : "date",
                      "format" : "yyyy-MM-dd HH:mm:ss" 
      }
                    
                }
            }
        }
    }
    示例图:
    在这里插入图片描述
    在这里插入图片描述
    注:
    
    number_of_shards: 是设置的分片数,设置之后无法更改!
    refresh_interval: 是设置es缓存的刷新时间,如果写入较为频繁,但是查询对实时性要求不那么高的话,可以设置高一些来提升性能。可以更改
    number_of_replicas : 是设置该索引库的副本数,建议设置为1以上。
    其中这里还有几个重要参数也顺便说一下:
    
    store: true/false 表示该字段是否存储,默认存储。
    doc_values: true/false 表示该字段是否参与聚合和排序。
    index: true/false 表示该字段是否建立索引,默认建立。
    关于这几个字段的取值可以参考一下的示例图:
    在这里插入图片描述
    
    三、修改数据
    其实ES的新增和修改可以看做是一样,存在则修改,不存在则新增,不过这里还是简单的介绍下吧。
    修改数据的方式主要有两种,一种是通过主键ID进行修改,这种比较简单,就是和新增一样即可。
    另一种则是通过条件进行修改,相当于SQL更新语句的 where条件。
    
    根据主键修改的命令示例:
    
    POST test1/_doc/1
    {
        "uid" : "1234",
        "phone" : "12345678909",
        "message" : "qq",
        "msgcode" : "1",
        "sendtime" : "2019-03-14 01:57:04"
    }
    根据条件修改的命令示例:
    
    POST test1/_update_by_query
    {
      "query": {
        "term": {
          "phone": "12345678909"
        }
      } ,
      "script": {
        "source": "ctx._source['message'] = 'xuwujing'"
      }
    }
    原有的数据:
    在这里插入图片描述
    
    修改后的数据:
    在这里插入图片描述
    注:这里的根据条件进行修改用到的脚本语言,ES除了使用DSl语句之后,使用一些官方定义的脚本语言和SQL语句也能进行操作,脚本语言和SQL语句的操作留到以后在来讲下。
    
    四、删除数据、字段和索引库
    ES根据主键删除数据的命令示例是DELETE 索引库/id,简单实用,但是一定要要加上ID,不然就是删除索引库了!
    
    根据主键删除数据命令示例:
    
    DELETE test1/1
    根据条件删除数据的命令示例:
    
    POST test/_delete_by_query
    {
      "query": {
          "term": {
            "phone": "12345678909"
          }
      }
    }
    当然ES还可以根据条件只删除某一个字段的数据,比如删除字段msgcode的数据。
    
    删除字段数据的命令示例:
    
    POST test/_doc/_update_by_query
    {
    "script":{
    "lang":"painless",
    "inline":"ctx._source.remove("msgcode")"
    }
    }
    示例图:
    
    在这里插入图片描述
    
    查询语句
    查询所有
    match_all可以查询集群所有索引库的信息,包括一些隐藏索性库的信息。
    命令示例:
    
    GET _search
    {   
      "query": {
        "match_all": {}
      }
    }
    示例图:
    在这里插入图片描述
    
    查询索引库所有的数据,命令格式为GET 索引库名称/索引库类型/_search,也可以不需要索引库类型。
    
    命令示例:
    
    GET  test1/_doc/_search
    如果根据ID查询某一条数据的话,也比较简单,只需要将上述的_search换成主键ID即可。
    命令示例:
    
    GET  test1/_doc/2
    等值(term)查询
    term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)
    
    比如根据手机号进行查询。
    命令示例:
    
    GET  test1/_doc/_search
    {
      "query": {
        "term": {
          "phone": "12345678909"
        }
      }
    }
    当然,如果想在一个字段匹配多个值的话,可以使用terms,相当于SQL的in语法。
    
    命令示例:
    
    GET  test1/_doc/_search
    {
      "query": {
        "terms": {
           "uid": [ 
            1234, 
            12345, 
            123456
          ] 
        }
      }
    }
    示例图:
    在这里插入图片描述
    注:上述中是没有123456这条数据,这样只是为了做下简单的测试而已。
    
    范围(range )查询
    range可以理解为SQL中的><符号,其中gt是大于,lt是小于,gte是大于等于,lte是小于等于。
    
    命令示例:
    
    GET  test1/_doc/_search
    {
      "query": {
       "range": { 
          "uid": { 
            "gt": 1234,
            "lte": 12345
          } 
        } 
      }
    }
    在这里插入图片描述
    
    存在(exists)查询
    exists可以理解为SQL中的exists函数,就是判断是否存在该字段。
    
    这里我们新增一条没有msgcode的字段,然后用exists去查询。
    
    POST test1/_doc/3
    {
        "uid" : "123456",
        "phone" : "12345678909",
        "message" : "qq",
        "sendtime" : "2019-03-14 01:57:04"
    }
    存在查询命令示例:
    
    GET  test1/_doc/_search
    {
      "query": {
       "exists": { 
           "field":"msgcode" 
        } 
      }
    }
    示例图:
    
    
    在这里插入图片描述
    
    组合(bool)查询
    bool 可以用来合并多个过滤条件查询结果的布尔逻辑,它包含这如下几个操作符:
    
    must : 多个查询条件的完全匹配,相当于 and。
    must_not ::多个查询条件的相反匹配,相当于 not。
    should : 至少有一个查询条件匹配, 相当于 or。
    查询的命令示例:
    
    GET /test1/_search
    {
      "query": {
        "bool": {
          "must": {
            "term": {
              "phone": "12345678909"
            }
          },
          "must_not": {
            "term": {
              "uid": 12345
            }
          },
          "should": [
            {
              "term": {
                "uid": 1234
              }
            },
            {
              "term": {
                "uid": 123456
              }
            }
          ],
          "adjust_pure_negative": true,
          "boost": 1
        }
      }
    }
    示例图:
    在这里插入图片描述
    
    模糊(wildcard)查询
    wildcard查询相当于SQL语句中的like语法,只不过它查询的数据需要加上*符号。
    
    模糊查询命令示例:
    
    GET /test1/_search
    {
      "query": {
       "wildcard": { 
           "message":"*wu*" 
        } 
      }
    }
    在这里插入图片描述
    
    正则(regexp)查询
    regexp可以支持正则查询,比如查询短信内容中的验证码之类的。
    
    下面的这个示例就是查询以xu开头,后面是0-9数字的内容的数据。
    
    正则查询命令示例:
    
    GET /test1/_search
    {
      "query": {
       "regexp": { 
           "message":"xu[0-9]" 
        } 
      }
    }
    示例图:
    
    在这里插入图片描述
    
    查询语句的示例到这里就差不多就结束了,这里在推荐一下kinaba查询的几个小技巧,如图所示:
    在这里插入图片描述
    
    其它
    参考:
    https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
    
    ElasticSearch个人已经使用一年多了,在学习的过程中也积攒了一些相关资料其,只不过今年特别忙,没有太多时间将其整理成博客进行分享了。说来惭愧,今年写博客的数量有些少了,下半年自己从一个周更博主变成了月更博主了,不过后面若是时间充足的话也会多些一些的,再忙每个月至少也会写一篇 ヾ(◍°∇°◍)ノ゙
    
    ElasticSearch实战系列:
    ElasticSearch实战系列一: ElasticSearch集群+Kinaba安装教程
    
    音乐推荐
    
    原创不易,如果感觉不错,希望给个推荐!您的支持是我写作的最大动力!
    版权声明:
    作者:虚无境
    博客园出处:http://www.cnblogs.com/xuwujing
    CSDN出处:http://blog.csdn.net/qazwsxpcm    
    个人博客出处:http://www.panchengming.com
    
    如果你对生活感觉到了绝望,请不要气馁。因为这样只会让你更加绝望! 所谓的希望往往都是在绝望中萌发的,所以,请不要放弃希望!

      

  • 相关阅读:
    编辑推荐
    mybatis
    学习网址记录
    关于详情页的具体制作(四)
    关于详情页的具体制作(三)
    关于详情页的具体制作(二)
    关于详情页的具体制作(一)
    关于事件循环的一些总结
    vue生命周期的一些总结
    对于home主页的切换处理
  • 原文地址:https://www.cnblogs.com/mrchenzheng/p/12119683.html
Copyright © 2011-2022 走看看