zoukankan      html  css  js  c++  java
  • ElasticSearch实战系列二: ElasticSearch的DSL语句使用教程---图文详解

    前言
    在上一篇中介绍了ElasticSearch集群和kinaba的安装教程,本篇文章就来讲解下 ElasticSearch的DSL语句使用。
    
    ElasticSearch DSL 介绍
    Elasticsearch提供了基于JSON的完整查询DSL(特定于域的语言)来定义查询。将查询DSL视为查询的AST(抽象语法树),它由两种子句组成:
    
    叶子查询子句:
    叶查询子句中寻找一个特定的值在某一特定领域,如 match,term或 range查询。这些查询可以自己使用。
    复合查询子句
    复合查询子句包装其他叶查询或复合查询,并用于以逻辑方式组合多个查询(例如 bool或dis_max查询),或更改其行为(例如 constant_score查询)。
    查询子句的行为会有所不同,具体取决于它们是在 查询上下文中还是在过滤器上下文中使用。
    我们在使用ElasticSearch的时候,避免不了使用DSL语句去查询,就像使用关系型数据库的时候要学会SQL语法一样。如果我们学习好了DSL语法的使用,那么在日后使用和使用Java Client调用时候也会变得非常简单。
    
    ElasticSearch DSL 语句使用
    这里我们先来介绍下DSL 语句简单的使用,从最常用的增删改查开始!
    
    一、新增数据
    ElasticSearch可以直接新增数据,只要你指定了index(索引库名称)和type(类型)即可。在新增的时候你可以自己指定主键ID,也可以不指定,由 ElasticSearch自身生成。
    
    新增数据命令示例:
    
    POST test1/_doc/1
    {
        "uid" : "1234",
        "phone" : "12345678909",
        "message" : "qq",
        "msgcode" : "1",
        "sendtime" : "2019-03-14 01:57:04"
    }
    kinaba示例图:
    在这里插入图片描述
    **注: POST test1/_doc/1 这是指定主键ID为1,如果POST test1/_doc 的话,那么便是es自身生成ES语句。**
    
    这里我们还可以通过 GET test1/ 或 GET test1/_settings和GET test1/_mapping查看该index的状态,也就是 setting(设置选项) 和mapping(数据结构)。
    在这里插入图片描述
    
    二、创建索引库
    在上述示例中,我们通过直接通过创建数据从而创建了索引库,但是没有创建索引库而通过ES自身生成的这种并不友好,因为它会使用默认的配置,字段结构都是text(text的数据会分词,在存储的时候也会额外的占用空间),分片和索引副本采用默认值,默认是5和1,ES的分片数在创建之后就不能修改,除非reindex(下面会讲到),所以这里我们还是指定数据模板进行创建。
    
    这里先简单介绍一下ES的数据结构,以下的数据结构为ES的6.x版本。
    
    核心数据类型
    text 和 keyword
    数值数据类型
    long,integer,shortbytedoublefloat,half_float,scaled_float
    日期数据类型
    date
    布尔数据类型
    boolean
    二进制数据类型
    binary
    范围数据类型
    integer_range,float_range,long_range,double_range,date_range
    
    复杂数据类型编辑
    对象数据类型
    object 用于单个JSON对象
    嵌套数据类型
    nested 用于JSON对象数组
    
    地理数据类型编辑
    地理位置数据类型
    geo_point 纬度/经度积分
    地理形状数据类型
    geo_shape 用于多边形等复杂形状
    
    专业数据类型编辑
    IP数据类型
    ip 用于IPv4和IPv6地址
    完成数据类型
    completion 提供自动完成建议
    令牌计数数据类型
    token_count 计算字符串中令牌的数量
    mapper-murmur3
    murmur3 在索引时计算值的哈希并将其存储在索引中
    mapper-annotated-text
    annotated-text 索引包含特殊标记的文本(通常用于标识命名实体)
    渗滤器类型
    接受来自query-dsl的查询
    join 数据类型
    为同一索引内的文档定义父/子关系
    别名数据类型
    为现有字段定义别名。
    
    多字段编辑
    为不同的目的以不同的方式对同一字段建立索引通常很有用。例如,一个string字段可以映射为text用于全文搜索的字段,也可以映射为keyword用于排序或聚合的字段。或者,您可以使用standard分析仪, english分析仪和 french分析仪索引文本字段。
    这是多领域的目的。大多数数据类型通过fields参数支持多字段。
    
    上面介绍的字段介绍虽然比较复杂,但是我们常用的几个类型也就是这几种 text、keyword、byteshort、integer、longfloatdoubleboolean、date,其中text和keyword都是string类型,选择区分很简单,需要进行分词用text,不需要并且进行排序或聚合的可以用keyword。
    
    关于ES的数据结构就到这里了,我们来进行索引库的创建吧!
    
    新增索引库的命令示例:
    
    PUT test1
    {
        "settings" : {
            "number_of_shards" : 10,
            "number_of_replicas" : 1,
             "refresh_interval" : "1s"
        },
        "mappings" : {
            "_doc" : {
                "properties" : {
                    "uid" : { "type" : "long" },
                    "phone" : { "type" : "long" },
                    "message" : { "type" : "keyword" },
                    "msgcode" : { "type" : "long" },
                     "sendtime" : {  
                      "type" : "date",
                      "format" : "yyyy-MM-dd HH:mm:ss" 
      }
                    
                }
            }
        }
    }
    示例图:
    在这里插入图片描述
    在这里插入图片描述
    注:
    
    number_of_shards: 是设置的分片数,设置之后无法更改!
    refresh_interval: 是设置es缓存的刷新时间,如果写入较为频繁,但是查询对实时性要求不那么高的话,可以设置高一些来提升性能。可以更改
    number_of_replicas : 是设置该索引库的副本数,建议设置为1以上。
    其中这里还有几个重要参数也顺便说一下:
    
    store: true/false 表示该字段是否存储,默认存储。
    doc_values: true/false 表示该字段是否参与聚合和排序。
    index: true/false 表示该字段是否建立索引,默认建立。
    关于这几个字段的取值可以参考一下的示例图:
    在这里插入图片描述
    
    三、修改数据
    其实ES的新增和修改可以看做是一样,存在则修改,不存在则新增,不过这里还是简单的介绍下吧。
    修改数据的方式主要有两种,一种是通过主键ID进行修改,这种比较简单,就是和新增一样即可。
    另一种则是通过条件进行修改,相当于SQL更新语句的 where条件。
    
    根据主键修改的命令示例:
    
    POST test1/_doc/1
    {
        "uid" : "1234",
        "phone" : "12345678909",
        "message" : "qq",
        "msgcode" : "1",
        "sendtime" : "2019-03-14 01:57:04"
    }
    根据条件修改的命令示例:
    
    POST test1/_update_by_query
    {
      "query": {
        "term": {
          "phone": "12345678909"
        }
      } ,
      "script": {
        "source": "ctx._source['message'] = 'xuwujing'"
      }
    }
    原有的数据:
    在这里插入图片描述
    
    修改后的数据:
    在这里插入图片描述
    注:这里的根据条件进行修改用到的脚本语言,ES除了使用DSl语句之后,使用一些官方定义的脚本语言和SQL语句也能进行操作,脚本语言和SQL语句的操作留到以后在来讲下。
    
    四、删除数据、字段和索引库
    ES根据主键删除数据的命令示例是DELETE 索引库/id,简单实用,但是一定要要加上ID,不然就是删除索引库了!
    
    根据主键删除数据命令示例:
    
    DELETE test1/1
    根据条件删除数据的命令示例:
    
    POST test/_delete_by_query
    {
      "query": {
          "term": {
            "phone": "12345678909"
          }
      }
    }
    当然ES还可以根据条件只删除某一个字段的数据,比如删除字段msgcode的数据。
    
    删除字段数据的命令示例:
    
    POST test/_doc/_update_by_query
    {
    "script":{
    "lang":"painless",
    "inline":"ctx._source.remove("msgcode")"
    }
    }
    示例图:
    
    在这里插入图片描述
    
    查询语句
    查询所有
    match_all可以查询集群所有索引库的信息,包括一些隐藏索性库的信息。
    命令示例:
    
    GET _search
    {   
      "query": {
        "match_all": {}
      }
    }
    示例图:
    在这里插入图片描述
    
    查询索引库所有的数据,命令格式为GET 索引库名称/索引库类型/_search,也可以不需要索引库类型。
    
    命令示例:
    
    GET  test1/_doc/_search
    如果根据ID查询某一条数据的话,也比较简单,只需要将上述的_search换成主键ID即可。
    命令示例:
    
    GET  test1/_doc/2
    等值(term)查询
    term主要用于精确匹配哪些值,比如数字,日期,布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)
    
    比如根据手机号进行查询。
    命令示例:
    
    GET  test1/_doc/_search
    {
      "query": {
        "term": {
          "phone": "12345678909"
        }
      }
    }
    当然,如果想在一个字段匹配多个值的话,可以使用terms,相当于SQL的in语法。
    
    命令示例:
    
    GET  test1/_doc/_search
    {
      "query": {
        "terms": {
           "uid": [ 
            1234, 
            12345, 
            123456
          ] 
        }
      }
    }
    示例图:
    在这里插入图片描述
    注:上述中是没有123456这条数据,这样只是为了做下简单的测试而已。
    
    范围(range )查询
    range可以理解为SQL中的><符号,其中gt是大于,lt是小于,gte是大于等于,lte是小于等于。
    
    命令示例:
    
    GET  test1/_doc/_search
    {
      "query": {
       "range": { 
          "uid": { 
            "gt": 1234,
            "lte": 12345
          } 
        } 
      }
    }
    在这里插入图片描述
    
    存在(exists)查询
    exists可以理解为SQL中的exists函数,就是判断是否存在该字段。
    
    这里我们新增一条没有msgcode的字段,然后用exists去查询。
    
    POST test1/_doc/3
    {
        "uid" : "123456",
        "phone" : "12345678909",
        "message" : "qq",
        "sendtime" : "2019-03-14 01:57:04"
    }
    存在查询命令示例:
    
    GET  test1/_doc/_search
    {
      "query": {
       "exists": { 
           "field":"msgcode" 
        } 
      }
    }
    示例图:
    
    
    在这里插入图片描述
    
    组合(bool)查询
    bool 可以用来合并多个过滤条件查询结果的布尔逻辑,它包含这如下几个操作符:
    
    must : 多个查询条件的完全匹配,相当于 and。
    must_not ::多个查询条件的相反匹配,相当于 not。
    should : 至少有一个查询条件匹配, 相当于 or。
    查询的命令示例:
    
    GET /test1/_search
    {
      "query": {
        "bool": {
          "must": {
            "term": {
              "phone": "12345678909"
            }
          },
          "must_not": {
            "term": {
              "uid": 12345
            }
          },
          "should": [
            {
              "term": {
                "uid": 1234
              }
            },
            {
              "term": {
                "uid": 123456
              }
            }
          ],
          "adjust_pure_negative": true,
          "boost": 1
        }
      }
    }
    示例图:
    在这里插入图片描述
    
    模糊(wildcard)查询
    wildcard查询相当于SQL语句中的like语法,只不过它查询的数据需要加上*符号。
    
    模糊查询命令示例:
    
    GET /test1/_search
    {
      "query": {
       "wildcard": { 
           "message":"*wu*" 
        } 
      }
    }
    在这里插入图片描述
    
    正则(regexp)查询
    regexp可以支持正则查询,比如查询短信内容中的验证码之类的。
    
    下面的这个示例就是查询以xu开头,后面是0-9数字的内容的数据。
    
    正则查询命令示例:
    
    GET /test1/_search
    {
      "query": {
       "regexp": { 
           "message":"xu[0-9]" 
        } 
      }
    }
    示例图:
    
    在这里插入图片描述
    
    查询语句的示例到这里就差不多就结束了,这里在推荐一下kinaba查询的几个小技巧,如图所示:
    在这里插入图片描述
    
    其它
    参考:
    https://www.elastic.co/guide/en/elasticsearch/reference/current/index.html
    
    ElasticSearch个人已经使用一年多了,在学习的过程中也积攒了一些相关资料其,只不过今年特别忙,没有太多时间将其整理成博客进行分享了。说来惭愧,今年写博客的数量有些少了,下半年自己从一个周更博主变成了月更博主了,不过后面若是时间充足的话也会多些一些的,再忙每个月至少也会写一篇 ヾ(◍°∇°◍)ノ゙
    
    ElasticSearch实战系列:
    ElasticSearch实战系列一: ElasticSearch集群+Kinaba安装教程
    
    音乐推荐
    
    原创不易,如果感觉不错,希望给个推荐!您的支持是我写作的最大动力!
    版权声明:
    作者:虚无境
    博客园出处:http://www.cnblogs.com/xuwujing
    CSDN出处:http://blog.csdn.net/qazwsxpcm    
    个人博客出处:http://www.panchengming.com
    
    如果你对生活感觉到了绝望,请不要气馁。因为这样只会让你更加绝望! 所谓的希望往往都是在绝望中萌发的,所以,请不要放弃希望!

      

  • 相关阅读:
    Vue(小案例_vue+axios仿手机app)_go实现退回上一个路由
    nyoj 635 Oh, my goddess
    nyoj 587 blockhouses
    nyoj 483 Nightmare
    nyoj 592 spiral grid
    nyoj 927 The partial sum problem
    nyoj 523 亡命逃窜
    nyoj 929 密码宝盒
    nyoj 999 师傅又被妖怪抓走了
    nyoj 293 Sticks
  • 原文地址:https://www.cnblogs.com/mrchenzheng/p/12119683.html
Copyright © 2011-2022 走看看