zoukankan      html  css  js  c++  java
  • ElasticStack学习(九):深入ElasticSearch搜索之词项、全文本、结构化搜索及相关性算分

    一、基于词项与全文的搜索

      1、词项

        Term(词项)是表达语意的最小单位,搜索和利用统计语言模型进行自然语言处理都需要处理Term。

        Term的使用说明:

        1)Term Level Query:Term Query、Range Query、Exists Query、Prefix Query、Wildcard Query;

        2)在ES中,对于Term查询的输入是不做分词处理的,会将输入作为一个整体,在倒排索引中查找准确的词项,并且使用相关度算分公式为每个包含该词项的文档进行相关度算分;

        3)通过Constant Score将查询转换成一个Filtering,以避免处分,利用缓存,提高查询性能;

      2、词项查询使用

        1)批量创建一个索引,并插入数据,查看该索引的mapping,会发现相应字段是text类型,同时有子字段keyword。

        2)现进行对name或stuId字段的查询。

        3)通过上述对两个字段不同查询条件的,以及查询方式的对比,我们可以总结如下:

          a)对于字段类型为text的字段,其会按照默认analyzer进行分词,如下图所示:STU-001被分词为两个stu和001,所以当查询stu-001或者STU-001是,是无法被索引到相当的文档上去的;

          同理,也就是为什么查询name时,用john可以查询到,用John就无法查询到的原因。因为默认analyzer:standard会将字段name中的大写字母转化为小写,而当以Term方式查询John,Term因为不做分词处理(原样查询),也就无法查询到能够匹配John的信息。而用john查询正好可以查询到相应的文档。

          b)基于此种情况下,用stuId.keyword或者name.keyword,进行原样查询信息查询时,就可以查询到相应的文档。 这是因为相应字段中的子字段keyword是不做分词处理的,所以如果要查询字段中原始内容一样的信息时,要加上column.keyword。

        4)词项算分使用

        通过上图中的查询结果可以看到,相应结果有一个指标_score,这是相应查询文档的算分。

        如果在查询中,希望跳过算分的过程,忽略TF-IDF(TF【词频】:Term Frequency;IDF【逆文本频率指数】:Inverse Document Frequency)的计算,以避免相关性算分而引发的性能开销,可以使用constant_score转化为Filter,取消算分的环节。同时Filter可以有效利用缓存,以提升性能。

      

        从上图查询结果可以得到,_score分数为1.0。

      3、全文本查询

      全文本查询的说明:

        1)基于全文本查询有:Match Query、Match Phrase Query、Query String Query;

        2)索引与搜索时都会进行分词,查询字符串会先传递给一个合适的分词器,然后生成一个供查询的词项列表;

        3)查询时,会对输入的查询进行分词,然后每个词项逐个进行查询,同时为每个文档生成一个算分,最终将结果进行合并。例如对STU-001进行查询,若采用默认analyzer,会对相应字段进行stu或001的查询;

        4)如果想对某个字段做精准查询,不想做分词处理,可以在mapping当中,将相应字段由text类型定义成keyword类型;

      

       4、全文本查询使用

      

      

      

      

    、结构化搜索

      结构化数据:日期、数值、布尔都是结构化数据,对于一些文本也是可以为结构化的,比如:对于商品的唯一标识符、商品的标签标注、颜色集合等。

      结构化搜索:就是指对结构化数据的搜索。

      1、对于结构化数据的说明:

        1)对于结构化数据可以进行逻辑操作,比如区间范围的查询、数据大小的比对;

        2)结构化的文本可以做精确匹配(Term查询)或部分匹配(Prefix前缀查询);

          注意:对于Term的模糊查询,建议谨慎使用,有时性能不够好。

        3)结构化结果只有“是”或“否”两个值,根据场景需要,可以决定对结构化搜索是否要打分; 

      2、结构化搜索使用

        1)布尔值查询

        

        2)数值范围查询

        

        3)日期范围查询

          日期符号代表的意思:

          y--年;M--月;

          w--周;d--天;

          H/h--小时;m--分钟;s--秒;      

        

        4)字段存在查询

        

        

        5)字段多值查询

        

        通过上图中可以看到,在基于Term的多值查询中,查询某个字段的值,并不是完全的相等处理,而是一种包含关系。

        如果想做精确的匹配,需要在index的文档中增加一个统计字段,结合布尔查询,做出精确匹配,如下图所示:

        

    、相关性和相关性算分

      1、相关性:就是一个文档与查询语句匹配的程度;

        相关性算分:针对匹配程度,ES会对每个匹配查询的结果进行打分,打分的本质就是排序,将把最符合用户需求的文档排在前面。

        在ES5.0之前,默认的相关性算分算法是TF-IDF,之后采用的是BM25算法。

      2、Term Frequency(TF:词频):就是指检索词在一篇文档中出现的频率,也就是检索词出现的次数除以文档的总字数;

        度量一条查询与结果文档相关性的方法:将搜索中每一个词的TF进行相加,如“ES的特点”,分完词后进行的词频相加,TF(ES)+TF(的)+TF(特点);

        对于一些停用词,如“的”在文档中出现多次,但对于查询相关度的贡献并不是很大,所以不应该考虑这些词的TF;

       3、Document Frequency(DF:文档频率):检索词在所有文档中出现的频率;

        Inverse Document Frequency(IDF:逆文档频率):通过公式:log(全部文档数/检索词出现过的文档总数)

         TF-IDF本质上是将TF的求和变成了加权求和:TF(ES)*IDF(ES)+TF(的)*IDF(的)+TF(特点)*IDF(特点)

       4、在Lucene中,TF-IDF的评分公式如下:

      5、ES5.0之后,算法从TF-IDF变为BM25,如下图所示:

      

      TF-IDF当随着TF无限增长时,那算分也不会不断的增长。而BM25算法进行了优化,随着TF的无限增长,算分会逐渐的趋于一个数值。

       6、相关性信息查看

      

      通过图中可以看到,因为第二条记录比第一条记录的文档内容短,而导致其tf较高,因此最后的算法也相对于第一条算分高一些,因此在搜索结果顺序上,第二条排在上面。

      Boosting是控制相关度的一种手段,在索引和字段上都是可以设置的。

      Boost的含义:

        1)当boost>1时,打分的相关度相对性提升;

        2)当0<boost<1时,打分的权重相对性降低;

        3)当boost<0时,贡献为负分;

     

      大家可关注我的公众号 

        

      知识学习来源:阮一鸣:《Elasticsearch核心技术与实战》   

  • 相关阅读:
    Window frames[]集合(转)
    ObjectDataSource 如何传递查询参数
    前台如何解析json格式 以及后台如何生成json格式
    Burrows–Wheeler transform
    windows xp中安装PadWalker
    ORA01207:文件比控制文件更新 旧的控制文件
    如何看懂NCBI BLAST输出结果
    Perl getopts
    blast formatdb 使用方法介绍
    Randfold安装
  • 原文地址:https://www.cnblogs.com/supersnowyao/p/11201277.html
Copyright © 2011-2022 走看看