zoukankan      html  css  js  c++  java
  • postgresql----文本搜索类型和检索函数

    postgresql提供两种数据类型用于支持全文检索:tsvector类型产生一个文档(以优化全文检索形式)和tsquery类型用于查询检索。

    tsvector的值是一个无重复的lexemes排序列表(什么是lexemes?),比如将一个字符串转换为tsvector类型:

    test=# SELECT $$the lexeme ' ' contains spaces$$::tsvector;
                    tsvector                
    ----------------------------------------
     ' ' 'contains' 'lexeme' 'spaces' 'the'
    (1 row)

    可以在单词后面跟:数字表示单词在字符串中的位置,数字的范围是1-16383。

    test=# SELECT $$a:1 fat:2 cat:3 sat:4 on:5 a:6 mat:7 and:8 ate:9 a:10 fat:11 rat:12$$::tsvector;
                                       tsvector                                    
    -------------------------------------------------------------------------------
     'a':1,6,10 'and':8 'ate':9 'cat':3 'fat':2,11 'mat':7 'on':5 'rat':12 'sat':4
    (1 row)

    还可以在位置后面跟字母标识权,字母的范围是A,B,C,D,默认是D,不显示。

    test=# SELECT $$a:1A fat:2B,4C cat:5D$$::tsvector;
              tsvector          
    ----------------------------
     'a':1A 'cat':5 'fat':2B,4C
    (1 row)

    tsquery存储用于检索的词汇,并且使用布尔操作符&(AND),|(OR),!(NOT)来组合它们。!(NOT)结合的最紧密,而&(AND)结合的比|(OR)紧密,也可以用括号来强调分组。

    test=# SELECT $$fat & rat$$::tsquery;
        tsquery    
    ---------------
     'fat' & 'rat'
    (1 row)
    
    test=# 
    test=# SELECT $$fat & (rat | cat)$$::tsquery;
              tsquery          
    ---------------------------
     'fat' & ( 'rat' | 'cat' )
    (1 row)
    
    test=# 
    test=# SELECT $$fat & rat & ! cat$$::tsquery;
            tsquery         
    ------------------------
     'fat' & 'rat' & !'cat'
    (1 row)

    tsquery中的词汇可以用*进行标记来指定前缀匹配:

    test=# SELECT to_tsvector('postgraduate');
      to_tsvector  
    ---------------
     'postgradu':1
    (1 row)
    
    test=# SELECT to_tsquery( 'postgres:*');
     to_tsquery 
    ------------
     'postgr':*
    (1 row)
    
    test=# SELECT to_tsvector('postgraduate') @@ to_tsquery( 'postgres:*');
     ?column? 
    ----------
     t
    (1 row)

    为什么呢???我也没明白,继续往下看吧!

    文本检索函数和操作符

    操作符

    操作符 返回类型 描述 示例 结果
    @@ boolean tsvector是否匹配tsquery select to_tsvector('fat cats ate rats') @@ to_tsquery('cat & rat'); t
    @@@ boolean 废弃的@@    
    || tsvector 连接tsvector select 'a:1 b:2'::tsvector || 'c:1 d:2 b:3'::tsvector; 'a':1 'b':2,5 'c':3 'd':4
    && tsquery tsquery与 select 'fat | rat'::tsquery && 'cat'::tsquery; ( 'fat' | 'rat' ) & 'cat'
    || tsquery tsquery或 select 'fat | rat'::tsquery || 'cat'::tsquery; 'fat' | 'rat' | 'cat'
    !! tsquery tsquery非 select !! 'cat'::tsquery; !'cat'
    <-> tsquery tsquery紧跟tsquery select to_tsquery('fat') <-> to_tsquery('rat'); 'fat' <-> 'rat'
    @> boolean tsquery包含另一个tsquery select 'cat'::tsquery @> 'cat & rat'::tsquery; f
    <@ boolean tsquery是否包含于另一个tsquery select 'cat'::tsquery <@ 'cat & rat'::tsquery; t

    函数

    函数 返回类型 描述 示例 结果
    array_to_tsvector(text[]) tsvector 将text数组转换成tsvector select array_to_tsvector('{fat,cat,rat}'::text[]); 'fat' 'cat' 'rat'
    get_current_ts_config() regconfig 获取当前文本检索配置 select get_current_ts_config(); english
    length(tsvector) integer tsvector中单词个数 select length('fat:2,4 cat:3 rat:5A'::tsvector); 3
    numnode(tsquery) integer tsquery中的单词加上操作符的数量 select numnode('(fat & rat) | cat'::tsquery); 5
    plainto_tsquery([ config regconfig , ] query text) tsquery 忽略标点(punctuation)生成tsquery select plainto_tsquery('english', 'The Fat Rats'); 'fat' & 'rat'
    phraseto_tsquery([ config regconfig , ] query text) tsquery 忽略标点(punctuation)生成tsquery用于检索短语 select phraseto_tsquery('english', 'The Fat Rats'); 'fat' <-> 'rat'
    querytree(query tsquery) text 获取tsquery可索引部分 select querytree('foo & ! bar'::tsquery); 'foo'
    setweight(vector tsvectorweight "char") tsvector 给tsvector每一个元素赋权 select setweight('fat:2,4 cat:3 rat:5B'::tsvector, 'A'); 'cat':3A 'fat':2A,4A 'rat':5A
    setweight(vector tsvectorweight "char"lexemestext[]) tsvector 给tsvector给指定元素赋权 select setweight('fat:2,4 cat:3 rat:5B'::tsvector, 'A', '{cat,rat}'); 'cat':3A 'fat':2,4 'rat':5A
    strip(tsvector) tsvector 删除tsvector中的位置和权 select strip('fat:2,4 cat:3 rat:5A'::tsvector); 'cat' 'fat' 'rat'
    to_tsquery([ config regconfig , ] query text) tsquery 标准化单词并转换为tsquery select to_tsquery('english', 'The & Fat & Rats'); 'fat' & 'rat'
    to_tsvector([ config regconfig , ] document text) tsvector 减少文本至tsvector select to_tsvector('english', 'The Fat Rats'); 'fat':2 'rat':3
    ts_delete(vector tsvectorlexeme text) tsvector 从tsvector中删除指定元素 select ts_delete('fat:2,4 cat:3 rat:5A'::tsvector, 'fat'); 'cat':3 'rat':5A
    ts_delete(vector tsvectorlexemes text[]) tsvector 从tsvector中删除指定的一组元素 select ts_delete('fat:2,4 cat:3 rat:5A'::tsvector, ARRAY['fat','rat']); 'cat':3
    ts_filter(vector tsvectorweights "char"[]) tsvector 只查询指定权值的元素 select ts_filter('fat:2,4 cat:3b rat:5A'::tsvector, '{a,b}'); 'cat':3B 'rat':5A

    ts_headline([ config regconfig, ] document text,

     querytsquery [options text ])

    text 显示一个查询匹配项 select ts_headline('x y z', 'z'::tsquery); x y <b>z</b>

    ts_rank([ weights float4[], ] vector tsvector

    querytsquery [normalization integer ])

    float4 为查询进行文档排序 select ts_rank('fat:2,4 cat:3b rat:5A'::tsvector, 'rat'::tsquery); 0.607927

    ts_rank_cd([ weights float4[], ] vector tsvector

    querytsquery [normalization integer ])

    float4 使用覆盖密度为查询进行文档排序 select ts_rank_cd('{0.1, 0.2, 0.4, 1.0}','fat:2,4 cat:3b rat:5A'::tsvector, 'rat'::tsquery); 1

    ts_rewrite(query tsquerytarget tsquery,

     substitute tsquery)

    tsquery 使用 substitute替换target中query select ts_rewrite('a & b'::tsquery, 'a'::tsquery, 'foo|bar'::tsquery); 'b' & ( 'foo' | 'bar' )
    ts_rewrite(query tsqueryselect text) tsquery 从SELECT结果中得到的substitute和target来替换query,前提是SELECT必须要有结果 SELECT ts_rewrite('a & b'::tsquery, 'SELECT t,s FROM aliases')  
    tsquery_phrase(query1 tsqueryquery2 tsquery) tsquery 功能同操作符 <->  select tsquery_phrase(to_tsquery('fat'), to_tsquery('cat')); 'fat' <-> 'cat'

    tsquery_phrase(query1 tsqueryquery2 tsquery

    distanceinteger)

    tsquery 确保query1和query2之间距离最大为distance select tsquery_phrase(to_tsquery('fat'), to_tsquery('cat'), 10); 'fat' <10> 'cat'
    tsvector_to_array(tsvector) text[] 将tsvector转换为数组 select tsvector_to_array('fat:2,4 cat:3 rat:5A'::tsvector); {cat,fat,rat}
    tsvector_update_trigger() trigger 更新tsvector列自动触发触发器函数    
    tsvector_update_trigger_column() trigger 同上    
    unnest(tsvector, OUT lexeme text, OUT positionssmallint[], OUT weights text) setof record 将tsvector扩展成行类型 select unnest('fat:2,4 cat:3 rat:5A'::tsvector);

    (cat,{3},{D})
    (fat,"{2,4}","{D,D}")
    (rat,{5},{A})

    工作中没有用过文本检索类型,英语也不好,有兴趣还是去看原版吧:

    https://www.postgresql.org/docs/9.6/static/functions-textsearch.html

  • 相关阅读:
    【Canvas】(1)---概述+简单示例
    【jQuery】(8)---jquery Ajax
    lastlogon
    windows server core 2016 IIS远程管理的那些坑
    开机手机显示存储空间不足某些系统功能可能无法正常使用,而且无法取消这个界面,导致手机停在这个界面无法操作。
    javascript prototype理解
    微信小程序诡异错误this.setData报错
    转:goproxy和go modules的初步使用
    真机调试No target device的解决(android studio)3.4.1
    unable to access android sdk add-on list的解决
  • 原文地址:https://www.cnblogs.com/alianbog/p/5657115.html
Copyright © 2011-2022 走看看