zoukankan      html  css  js  c++  java
  • lucene自定义过滤器

    先介绍下查询与过滤的区别和联系,其实查询(各种Query)和过滤(各种Filter)之间非常相似,可以这样说只要用Query能完成的事,用过滤也都可以完成,它们之间可以相互转换,最大的区别就是使用过滤返回的结果集不带评分操作,而使用Query返回的结果都是带相关性评分的,所以当我们如果有一些跟评分操作没有关系的业务,优先使用Filter操作,将会获取更好的性能,其实这也是Solr里面的q参数跟fq参数的区别。 


    下面,开始进入正题,在这之前,散仙还是喜欢老生常谈的先来了解一下Lucene里面有关于Filter的整体知识   

     

    下面,我们来看下具体的在代码里怎么实现,先来看下我们的测试数据   

    Java代码   收藏代码
    1. id      score       bookname    ename       type            price       date  
    2. 1       1       飘渺之旅        pmzl        小说      52.23       201005        
    3. 2       1       三国演义        sgyy        小说      36.13       201207        
    4. 3       1       数据库实战       sjksz       技术      77.13       200811        
    5. 4       1       编程宝典        bcbd        技术      100.3       200501        
    6. 5       1       职场关系论       zcgxl       职场      36.59       200501        
    7. 6       1       健康生活        jksh        生活      20.47       200008        
    8. 7       1       看清本质        kqbz        社会      10.37       201004        
    9. 8       1       编程,编程       bcbc        社会      10.37       201004    


    核心代码   

    Java代码   收藏代码
    1. //使用过滤器   最后一个为true时包含边界部分,为false时不包含边界部分  
    2.            //倒数第二个为true时,包含查询边界,为false时不包含  
    3.            TermRangeFilter filter=new TermRangeFilter("ename", new BytesRef("h"), new BytesRef("n"), true, true);  
    4.            TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式  


    输出结果   

    Java代码   收藏代码
    1. 6       1       健康生活        jksh        生活      20.47       200008        
    2. 7       1       看清本质        kqbz        社会      10.37       201004    


    核心代码   

    Java代码   收藏代码
    1. NumericRangeFilter<Double> filter=NumericRangeFilter.newDoubleRange("price", 10D, 40D, true, false);  
    2.   TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式  


    输出结果   

    Java代码   收藏代码
    1. 2       1       三国演义        sgyy        小说      36.13       201207        
    2. 5       1       职场关系论       zcgxl       职场      36.59       200501        
    3. 6       1       健康生活        jksh        生活      20.47       200008        
    4. 7       1       看清本质        kqbz        社会      10.37       201004        
    5. 8       1       编程,编程       bcbc        社会      10.37       201004  



    核心代码   

    Java代码   收藏代码
    1. //使用缓存过滤  
    2.     Filter filter=FieldCacheRangeFilter.newDoubleRange("price", 20D, 50D, true, true);  
    3.     TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式  


    输出结果   

    Java代码   收藏代码
    1. 2       1       三国演义        sgyy        小说      36.13       201207        
    2. 5       1       职场关系论       zcgxl       职场      36.59       200501        
    3. 6       1       健康生活        jksh        生活      20.47       200008    


    核心代码   

    Java代码   收藏代码
    1. // 缓存域过滤特定的类别  
    2.  Filter filter=new FieldCacheTermsFilter("type", new String[]{"技术","社会"});  
    3.  TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式  


    输出结果   

    Java代码   收藏代码
    1. 3       1       数据库实战       sjksz       技术      77.13       200811        
    2. 4       1       编程宝典        bcbd        技术      100.3       200501        
    3. 7       1       看清本质        kqbz        社会      10.37       201004        
    4. 8       1       编程,编程       bcbc        社会      10.37       201004    


    核心代码   

    Java代码   收藏代码
    1. //使用QueryWrapperFilter类包装一个Query  
    2.          QueryWrapperFilter  filter=new QueryWrapperFilter(new TermQuery(new Term("type", "技术")));  
    3.          TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);//默认无排序方式  


    输出结果   

    Java代码   收藏代码
    1. 3       1       数据库实战       sjksz       技术      77.13       200811        
    2. 4       1       编程宝典        bcbd        技术      100.3       200501    



    最后我来看下,如何继承Filter基类,来定制我们自己的filter,自定义的Filter,虽然某些时候,功能很强大灵活,但是有几个缺点,我们的了解1,保证是内容不重复的字段,例如主键,如果重复,默认返回第一个作为结果集显示2,保证不能被分词的内容,如果是分词的字段,则可能会出现一些不正确的结果。   
    自定义Filter类   

    Java代码   收藏代码
    1. package com.sanjiesanxian.test;  
    2.   
    3. import java.io.IOException;  
    4. import java.util.BitSet;  
    5.   
    6. import org.apache.lucene.analysis.tokenattributes.CharTermAttribute;  
    7. import org.apache.lucene.index.AtomicReaderContext;  
    8. import org.apache.lucene.index.DocsEnum;  
    9. import org.apache.lucene.index.Term;  
    10. import org.apache.lucene.search.DocIdSet;  
    11. import org.apache.lucene.search.Filter;  
    12. import org.apache.lucene.util.AttributeSource;  
    13. import org.apache.lucene.util.Bits;  
    14. import org.apache.lucene.util.DocIdBitSet;  
    15. import org.apache.lucene.util.FixedBitSet;  
    16. import org.apache.lucene.util.OpenBitSet;  
    17.   
    18. /*** 
    19.  *^_^  ^_^  ^_^ 
    20.  * 自定义过滤器 
    21.  * @author 
    22.  * */  
    23. public class MyCustomFilter extends Filter{  
    24.       
    25.     public MyCustomFilter() {  
    26.         // TODO Auto-generated constructor stub  
    27.     }  
    28.       
    29.     private String[] terms;//限制返回的数据字典  
    30.     public MyCustomFilter(String ...terms) {  
    31.         // TODO Auto-generated constructor stub  
    32.         this.terms=terms;  
    33.     }  
    34.     @Override  
    35.     public DocIdSet getDocIdSet(AtomicReaderContext arg0, Bits arg1)  
    36.             throws IOException {  
    37.         FixedBitSet bits=new FixedBitSet(arg0.reader().maxDoc())  ;//获取没有所有的docid包括未删除的  
    38.          int base=arg0.docBase;//段的相对基数,保证多个段时相对位置正确  
    39.          //int limit=base+arg0.reader().maxDoc();//计算最大限制值  
    40.         for(String s:terms){  
    41.               DocsEnum doc=arg0.reader().termDocsEnum(new Term("id", s));//必须是唯一的不重复  
    42.               //保证是单个不重复的term,如果重复的话,默认会取第一个作为返回结果集,分词后的term也不适用自定义term  
    43.               if(doc.nextDoc()!=-1){   
    44.                 bits.set(doc.docID());//对付符合条件约束的docid循环添加到bits里面  
    45.                 }  
    46.               }  
    47.         return bits;  
    48.     }  
    49.       
    50.       
    51.       
    52.       
    53.   
    54.       
    55.       
    56.       
    57. }  


    测试查询代码   

    Java代码   收藏代码
    1. MyCustomFilter filter=new MyCustomFilter("3","5","2");//随意指定1之多个需要过滤的项  
    2. TopDocs topDocs=searcher.search(new MatchAllDocsQuery(),filter,10000);  


    输出结果   

    Java代码   收藏代码
    1. 2       1       三国演义        sgyy        小说      36.13       201207        
    2. 3       1       数据库实战       sjksz       技术      77.13       200811        
    3. 5       1       职场关系论       zcgxl       职场      36.59       200501    



    自定义过滤器虽然有缺点,但是某些场景下却能发挥很灵活的作用,特别是对没有分词的字段进行过滤操作。   


                    

  • 相关阅读:
    算法:记忆化搜索算法
    Ubuntu:命令行下浏览网页
    python:socket网络编程
    ACM:读入优化
    使用JDBC连接操作数据库
    Function题解
    csps模拟测试50反思
    模拟测试49
    阶段总结20190919
    NOIP模拟测试36考试反思
  • 原文地址:https://www.cnblogs.com/dingjiaoyang/p/6115348.html
Copyright © 2011-2022 走看看