zoukankan      html  css  js  c++  java
  • 基于python+whoosh的全文检索实现

    whoosh的官方介绍:http://whoosh.readthedocs.io/en/latest/quickstart.html

    因为做的是中文的全文检索需要导入jieba工具包以及whoosh工具包

    直接上代码吧

     1 from whoosh.qparser import QueryParser  
     2 from whoosh.index import create_in  
     3 from whoosh.index import open_dir  
     4 from whoosh.fields import *  
     5 from jieba.analyse import ChineseAnalyzer  
     6 from get_comment import SQL  
     7 from whoosh.sorting import FieldFacet  
     8   
     9 analyser = ChineseAnalyzer()    #导入中文分词工具  
    10 schema = Schema(phone_name=TEXT(stored=True, analyzer=analyser), price=NUMERIC(stored=True),  
    11                     phoneid=ID(stored=True))# 创建索引结构  
    12 ix = create_in("path", schema=schema, indexname='indexname') #path 为索引创建的地址,indexname为索引名称  
    13 writer = ix.writer()  
    14 writer.add_document(phone_name='name',price ="price",phoneid ="id") #  此处为添加的内容   
    15 print("建立完成一个索引")  
    16 writer.commit()  
    17 # 以上为建立索引的过程  
    18 new_list = []  
    19 index = open_dir("indexpath", indexname='comment')  #读取建立好的索引  
    20 with index.searcher() as searcher:  
    21     parser = QueryParser("要搜索的项目,比如“phone_name", index.schema)  
    22     myquery = parser.parse("搜索的关键字")  
    23     facet = FieldFacet("price", reverse=True)  #按序排列搜索结果  
    24     results = searcher.search(myquery, limit=None, sortedby=facet)  #limit为搜索结果的限制,默认为10,详见博客开头的官方文档  
    25     for result1 in results:  
    26         print(dict(result1))  
    27         new_list.append(dict(result1))  

    注:

    Whoosh 有一些很有用的预定义 field types,你也可以很easy的创建你自己的。
    whoosh.fields.ID
    这个类型简单地将field的值索引为一个独立单元(这意味着,他不被分成单独的单词)。这对于文件路径、URL、时间、类别等field很有益处。
    whoosh.fields.STORED
    这个类型和文档存储在一起,但没有被索引。这个field type不可搜索。这对于你想在搜索结果中展示给用户的文档信息很有用。
    whoosh.fields.KEYWORD
    这个类型针对于空格或逗号间隔的关键词设计。可索引可搜索(部分存储)。为减少空间,不支持短语搜索。
    whoosh.fields.TEXT
    这个类型针对文档主体。存储文本及term的位置以允许短语搜索。
    whoosh.fields.NUMERIC
    这个类型专为数字设计,你可以存储整数或浮点数。
    whoosh.fields.BOOLEAN
    这个类型存储bool型
    whoosh.fields.DATETIME
    这个类型为 datetime object而设计(更多详细信息)
    whoosh.fields.NGRAM  和 whoosh.fields.NGRAMWORDS
    这些类型将fiel文本和单独的term分成N-grams(更多Indexing & Searching N-grams的信息)
  • 相关阅读:
    MBR(Master Boot Record)主引导记录分析
    K8S(06)web管理方式-dashboard
    K8S(05)核心插件-ingress(服务暴露)控制器-traefik
    K8S(04)核心插件-coredns服务
    K8S(03)核心插件-Flannel网络插件
    K8S(02)管理核心资源的三种基本方法
    K8S(01)二进制部署实践-1.15.5
    k8s(00)入门知识介绍
    用阿里云ecs部署kubernetes/K8S的坑(VIP、slb、flannel、gw模式)
    国内centos/windows10安装minikube
  • 原文地址:https://www.cnblogs.com/muty/p/8540711.html
Copyright © 2011-2022 走看看