全文检索框架haystack和搜索引擎whoosh的使用

认识全文检索和搜索引擎以及相应的安装配置

1、认识全文检索和搜索引擎                                               

全文检索不同于特定字段的模糊查询，使用全文检索的效率更高，并且能够对于中文进行分词处理。

• haystack：全文检索的框架，支持whoosh、solr、Xapian、Elasticsearc四种全文检索引擎，点击查看官方网站。
• whoosh：纯Python编写的全文搜索引擎，虽然性能比不上sphinx、xapian、Elasticsearc等，但是无二进制包，程序不会莫名其妙的崩溃，对于小型的站点，whoosh已经足够使用，点击查看whoosh文档。
• jieba：一款免费的中文分词包，如果觉得不好用可以使用一些收费产品。

在天天生鲜项目中的商品搜索就用到全文检索haystack和搜索引擎whoosh，下面是分析图，本文以天天生鲜为例介绍haystack和whoosh

2、安装和配置                                                               

• 1) 安装python包。

pip install django-haystack
pip install whoosh

• 2) 在settings.py文件中注册应用haystack并做如下配置。

#   全文检索框架的配置
HAYSTACK_CONNECTIONS = {
    'default': {
        #使用whoosh引擎
        'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',      ##  搜索引擎的路径
        #索引文件路径
        'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
    }
}

#当添加、修改、删除数据时，自动生成索引
HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'

3、索引文件的生成                                                       

• 1) 在goods应用目录下新建一个search_indexes.py文件，在其中定义一个商品索引类。

# 定义索引类
from haystack import indexes
# 导入你的模型类
from goods.models import GoodsSKU


# 指定对于某个类的某些数据建立索引
# 索引类名格式:模型类名+Index
class GoodsSKUIndex(indexes.SearchIndex, indexes.Indexable):
    # 索引字段 use_template=True指定根据表中的哪些字段建立索引文件的说明放在一个文件中
    text = indexes.CharField(document=True, use_template=True)

    def get_model(self):
        # 返回你的模型类
        return GoodsSKU

    # 建立索引的数据
    def index_queryset(self, using=None):
        return self.get_model().objects.all()

• 2) 在templates下面新建目录search/indexes/goods。

• 3) 在此目录下面新建一个文件goodssku_text.txt并编辑内容如下。

##  指定根据表中哪些字段建立索引
{{ object.name }}   ##  根据商品的名称建立索引
{{ object.desc }}   ##  根据商品的简介建立索引
{{ object.goods.detail }}   ##  根据商品的详情建立索引

• 4) 使用命令生成索引文件。

python manage.py rebuild_index

 

 建立成功后自动生成 whoosh_index 文件

全文索引的使用

1、使用全文检索                                                  

• 1)表单搜索时设置表单内容如下。

点击标题进行提交时，会通过haystack搜索数据。

 

• 2）配置dailyfresh下的url

•  3） 全文检索结果。

搜索出结果后，haystack会把搜索出的结果传递给templates/search目录下的search.html，传递的上下文包括：

• query：搜索关键字

• page：当前页的page对象 –>遍历page对象，获取到的是SearchResult类的实例对象，对象的属性object才是模型类的对象。

• paginator：分页paginator对象

通过HAYSTACK_SEARCH_RESULTS_PER_PAGE 可以控制每页显示数量。

 下面设计templates/search目录下的search.html

{% extends 'base_detail_list.html' %}
{% block title %}天天生鲜-商品列表{% endblock title %}
{% block main_content %}
    <div class="breadcrumb">
        <a href="#">{{query}}</a>
        <span>></span>
        <a href="#"> 搜索结果如下 </a>
    </div>

    <div class="main_wrap clearfix">

        <div class="r_wrap fr clearfix">

            <ul class="goods_type_list clearfix">
                {% for item in page %}
                <li>
                    <a href="{% url 'goods:detail' item.object.id %}"><img src="{{ item.object.image.url }}"></a>
                    <h4><a href="{% url 'goods:detail' item.object.id %}">{{ item.object.name }}</a></h4>
                    <div class="operate">
                        <span class="prize">￥{{ item.object.price }}</span>
                        <span class="unit">{{ item.object.price}}/{{ item.object.unite }}</span>
                        <a href="#" class="add_goods" title="加入购物车"></a>
                    </div>
                </li>
                {% endfor %}
            </ul>

            <div class="pagenation">
                {% if page.has_previous %}
                <a href="/search?q={{query}}&page={{page.previous_page_number}}"><上一页</a>
                {% endif %}
                {% for pindex in paginator.page_range %}
                    {% if pindex == page.number %}
                        <a href="/search?q={{query}}&page={{pindex}}" class="active">{{ pindex }}</a>
                    {% else %}
                        <a href="/search?q={{query}}&page={{pindex}}">{{ pindex }}</a>
                    {% endif %}
                {% endfor %}
                {% if page.has_next %}
                <a href="/search?q={{query}}&page={{page.next_page_number}}">下一页></a>
                {% endif %}
            </div>
        </div>
    </div>
{% endblock main_content %}

在表单中搜索草莓：

2、改变分词方式                                                          

• 1) 安装jieba分词模块

pip install jieba

• 2）找到Python安装目录下的haystack目录

C:UsersAdministratorAppDataLocalProgramsPythonPython37Libsite-packageshaystackackends>

• 3）在上面的目录中创建ChineseAnalyzer.py文件

import jieba
from whoosh.analysis import Tokenizer, Token

class ChineseTokenizer(Tokenizer):
    def __call__(self, value, positions=False, chars=False,
                 keeporiginal=False, removestops=True,
                 start_pos=0, start_char=0, mode='', **kwargs):
        t = Token(positions, chars, removestops=removestops, mode=mode, **kwargs)
        seglist = jieba.cut(value, cut_all=True)
        for w in seglist:
            t.original = t.text = w
            t.boost = 1.0
            if positions:
                t.pos = start_pos + value.find(w)
            if chars:
                t.startchar = start_char + value.find(w)
                t.endchar = start_char + value.find(w) + len(w)
            yield t

def ChineseAnalyzer():
    return ChineseTokenizer()

• 4）复制whoosh_backend.py文件，改为如下名称

whoosh_cn_backend.py

• 5）打开复制出来的新文件，引入中文分析类，内部采用jieba分词

from .ChineseAnalyzer import ChineseAnalyzer

• 6）更改词语分析类

查找
analyzer=StemmingAnalyzer()　　　　##　　第164行
改为
analyzer=ChineseAnalyzer()

• 7）修改settings.py文件中的配置项

 

• 8）重新创建索引数据

python manage.py rebuild_index