zoukankan      html  css  js  c++  java
  • 11: django-haystack+jieba+whoosh实现全文检索

    1.1 haystack简介

      1、什么是haystack?

          1. haystack是django的开源搜索框架,该框架支持Solr,Elasticsearch,Whoosh, *Xapian*搜索引擎,不用更改代码,直接切换引擎,减少代码量。

          2. 搜索引擎使用Whoosh,这是一个由纯Python实现的全文搜索引擎,没有二进制文件等,比较小巧,配置比较简单,当然性能自然略低。

          3. 中文分词Jieba,由于Whoosh自带的是英文分词,对中文的分词支持不是太好,故用jieba替换whoosh的分词组件。

    1.2 haystack配置使用(前后端不分离)

        参考博客:https://www.cnblogs.com/gcgc/p/10762416.html

      1、安装

    pip install django-haystack
    pip install whoosh
    pip install jieba

      2、在setting.py中配置

    'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine'            # 指定使用haystack包中的搜索引擎
    C:python37Libsite-packageshaystackackendswhoosh_backend.py    # 的WhooshEngine类
    '''注册app '''
    INSTALLED_APPS = [
        'django.contrib.admin',
        'django.contrib.auth',
        'django.contrib.contenttypes',
        'django.contrib.sessions',
        'django.contrib.messages',
        'django.contrib.staticfiles',
        # haystack要放在应用的上面
        'haystack',
        'app01',  # 这个app01是自己创建的app
    ]
    
    
    ''' 模板路径 '''
    TEMPLATES = [
        {
            'DIRS': [os.path.join(BASE_DIR,'templates')],
    
        },
    ]
    
    
    '''配置haystack '''
    # 全文检索框架配置
    HAYSTACK_CONNECTIONS = {
        'default': {
            # 指定whoosh引擎
            'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
            # 'ENGINE': 'app01.whoosh_cn_backend.WhooshEngine',      # whoosh_cn_backend是haystack的whoosh_backend.py改名的文件为了使用jieba分词
            # 索引文件路径
            'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
        }
    }
    # 添加此项,当数据库改变时,会自动更新索引,非常方便
    HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
    settings.py

      3、app01/models.py 定义表

    from django.db import models
    
    # Create your models here.
    class UserInfo(models.Model):
        name = models.CharField(max_length=254)
        age = models.IntegerField()
    
    
    class ArticlePost(models.Model):
        author = models.ForeignKey(UserInfo,on_delete=models.CASCADE)
        title = models.CharField(max_length=200)
        desc = models.SlugField(max_length=500)
        body = models.TextField()
    app01/models.py

      4、索引文件生成

        1)在子应用下创建索引文件

          在子应用的目录下,创建一个名为 app01/search_indexes.py 的文件

    #! /usr/bin/env python
    # -*- coding: utf-8 -*-
    from haystack import indexes
    from .models import ArticlePost
    
    # 修改此处,类名为模型类的名称+Index,比如模型类为GoodsInfo,则这里类名为GoodsInfoIndex(其实可以随便写)
    class ArticlePostIndex(indexes.SearchIndex, indexes.Indexable):
        # text为索引字段
        # document = True,这代表haystack和搜索引擎将使用此字段的内容作为索引进行检索
        # use_template=True 指定根据表中的那些字段建立索引文件的说明放在一个文件中
        text = indexes.CharField(document=True, use_template=True)
    
        # 对那张表进行查询
        def get_model(self):  # 重载get_model方法,必须要有!
            # 返回这个model
            return ArticlePost
    
        # 建立索引的数据
        def index_queryset(self, using=None):
            # 这个方法返回什么内容,最终就会对那些方法建立索引,这里是对所有字段建立索引
            return self.get_model().objects.all()
    app01/search_indexes.py

        2)指定索引模板文件

    # 创建文件路径命名必须这个规范:templates/search/indexes/应用名称/模型类名称_text.txt
    # templates/search/indexes/app01/articlepost_text.txt
    {{ object.title }}
    {{ object.author.name }}
    {{ object.body }}
    templates/search/indexes/app01/articlepost_text.txt

         3)使用命令创建索引

    python manage.py rebuild_index  # 建立索引文件

      5、全文检索引擎使用

    from django.contrib import admin
    from django.urls import path,re_path,include
    
    urlpatterns = [
        path('admin/', admin.site.urls),
        re_path(r'app01/', include(('app01.urls', 'app01'), namespace='app01')),
    ]
    urls.py
    #! /usr/bin/env python
    # -*- coding: utf-8 -*-
    from django.conf.urls import url
    from haystack.views import SearchView
    from app01 import views
    
    urlpatterns=[
        url(r'search/$', SearchView(), name='haystack_search'),
    ]
    app01/urls.py
    <!DOCTYPE html>
    <html lang="en">
    <head>
        <meta charset="UTF-8">
        <meta http-equiv="x-ua-compatible" content="IE=edge">
        <meta name="viewport" content="width=device-width, initial-scale=1">
        <title>Title</title>
    </head>
    <body>
        <div class="col-md-9">
        <div class="row text-center vertical-middle-sm">
            <h1>搜索关键字:{{ query }}</h1>
            <h1>搜索结果:{{ page.object_list }}</h1>
        </div>
      {# 如果存在搜索关键字 #}
        {% if query %}
            {% for result in page.object_list %}<div class="media">
                    <div class="media-body">
                        <h4 class="list-group-item-heading">{{ result.object.title }}</h4>
                        <p class="list-group-item-text">作者:{{ result.object.author.name }}</p>
                        <p class="list-group-item-text">概要:{{ result.object.body|slice:'60'}}</p>
                    </div>
                </a>
            </div>
                {% empty %}
                <h3>没有找到相关文章</h3>
            {% endfor %}
        {% endif %}
    
    {#    分页插件,下一页和上一页记得要带上q={{ query }}参数,否则单击下一页时会丢失搜索参数q,而显示出来全部的文章的第二页#}
            <div class="pagination">
                <span class="step-links">
                    {% if page.has_previous %}
                        <a href="?q={{ query }}&page={{ page.previous_page_number }}">上一页</a>
                    {% endif %}
    
                    <span class="current">
                        Page{{ page.number }} of {{ page.paginator.num_pages }}
                    </span>
    
                    {% if page.has_next %}
                        <a href="?q={{ query }}&page={{ page.next_page_number }}">下一页</a>
                    {% endif %}
                </span>
            </div>
        </div>
    </body>
    </html>
    templates/search/search.html 路径不可变
    python manage.py rebuild_index                      # 重新建立索引文件
    http://127.0.0.1:8000/app01/search/?q=天龙八部       # 源码中匹配时 "q" 所以这里不能变

           

       6、替换成jieba分词

         1)将haystack源码复制到项目中并改名

    '''1.复制源码中文件并改名 '''
    将 C:python37Libsite-packageshaystackackendswhoosh_backend.py文件复制到项目中
    并将 whoosh_backend.py改名为 whoosh_cn_backend.py 放在APP中如:app01whoosh_cn_backend.py
    
    '''2.修改源码中文件'''
    # 在全局引入的最后一行加入jieba分词器
    from jieba.analyse import ChineseAnalyzer
    
    # 修改为中文分词法 查找 analyzer
    =StemmingAnalyzer() 改为 analyzer=ChineseAnalyzer()

        2)Django内settings内修改相应的haystack后台文件名

    # 全文检索框架配置
    HAYSTACK_CONNECTIONS = {
        'default': {
            # 指定whoosh引擎
            'ENGINE': 'haystack.backends.whoosh_backend.WhooshEngine',
            # 'ENGINE': 'app01.whoosh_cn_backend.WhooshEngine',      #article.whoosh_cn_backend便是你刚刚添加的文件
            # 索引文件路径
            'PATH': os.path.join(BASE_DIR, 'whoosh_index'),
        }
    }
    # 添加此项,当数据库改变时,会自动更新索引,非常方便
    HAYSTACK_SIGNAL_PROCESSOR = 'haystack.signals.RealtimeSignalProcessor'
    settings.py

     1.3 django-haystack+jieba全文索引(前后端分离版)

    https://www.cnblogs.com/crazymagic/p/10046593.html
    https://www.jb51.net/article/166095.htm
    docker:https://www.cnblogs.com/stellar/p/9967347.html

    111111111111111111

  • 相关阅读:
    [剑指Offer] 从尾到头打印链表
    [剑指Offer] 替换空格
    [剑指Offer] 二维数组中的查找
    [LeetCode] 53. Maximum Subarray
    [LeetCode] 283. Move Zeroes
    haproxy + rabbitmq + keepalived的高可用环境搭建
    iis7下站点日志默认位置
    在vs2012中配置使用iisexpress
    tomcat配置域名,单项目指定多域名
    httpget和post
  • 原文地址:https://www.cnblogs.com/xiaonq/p/12363589.html
Copyright © 2011-2022 走看看