倒排索引

看别人的用jieba来实现.基本实现了搜索引擎基本功能.效率O(N)

通过inverted_index这个函数可以不停的把文件放到这个词典库里面.不知道百度什么的怎么处理网络上那么多数据.挨个存很难都存一遍.空间效率很慢

'''
倒排索引:https://blog.csdn.net/okiwilldoit/article/details/51362839
'''
'''
先学分词系统jieba:pip install jieba即可.
'''

import jieba
s = u'我想和我女朋友一起去我的北京故宫博物院参观我的屋子和闲逛。'
cut = jieba.cut(s)

print ('output')
print (cut) #返回的是一个迭代器.这对大数据很叼.我的理解是因为
            #迭代器可以随时暂停,然后恢复继续上面的工作继续迭代
            #数据太大也可以跑跑停停不用一直等,可以随时看结果
print (','.join(cut))#居然花了10秒! 精准模式.也是最常用的,第二次跑有cache就用了0.8s
print (','.join(jieba.cut(s,cut_all = True)))#可见全模式就是把文本分成尽可能多的词。
print (','.join(jieba.cut_for_search(s)))#搜索引擎模式介于上面2者中间






#import jieba.posseg as psg
##下面一行返回的是分词后各个词性
##print ([(x.word,x.flag) for x in psg.cut(s)])#x是字符串的意思,这一行太卡了我就注释掉了,
#from collections import Counter#利用Counter这个容器可以返回频率top多少的词,但是速度很慢.
#c = Counter(s).most_common(20)
#print (c)








##下面学习用户字典:
#txt = u'欧阳建国是创新办主任也是欢聚时代公司云计算方面的专家'
#print (','.join(jieba.cut(txt)))

#jieba.load_userdict('user_dict.txt')#注意这个词典,在同目录下,然后编码用笔记本打开另存为utf-8即可.
#print (','.join(jieba.cut(txt)))#效果不错










'''
下面可以进行倒排索引了
'''


#不要的虚词:
_STOP_WORDS = frozenset([
    'a', 'about', 'above', 'above', 'across', 'after', 'afterwards', 'again',
    'against', 'all', 'almost', 'alone', 'along', 'already', 'also', 'although',
    'always', 'am', 'among', 'amongst', 'amoungst', 'amount', 'an', 'and', 'another',
    'any', 'anyhow', 'anyone', 'anything', 'anyway', 'anywhere', 'are', 'around', 'as',
    'at', 'back', 'be', 'became', 'because', 'become', 'becomes', 'becoming', 'been',
    'before', 'beforehand', 'behind', 'being', 'below', 'beside', 'besides',
    'between', 'beyond', 'bill', 'both', 'bottom', 'but', 'by', 'call', 'can',
    'cannot', 'cant', 'co', 'con', 'could', 'couldnt', 'cry', 'de', 'describe',
    'detail', 'do', 'done', 'down', 'due', 'during', 'each', 'eg', 'eight',
    'either', 'eleven', 'else', 'elsewhere', 'empty', 'enough', 'etc', 'even',
    'ever', 'every', 'everyone', 'everything', 'everywhere', 'except', 'few',
    'fifteen', 'fify', 'fill', 'find', 'fire', 'first', 'five', 'for', 'former',
    'formerly', 'forty', 'found', 'four', 'from', 'front', 'full', 'further', 'get',
    'give', 'go', 'had', 'has', 'hasnt', 'have', 'he', 'hence', 'her', 'here',
    'hereafter', 'hereby', 'herein', 'hereupon', 'hers', 'herself', 'him',
    'himself', 'his', 'how', 'however', 'hundred', 'ie', 'if', 'in', 'inc',
    'indeed', 'interest', 'into', 'is', 'it', 'its', 'itself', 'keep', 'last',
    'latter', 'latterly', 'least', 'less', 'ltd', 'made', 'many', 'may', 'me',
    'meanwhile', 'might', 'mill', 'mine', 'more', 'moreover', 'most', 'mostly',
    'move', 'much', 'must', 'my', 'myself', 'name', 'namely', 'neither', 'never',
    'nevertheless', 'next', 'nine', 'no', 'nobody', 'none', 'noone', 'nor', 'not',
    'nothing', 'now', 'nowhere', 'of', 'off', 'often', 'on', 'once', 'one', 'only',
    'onto', 'or', 'other', 'others', 'otherwise', 'our', 'ours', 'ourselves', 'out',
    'over', 'own', 'part', 'per', 'perhaps', 'please', 'put', 'rather', 're', 'same',
    'see', 'seem', 'seemed', 'seeming', 'seems', 'serious', 'several', 'she',
    'should', 'show', 'side', 'since', 'sincere', 'six', 'sixty', 'so', 'some',
    'somehow', 'someone', 'something', 'sometime', 'sometimes', 'somewhere',
    'still', 'such', 'system', 'take', 'ten', 'than', 'that', 'the', 'their',
    'them', 'themselves', 'then', 'thence', 'there', 'thereafter', 'thereby',
    'therefore', 'therein', 'thereupon', 'these', 'they', 'thickv', 'thin', 'third',
    'this', 'those', 'though', 'three', 'through', 'throughout', 'thru', 'thus',
    'to', 'together', 'too', 'top', 'toward', 'towards', 'twelve', 'twenty', 'two',
    'un', 'under', 'until', 'up', 'upon', 'us', 'very', 'via', 'was', 'we', 'well',
    'were', 'what', 'whatever', 'when', 'whence', 'whenever', 'where', 'whereafter',
    'whereas', 'whereby', 'wherein', 'whereupon', 'wherever', 'whether', 'which',
    'while', 'whither', 'who', 'whoever', 'whole', 'whom', 'whose', 'why', 'will',
    'with', 'within', 'without', 'would', 'yet', 'you', 'your', 'yours', 'yourself',
    'yourselves', 'the'])

import os
import jieba
import re
import sys



def word_index(text):
    words = word_split(text)
    words = words_cleanup(words)
    return words









def word_split(text):
    word_list = []
    pattern = re.compile(u'[u4e00-u9fa5]+')#提取中文,unicode编码u4e00-u9fa5的一个或者多个字符.

    jieba_list = list(jieba.cut(text))
    time = {}
    for  c in (jieba_list):

        if c in time:  # record appear time
            time[c] += 1
        else:
            time.setdefault(c, 0) #time第一次设为0是python自己语法这么定的,
            #text.index(c,t)返回text中c出现第t+1次的index.语法就是这么奇怪.
            #所以time里面写i表示这个单词出现i+1次,

        if pattern.search(c):  # if Chinese
            word_list.append((len(word_list), (text.index(c, time[c]), c)))
            continue
        if c.isalnum():  # if English or number
            word_list.append((len(word_list), (text.index(c, time[c]), c.lower())))  # include normalize

    return word_list

#先做单词的预处理,把上面分好的word_list给words_cleanup做筛选
def words_cleanup(words): #index 是单词在word_list中编号,offset是单词在text中下标,word就是单词.
    cleaned_words = []
    for index, (offset, word) in words:  # words-(word index for search,(letter offset for display,word))
        if word in _STOP_WORDS:
            continue
        cleaned_words.append((index, (offset, word)))
    return cleaned_words


def inverted_index(text):
    words = word_split(text)
    words = words_cleanup(words)
    inverted = {}

    for index, (offset, word) in words:#words就是洗完的数据.
        locations = inverted.setdefault(word, [])#把洗完的数据根据word重新归类.同一个word放一起
        locations.append((index, offset))

    return inverted #最后得到的就是倒查索引的结果这个字典.value是 第几个次,偏移量(text里面下标)
a=inverted_index('路上看到就发了开始的路路路路路路路')#a是倒排索引的字典,下面给这个字典加几个功能.都很简单

#对倒排索引继续添加功能:这个功能是把旧的inverted倒排字典跟新的doc_index倒排字典做合并.
#下面的方法就是继续加了一层索引是doc_id.这样倒排索引变成了
#key:word value:{doc_id1,....doc_idn} 然后每一个doc_idi对应一个列表
#列表中每一项是(index,offset)    这样就做成了一个完善的多文件系统中找关键字的位置的倒排索引
#使用的时候只需要从inverted={},用inverted_index_add往里面加即可.
def inverted_index_add(inverted, doc_id, doc_index):
    for word, locations in doc_index.items():
        indices = inverted.setdefault(word, {})
        indices[doc_id] = locations
    return inverted
from functools import reduce
def search(inverted, query):
    word = [word for _ , (offset, word) in word_index(query) if word in inverted][0]
    doc_set=inverted[word].keys() #doc_set 得到的是所有含query这个单词的文件编号.
    output=[]
    if doc_set:
        for doc in doc_set:#遍历所有的有效文档
            for a in inverted[word][doc]:
                #打印一点word左边的字符和右边的字符
                
                output.append((doc,a[0],word))
    return output




    




inverted={}
doc_index = inverted_index('我我的我的是我的我的')
a=inverted_index_add(inverted, 1, doc_index)
doc_index = inverted_index('我想和我女朋友一起去我的北京故宫博物院参观我的屋子和闲逛')
b=inverted_index_add(inverted, 2, doc_index)
print(inverted)
print(search(inverted,'我'))
#结果:[(1, 0, '我'), (1, 1, '我'), (1, 3, '我'), (1, 6, '我'), (1, 8, '我'), (2, 0, '我'), (2, 3, '我'), (2, 7, '我'), (2, 11, '我')]
#表示第一个文章第0个字符是我...............这样就做到了搜索引擎.给一个字或者词,他会返回他
#所在的哪篇文章中的第几个字符.
#具体还需要加入搜索结果的优先级.这样优先级高的写在前面给用户看.简单排序即可.实现.