我把代码和爬好的数据放在了git上，欢迎大家来参考
https://github.com/linyi0604/linyiSearcher
我是在 manjaro linux下做的， 使用python3 语言， 爬虫部分涉及到 安装ChromeDriver 可以参考我之前写的博文。
建立索引部分参考： https://baijiahao.baidu.com/s?id=1597426056496128414&wfr=spider&for=pc
检索过程，衡量文档相似度使用了余弦相似度，参考：https://www.cnblogs.com/liangjf/p/8283519.html
为了完成我的信息检索选修课大作业，写下了这个简单的小项目。
这里是一个python3 实现的简易的搜索引擎
我把它取名叫linyiSearcher
--------
所需要的python依赖包在requirements.txt中
可以使用 pip install -r requirements.txt 一次性安装全部
--------
一共分成3部分完成（后面有稍微详细点的解读）
1_spider.py 是一个爬虫， 爬取搜索引擎的语料库
2_clean_data_and_make_index 是对爬下来的数据 进行一些清晰工作，并且将数据存入数据库，建立索引
这里使用了 sqlite数据库，为了方便数据和项目一同携带
3_searcher.py 简易的web后端， 实现了
1 在网页输入搜索关键字， 在后端接收到关键字
2 对关键字进行分词
3 在索引中查找和关键字有关的文档
4 按照余弦相似度 对文档进行排序
5 把相近的文档展示出来
--------
自己的知识储备和代码能力都捉襟见肘。
大神来看，还望海涵～欢迎大家批评指正共同学习
--------
1 爬虫：
因为没有数据，只能写爬虫来做， 又只有自己的笔记本来跑，所以数据量也做不到非常大
在这里 写了１程序 爬了百度贴吧 娱乐明星分类下面的所有1级页面帖子的标题 当做语料库
爬取下来的数据存在了 ./data/database.csv 下
数据有2列 分别是 title 和url
2 数据清洗 并 建立索引：
database.db 是一个sqlite数据库文件
首先将每个文档存到了数据库当中
数据库表为 page_info(id,keyword, title, url)
id 自增主键
keyword: 存了该文档文字用jieba分词打散后的词汇列表（用空格隔开所有词语的字符串）
title: 文档的文字内容
url: 该文档的网页链接
然后 把每个文档 使用jieba分词工具， 打散成词语，把所有词语放到一个集合中（集合能去重）
把所有词 存入数据库 建立索引
索引这样理解：
关键词: 你好 包含关键词的文档： <1,2,6,8,9>
表为 page_index(id, word, page_id)
id: 自增 主键
word: 当前关键词
page_id: 包含该关键词的文档id 也就是page_info.id
3 实现检索：
首先 使用了bottle框架，是一个非常轻巧的web后端框架，实现了一个简单的web后端
前端页面使用了bootstrap 的css样式，，毕竟自己什么垃圾的一p
检索的实现过程：
1 后端拿到检索的关键词，用jieba分词 把拿到的语句打散成词汇 形成关键词keyword_list
2 在建立的索引表page_index中，搜关keyword_list中出现的词汇的page_id
3 在包含所有keyword的文档上 计算和keyword的余弦相似度，然后降序排列
4 返回给前端显示搜索结果
看看检索结果：
1_spider.py 爬虫的代码
1 import requests
2 from lxml import etree
3 import random
4 import COMMON
5 import os
6 from selenium import webdriver
7 import pandas as pd
8 """
9 这里是建立搜索引擎的第一步
10 """
11
12
13 class Spider_BaiduTieba(object):
14
15 def __init__(self):
16 self.start_url = "/f/index/forumpark?pcn=娱乐明星&pci=0&ct=1&rn=20&pn=1"
17 self.base_url = "http://tieba.baidu.com"
18 self.headers = COMMON.HEADERS
19 self.driver = webdriver.Chrome()
20 self.urlset = set()
21 self.titleset = set()
22
23 def get(self, url):
24 header = random.choice(self.headers)
25 response = requests.get(url=url, headers=header, timeout=10)
26 return response.content
27
28 def parse_url(self, url):
29 """通过url 拿到xpath对象"""
30 print(url)
31 header = random.choice(self.headers)
32 response = requests.get(url=url, headers=header, timeout=10)
33 # 如果获取的状态码不是200 则抛出异常
34 assert response.status_code == 200
35 xhtml = etree.HTML(response.content)
36 return xhtml
37
38 def get_base_url_list(self):
39 """获得第一层url列表"""
40 if os.path.exists(COMMON.BASE_URL_LIST_FILE):
41 li = self.read_base_url_list()
42 return li
43 next_page = [self.start_url]
44 url_list = []
45 while next_page:
46 next_page = next_page[0]
47 xhtml = self.parse_url(self.base_url + next_page)
48 tmp_list = xhtml.xpath('//div[@id="ba_list"]/div/a/@href')
49 url_list += tmp_list
50 next_page = xhtml.xpath('//div[@class="pagination"]/a[@class="next"]/@href')
51 print(next_page)
52 self.save_base_url_list(url_list)
53 return url_list
54
55 def save_base_url_list(self, base_url_list):
56 with open(COMMON.BASE_URL_LIST_FILE, "w") as f:
57 for u in base_url_list:
58 f.write(self.base_url + u + "
")
59
60 def read_base_url_list(self):
61 with open(COMMON.BASE_URL_LIST_FILE, "r") as f:
62 line = f.readlines()
63 li = [s.strip() for s in line]
64 return li
65
66 def driver_get(self, url):
67 try:
68 self.driver.set_script_timeout(5)
69 self.driver.get(url)
70 except:
71 self.driver_get(url)
72 def run(self):
73 """爬虫程序入口"""
74 # 爬取根网页地址
75 base_url_list = self.get_base_url_list()
76 data_list = []
77 for url in base_url_list:
78 self.driver_get(url)
79 html = self.driver.page_source
80 xhtml = etree.HTML(html)
81 a_list = xhtml.xpath('//ul[@id="thread_list"]//a[@rel="noreferrer"]')
82 for a in a_list:
83 title = a.xpath(".//@title")
84 url = a.xpath(".//@href")
85 if not url or not title or title[0]=="点击隐藏本贴":
86 continue
87 url = self.base_url + url[0]
88 title = title[0]
89
90 if url in self.urlset:
91 continue
92
93 data_list.append([title, url])
94 self.urlset.add(url)
95 data = pd.DataFrame(data_list, columns=["title,", "url"])
96 data.to_csv("./data/database.csv")
97
98
99
100
101 if __name__ == '__main__':
102 s = Spider_BaiduTieba()
103 s.run()
2 清晰数据 和 建立索引部分代码 这里是notebook 完成的， 所以看起来有点奇怪
1 #%%
2 import pandas as pd
3 import sqlite3
4 import jieba
5 #%%
6 data = pd.read_csv("./data/database.csv")
7 #%%
8 def check_contain_chinese(check_str):
9 for ch in check_str:
10 if u'u4e00' <= ch <= u'u9fff':
11 return True
12 if "a" <= ch <= "z" or "A" <= ch <= "X":
13 return True
14 if "0" <= ch <= "9":
15 return True
16 return False
17 #%%
18 data2 = []
19 for d in data.itertuples():
20 title = d[1]
21 url = d[2]
22 cut = jieba.cut(title)
23 keyword = ""
24 for c in cut:
25 if check_contain_chinese(c):
26 keyword += " " + c
27 keyword = keyword.strip()
28 data2.append([title, keyword, url])
29 #%%
30 data3 = pd.DataFrame(data2, columns=["title", "keyword", "url"])
31 data3
32 #%%
33 data3.to_csv("./data/cleaned_database.csv", index=False)
34 #%%
35 for line in data3.itertuples():
36 title, keyword, url = line[1],line[2],line[3]
37 print(title)
38 print(keyword)
39 print(url)
40 break
41
42 #%%
43 conn = sqlite3.connect("./data/database.db")
44 c = conn.cursor()
45
46 # 创建数据库
47 sql = "drop table page_info;"
48 c.execute(sql)
49 conn.commit()
50
51 sql = """
52 create table page_info(
53 id INTEGER PRIMARY KEY,
54 keyword text not null,
55 url text not null
56 );
57 """
58 c.execute(sql)
59 conn.commit()
60
61
62 # 创建索引表
63 sql = """
64 create table page_index(
65 id INTEGER PRIMARY KEY,
66 keyword text not null,
67 page_id INTEGER not null
68 );
69 """
70 c.execute(sql)
71 conn.commit()
72 #%%
73 sql = "delete from page_info;"
74 c.execute(sql)
75 conn.commit()
76
77
78 # 插入到数据库
79 i = 0
80 for line in data3.itertuples():
81 title, keyword, url = line[1],line[2],line[3]
82 sql = """
83 insert into page_info (url, keyword)
84 values('%s', '%s')
85 """ % (url, keyword)
86 c.execute(sql)
87 conn.commit()
88 i += 1
89 if i % 50 == 0:
90 print(i, len(data3))
91
92
93
94 sql = "delete from page_index;"
95 c.execute(sql)
96 conn.commit()
97
98 sql = "select * from page_info;"
99 res = c.execute(sql)
100 res = list(res)
101 length = len(res)
102
103 i = 0
104 for line in res:
105 pid, words, url = line[0], line[1], line[2]
106 words = words.split(" ")
107 for w in words:
108 sql = """
109 insert into page_index (keyword, page_id)
110 values('%s', '%s')
111 """ % (w, pid)
112 c.execute(sql)
113 conn.commit()
114 i += 1
115 if i % 100 == 0:
116 print(i, length)
117 #%%
118
119 #%%
120
121
122 #%%
123 titles = list(words)
124 colums = ["title", "url"] + titles
125 word_vector = pd.DataFrame(columns=colums)
126 word_vector
127 #%%
128
129 #%%
130 data = pd.read_csv("./data/database.csv")
131 #%%
132 data
133 #%%
134 sql = "alter table page_info add title text;"
135 conn = sqlite3.connect("./data/database.db")
136 c = conn.cursor()
137 c.execute(sql)
138 conn.commit()
139 #%%
140 conn = sqlite3.connect("./data/database.db")
141 c = conn.cursor()
142 length = len(data)
143 i = 0
144 for line in data.itertuples():
145 pid = line[0]+1
146 title = line[1]
147 sql = "UPDATE page_info SET title = '%s' WHERE id = %s "%(title,pid)
148 try:
149 c.execute(sql)
150 conn.commit()
151 except:
152 continue
153 i += 1
154 if i % 50 == 0:
155 print(i, length)
156
157
158 #%%
159
160 #%%
3 web后端 完成检索功能代码
1 # coding=utf-8
2 import jieba
3 import sqlite3
4 from bottle import route, run, template, request, static_file, redirect
5
6
7 @route('/static/<filename>')
8 def server_static(filename):
9 if filename == "jquery.min.js":
10 return static_file("jquery.min.js", root='./data/front/js/')
11 elif filename == "bootstrap.min.js":
12 return static_file("bootstrap.js", root='./data/front/js/')
13 elif filename == "bootstrap.min.css":
14 return static_file("bootstrap.css", root='./data/front/css/')
15
16
17 @route('/')
18 def index():
19 return redirect("/hello/")
20
21
22 @route('/hello/')
23 def index():
24 form = request.GET.decode("utf-8")
25 keyword = form.get("keyword", "")
26 cut = list(jieba.cut(keyword))
27 # 根据索引查询包含关键词的网页编号
28 page_id_list = get_page_id_list_from_key_word_cut(cut)
29 # 根据网页编号 查询网页具体内容
30 page_list = get_page_list_from_page_id_list(page_id_list)
31 # 根据查询关键字和网页包含的关键字，进行相关度排序 余弦相似度
32 page_list = sort_page_list(page_list, cut)
33 context = {
34 "page_list": page_list[:20],
35 "keyword": keyword
36 }
37 return template("./data/front/searcher.html", context)
38
39
40 # 计算page_list中每个page 和 cut的余弦相似度
41 def sort_page_list(page_list, cut):
42 con_list = []
43 for page in page_list:
44 url = page[2]
45 words = page[1]
46 title = page[3]
47 vector = words.split(" ")
48 same = 0
49 for i in vector:
50 if i in cut:
51 same += 1
52 cos = same / (len(vector)*len(cut))
53 con_list.append([cos, url, words, title])
54 con_list = sorted(con_list, key=lambda i: i[0], reverse=True)
55 return con_list
56
57
58
59 # 根据网页id列表获取网页详细内容列表
60 def get_page_list_from_page_id_list(page_id_list):
61 id_list = "("
62 for k in page_id_list:
63 id_list += "%s,"%k
64 id_list = id_list.strip(",") + ")"
65 conn = sqlite3.connect("./data/database.db")
66 c = conn.cursor()
67 sql = "select * "
68 + "from page_info "
69 + "where id in " + id_list + ";"
70 res = c.execute(sql)
71 res = [r for r in res]
72 return res
73
74
75 # 根据关键词在索引中获取网页编号
76 def get_page_id_list_from_key_word_cut(cut):
77 keyword = "("
78 for k in cut:
79 if k == " ":
80 continue
81 keyword += "'%s',"%k
82 keyword = keyword.strip(",") + ")"
83 conn = sqlite3.connect("./data/database.db")
84 c = conn.cursor()
85 sql = "select page_id "
86 + "from page_index "
87 + "where keyword in " + keyword + ";"
88 res = c.execute(sql)
89 res = [r[0] for r in res]
90 return res
91
92
93
94 if __name__ == '__main__':
95 run(host='localhost', port=8080)