先上个头文件吧（x
#!/usr/bin/env python
# -*- coding: gb18030 -*-
########################################################################
#
# Copyright (c) 2017 Baidu.com, Inc. All Rights Reserved
#
########################################################################
本人是某公司的智障程序员，由于业务需要，就实现了一个简单的搜索引擎。
简单说一下业务的需求：给我了一堆名词，然后返回和每个名词最相关的链接地址就可以了。
我用脑袋想了想，这不就是个搜索引擎嘛。然后我花了一下午，实现了这个搜索引擎。
我是个野路子，并没有具体看过搜索引擎的书籍，所以以下都是我自己琢磨的……
搜索引擎的主要环节分为：query -> query进行分词 -> 计算每个单词在url出现的权重 -> 分词结果进行合并得到site权值 -> 权值排序
切词部分
我们对于每个query，我们首先进行切词，把一个句子切分成很多个词语（term），然后每个term在句子中，有自己对应的权值。
这个在github有很多开源的部分，我觉得没必要自己实现这个玩意儿，随便拿一个来用就好了
获取每个词语在链接内的权值
这个玩意儿有一个算法叫做TF(Weighted Term Frequency)和IDF(Inverted Document Frequency)
TF/IDF相关资料：http://blog.csdn.net/erlingmusan/article/details/25004035
也就是我们能够利用这个算法 得到 每个词语在site内的权值
也就是我们要得到一个 triple(term,url,value)这种东西
这个玩意儿在公司内，有现成的，大概10G左右大小，我设了一个阈值，就筛选掉了大概9/10的样子
计算每个url的价值
对于每一个query，我们要计算每个url的价值，然后排序即可。
我们其实就是让 这个词语在query的权重，乘上这个url的权值
然后每个url把权值都加起来，就是这个url的价值
（计算方式怎么都可以，这个得视具体情况而定）
然后排序，就是搜索结果了。
Over
一个弱智版本的搜索引擎就实现啦！而且效率也特别高！
然后你就会发现，这个搜索引擎需要更多的优化了= =，排上来的都是些不符合query的网站。
反正慢慢调整权值就好了。