菜鸟也想玩搜索引擎——JobSearch简介
这一篇将简要介绍一下JobSearch的结构，同时发下源码，来点干货，等过两天闲的时候将围绕这个程序简单介绍搜索引擎的各部分，同时谈谈个人的一些理解。程序写的比较简单，基础好的话很容易就能看懂（因为写的比较早，所以代码比较乱，还望各位勿喷啊）。
SVN地址：http://code.taobao.org/svn//jobsearch/trunk
源文件下载地址：https://files.cnblogs.com/good-temper/jobsearch.rar
1、程序结构
程序框架如下：
（1）、爬虫从招聘网站通过列表页抓取招聘页面，将招聘信息解析出后存入数据库
（2）、通过Luence实现的索引器存数据库读取解析出来的信息，进行分词并建立索引文件
（3）、用户输入关键词提交给查询器
（4）、查询器将关键词分词并检索索引文件，获得匹配的记录集合，根据记录的id查询数据库取出数据反馈给用户。（这里偷了个懒，建立索引是直接将数据表所有字段都存进了索引文件，这样查询时就不需要读取数据库了，但是这是一个非常糟糕的设计，原因以后详细分析时会说明）
程序的源文件结构如下：
//需要说的是部分文件是从更早期的一个爬虫程序里边拷贝过来的，原项目是gbk的，而本项目是utf-8的，所以有部分中文注释乱码，而且一些文件没有用到
JobSearch
com.crawler.action //这个就不解释了，struts你懂得
com.crawler.analysis //解析包,本来想用htmlparser，后来觉得挺简单的就直接自己写正则了
ContentAnalysis.java //内容页解析类
ListAnalysis.java //列表页解析类
com.crawler.contraller //控制包
Contraller.java //总控类，所有抓取爬虫都在此启动
job51Contraller.java //51Job的抓取控制类，主要是启动多个线程进行抓取，并维护一个链接队列进行任务调度
com.crawler.database //数据库操作
MysqlOperater.java //mysql操作类
SqliteOperater.java //sqlite的操作类，我自己写的小程序喜欢用sqlite，轻量级且方便移植。这里本来打算用的，最后因多种原因未使用。
com.crawler.entity //实体类，当时百度出的这个单词......好吧，今天知道人们其实更喜欢写成model
Queue.java //队列接口
ArrayQueue.java //队列类，为甚么要自己实现？因为当时不知道java已经实现了Queue，就在网上考了一个，当然看了下代码其实很简单，使 用了模板，而且线程安全
SearchResult.java //查询结果类
SimpleContent.java //简单格式的置为内容类，这个......我也忘了当时为啥要定义这个，难道想减少客户端请求时传递的信息量？
PageContent.java //页面内容类，用来存储页面解析后的信息
UrlInfo.java //Url信息类
com.crawler.filter //本来打算实现过滤器的，实现链接的滤重，但是最后偷懒直接比对的数据库，就没实现。这个之前实现过，采用的Bloom Filter 实现，之后细讲会讲到的
com.crawler.htmlop //html操作
GetHtml.java //请求网路获取html文件
com.crawler.io //io操作
FileOperater.java //主要将html文件保存至本地，这里没有用到，但是这样做对于一个真正高校的搜索引擎其实
com.crawler.luence //luence操作
InfoIndex.java //索引文件操作类，建立、更新、查询索引都在这里边，其实包含了索引器和查询器，这里代码写的有点烂。
com.crawler.tool //一些工具类
ComputeMD5.java //生成MD5值，最为数据主键
DataOp.java //日期格式处理
PropertiesOp.java //读取配置文件属性，爬虫的一些信息通过.properties文件配置，包括爬去列表页起始地址、列表链接正则、爬去分类等 ，这样做主要是希望增强可拓展性，之后通过添加XXXContraller类和配置文件就能实现对新网站的爬去（这样其实还是 有缺陷）
//最后，应该是controller，而不是contraller，好吧，没文化真可怕。
2、如何配置程序
2.1 导入项目
可以svn签入或者下载源文件导入，我用的myeclipse9.0，但是开发用的myeclipse8.5，所以8.5以上版本应该都行。
2.2 初始化数据库
脚本文件在sql文件加下，里边已经有一些数据，但是建议把数据清空（因为对应没索引文件没拷，这些数据也查询不出来）。
2.3 抓取数据
运行程序，将程序部署至tomcat，打开：http://localhost:8080/JobSearch/index.jsp
点击右上角的“抓取设置”，按照下图执行点击1、2，暂时不要执行3。
这是可以在控制台看到输出抓取日志信息：
2.4 对抓取信息建立索引
在抓取了一段时间后（可以看看数据库，差不多positioninfo表有个千吧条信息时，反正是测试下，用不着抓太多），点击上边的3开始建立索引。这里需要提到是由于代码对异常处理的有问题，长时间运行后会出现异常信息，一般情况下忽略即可（比如一些链接请求失败很正常），但是有时候你会发现列表页解析速度很快，内容页个很长时间才完成一个，这个一般重启即可，不必担心重复抓取，抓取状态数据库保存的有。
建立索引将是个很长的时间，而且建议在抓取停止后在去建立索引（怎么停止？这个....没写，直到列表信息抓取完就停止了，或者你重启下tomcat也行，反正是个练手项目，也不追求十全十美......），否则很可能你等很长时间也不见结束。
2.5 万事具备，搜索吧
打开主页，填写关键词（最好和抓取分类相关）和条件，点击搜索，会惊喜的发现页面显示了搜索结果。但是同时你也可能会小小的失望：有时候搜索结果准确度并不是那么高。这个主要和分词器以及luence的使用有关，因为我只是简单的使用了下，并未做相关排名，而且分词器分词不一定准确（这个牵扯很多原因，也是搜索引擎需要解决的核心问题之一，以后我会说下我所了解的解决思路）。
最后来几张效果图，然后睡觉去。
