讯速开源分布式定向采集系统(hitask)
欢迎加入开源搜索引擎QQ讨论群:1831546 合作洽谈QQ:4451310 检索系统介绍
源码下载
学习资料
目录
系统简介
采集流程
配置运行
测试实例
展开
任何疑问请提交官方微博http://weibo.com/sounos或者邮箱sounos@gmail.com
系统简介
讯速分布式定向采集系统(hitask)是一个开源的数据采集系统, 开发始于2008年,早期版本属于实验版本仅仅支持数据采集功能, 不能精准的抽取网页内容,在此基础上发展的分布式采集系统具备多节点同时采集功能, 同时支持模版的方式抽取内容, 大大提高系统的可用性和网络带宽利用率. 基础通信库使用libsbase, 字符集识别使用libcharset(C++), 核心代码全部由纯C语言实现, 采用面向对象设计思想. 运行于类unix系统linux/BSD,主要功能点如下:
异步DNS解析
URL排重
支持HTTP 压缩编码传输 gzip/deflate
字符集判断自动转换成UTF-8编码
文档压缩存储
支持多下载节点分布式下载
下载任务控制(可停止和恢复任务),指定url优先下载,指定host优先下载
采集流程
从中心节点取URL(包括URL对应的任务号, IP和port,也可能host需要任务节点自己解析)
连接服务器发送请求
等待数据头判断是否需要的数据(目前主要取text类型的数据)
等待完成数据(有length头的直接等待说明长度的数据否则等待比较大的数字然后设置超时)
数据完成或者超时, zlib压缩数据返回给中心服务器,数据可能包括自己解析DNS信息, 压缩后数据长度+压缩后数据, 如果出错就直接返回任务号以及相关信息
中心服务器收到带有任务号的数据, 查看是否包括数据, 如果没有数据直接置任务号对应的状态为错误, 如果有数据提取数据种link 然后存储数据到文档文件.
完成后返回一个新的任务.
配置运行
下载最新版hitask: http://code.google.com/p/hispider/downlgads/list
程序依赖包 zlib pcre libcharset libevbase libsbase
测试实例数据包 http://hispider.googlecode.com/files/hitask.tar.gz
下载解压到指定目录下一个后更改 /etc/hitaskd.ini 里的配置路径 "hibasedir" 为解压后的路径.
服务启动：
/usr/local/bin/hitaskd -d -c /usr/local/etc/hitaskd.ini
/usr/local/bin/hitask -d -c /usr/local/etc/hitask.ini
测试实例
服10.管理URL-添加种子
