爬虫:用于搜索,但搜索的内容还在原来的网站上,主动,智能
采集:把别的网站的内容,放到自己网站上
网站首页相当于入口,入口下有很多一级分类,和首页是上下级的关系。分类是有层级关系的
网站的内容架构:
先确定抓取范围:先分析网站内容结构;eg:抓全栈的数据--那就以网站首页作为入口
网站内容架构:首页下是一级分类,一级分类下是二级分类
内容抓取流程:
入口是个列表页,
用java程序解析,先得拿到页面的html代码
想要抓取数据,得先分析url有何规律
关于提取:HTML解析类库:jsoup和jodd
1,jsoup
前提条件:没有任何第三方类库来自动帮助我来做这件事,用纯java系统类库来做?