一个站点的页面是很多的,一开始不可能全部列举出来,于是如何发现后续的链接,是一个爬虫不可缺少的一部分
获取链接(例子):
page.addTargetRequests(page.getHtml().css("div#news_div").links().regix(".*9$").all());//验证是否真正拿到下一个页面的数据page.putField("div",page.getHtml().css("div.mt h1").all())