使用教程——列表页采集
当前版本
测试版
列表页采集
功能
采集列表类型页面。列表类型是指：一个页面中只包含多条采集信息的页面，例如豆瓣影评列表：https://movie.douban.com/subject/26266893/comments?start=0&limit=20&sort=new_score&status=P ， 这样的页面往往包含了分页信息，需要进行分页采集。
使用
打开“配置中心” > “新建爬虫” > “列表页类型” 菜单，进入爬虫配置界面：
基本配置：
| 项 | 是否必填 | 说明 | 示例 |
|---|---|---|---|
| 爬虫名字 | 是 | 任意字符，不可与以有的爬虫名称重复 | 豆瓣影评采集 |
| 采集源 | 是 | 采集的网站名称 | 豆瓣 |
| 源页面 | 是 | 要采集的源链接，必须为规范的url，且必须包含一个页变量 | https://movie.douban.com/subject/26266893/comments?start={page}&limit=20&sort=new_score&status=P |
| 起始页 | 是 | 起始页码 | 1 |
| 结束页 | 是 | 结束页码 | 10 |
| 页增量 | 是 | 页码的增量，默认为1，针对于某些以非页数参数分页的，而是用数据起始位置分页的情况，例如豆瓣影评列表就是如此 | 20 |
| 线程数 | 是 | 一个爬虫所启用的线程数，最大值为3 | 1 |
| 允许JS | 否 | 启用JS可以采集动态网页，但是采集速度将会变慢，默认不启用 | 不启用 |
| 描述 | 否 | 任意值，对爬虫的表述 | 这是一个微信文章爬虫 |
基本配置完成后，点击“下一步”进行采集规则配置。
页变量说明：
页变量是为了自动分页采集而要求的，页变量必需为“{变量名}”的形式，变量名可以任意，系统将自动替换变量为页码。
举例：
《流浪的地球》豆瓣影评列表第二页的URL为：https://movie.douban.com/subject/26266893/comments?start=20&limit=20&sort=new_score&status=P ，这里的start=20即为分页参数，20表示当前页的第一条数据的偏移量为20。设置页变量为page，则符合规范的url如下：https://movie.douban.com/subject/26266893/comments?start={page}&limit=20&sort=new_score&status=P
页增量说明：
页增量是针对于某些以非页数参数分页的，而是用数据起始位置分页的情况。例如上边举例的
配置规则：
| 项 | 是否必填 | 说明 | 示例 |
|---|---|---|---|
| 字段code | 是 | 采集字段唯一标识，同一个爬虫中的字段code不可重复 | title |
| 字段标题 | 是 | 采集字段唯的名称 | 文章标题 |
| 采集规则 | 是 | 采集规则，使用css选择器，很重要。 | .div > .title |
| 采集类型 | 是 | TEXT：采集文本内容，HTML：采集HTML内容，ATTR：采集属性值，当选择ATTR时，下面的属性值必填 | TEXT |
| 属性值 | 否 | 当采集类型为ATTR时必填，其他情况不填 | href |
| 非空字段 | 否 | 是否为非空字段，若是，则当该字段为空时，数据将不会被保存 | 否 |
| 去重字段 | 否 | 是否是去重字段，若是则会更具该字段进行去重，重复的数据将不会被保存 | 否 |
配置完成
采集规则配置完成后，点击“下一步”，选择“保存”或者“启动爬虫”。“保存”将不会启动爬虫，需要在“数据采集” > “状态管理” 中找到刚配置的爬虫，点击“启动”。