一、配置环境
在浏览器中安装web scraper插件。
所有安装包下载链接: https://pan.baidu.com/s/1CfAWf0wMO6WqicoUgdYgkg 提取码: nn2e
安装教程:http://www.iwebscraper.com/webscraper-install/
安装成功后打开任意网站,按F12

二、插件简单介绍
步骤

1、选择器选项

2、sitemap选项

三、爬取58同城——多页爬取





说明:爬取后有多余的换行和空格,在excel中使用trim和clean函数去除空格、换行
爬取多页(1-10页)



四、爬取微博——滚动爬取
element scroll down滚动爬取



五、点击爬取——爬取IT桔子和微博评论
IT桔子


微博评论


要点解析

抓取多页的方法

六、爬取拉勾网——二级目录的多页爬取




