一、配置环境
在浏览器中安装web scraper插件。
所有安装包下载链接: https://pan.baidu.com/s/1CfAWf0wMO6WqicoUgdYgkg 提取码: nn2e
安装教程:http://www.iwebscraper.com/webscraper-install/
安装成功后打开任意网站,按F12
二、插件简单介绍
步骤
1、选择器选项
2、sitemap选项
三、爬取58同城——多页爬取
说明:爬取后有多余的换行和空格,在excel中使用trim和clean函数去除空格、换行
爬取多页(1-10页)
四、爬取微博——滚动爬取
element scroll down滚动爬取
五、点击爬取——爬取IT桔子和微博评论
IT桔子
微博评论
要点解析
抓取多页的方法
六、爬取拉勾网——二级目录的多页爬取