目的
爬取搜狗图片上千张美女图片并下载到本地
准备工作
爬取地址:https://pic.sogou.com/pics?query=美女
分析
打开上面的地址,按F12开发者工具 - NetWork - XHR - 页面往下滑动XHR栏出现请求信息如下:
Request URL : https://pic.sogou.com/napi/pc/searchList?mode=1&start=48&xml_len=48&query=美女
分析这段请求URL的主要几个参数:
start=48 表示从第48张图片开始检索
xml_len=48 从地48张往后获取48张图片
query=? 搜索关键词(例:美女,这里浏览器自动做了转码,不影响我们使用)
思路
通过以上分析,不难实现下载方法,思路如下:
- 设置URL请求参数
- 访问URL请求,获取图片地址
- 图片地址存入List
- 遍历List,使用线程池下载到本地
https://www.cnblogs.com/javastack/p/15152616.html