"""
今天我们开始尝试,第一次学习爬虫的第一个案例,去校花网上爬取一些校花的照片
"""
from requests_html import HTMLSession
##首先导入这个包
# 然后定义一个类,将这个功能封装起来,将我们所要实现的功能,都封装到这个类中
# 在以后的编程中,尽量将实现同一功能的函数,都封装到一个类中,这样比较方便
class Spider(object):
def __init__(self):
self.session = HTMLSession() ##先 生成一个这样的对象
def get_index_url(self):
##获取需要爬取的url路由
for i in range(1, 4):
##分页处理,由于第一个路由没有规律,所以第一个需要特殊处理.
##这里我们的校花网图片只有三页,以后爬取其他网站,我们也要找到
# 分页的url的规律,然后生成这样一个生成器,然后逐个返回
if i == 1:
yield 'http://www.xiaohuar.com/meinv/'
#这是一个生成器对象 ,每次返回一个元素 下次继续从这里执行
else:
yield 'http://www.xiaohuar.com/meinv/index_%s' % i
#当我们得到了要爬取图片的url之后,就要去找图片的具体的位置路径了.
def get_img_url(self, index_url):###将页面的url传进来
r = self.session.get(url=index_url)
###这个就是通过那个路由,模拟路由器向这个URL发送请求,得到那个返回的html
for element in r.html.find('.items'): ##现在就是利用那个css选择器从那个返回的结果中筛选
##这里使用的是类选择器,凡是有 class = 'items'的都会被筛选出来
img_element = element.find('img', first=True)##first=True 表示获取列表中的第一个元素
##然后继续在这个刚才筛选出来的结果中继续筛选,就标签选择器
title_element = element.find('.p_title a', first=True)
##这个是获取图片的名称的那个a标签
yield "http://www.xiaohuar.com" + img_element.attrs.get('src'), title_element.text
###将这两个标签对象返回出去,由于第一个路径不是绝对路径是一个相对路径,所以这里需要做一个拼接
def save_img(self, img_url, img_name): ###保存图片到本地,并且命名
img_name = img_name.replace('/', '').replace("\", "") + ".jpg"
###因为我们之前获取的文件名中 可能会有 或者 / 这种特殊符号,存成文件名会被识别成文件夹名称
##所以这里我们需要替换一下 双\ 表示转义之后的
r = self.session.get(url=img_url) ##根据图片的资源地址 获取资源
with open(img_name, 'wb') as f:
f.write(r.content)
# r.content 就是那个图片的二进制数据流
print("%s下载完成" % img_name)
def run(self): ##执行函数
for index_url in self.get_index_url():
for img_url, img_name in self.get_img_url(index_url):
self.save_img(img_url, img_name)
if __name__ == '__main__':
xiaohua = Spider()
xiaohua.run()