Xpath爬取某时尚网站时装周图片

作为一名比较懒的程序媛, 爬一点图片还是比一页一页翻是要省事些的, 啊哈哈...

这一次尝试的是Xpath而不是用正则

Xpath解析原理:

--标签定位 对标签的属性或者文本数据进行捕获

--xpath路径表达式进行标签定位

--xpath表达式必须作用在xpath函数中

--xpath函数被封装在etree对象中 (需页面源码数据加载到etree中)

通用性强

from lxml import etree
# 实例化一个etree对象
tree = etree.parse('./test.html')  # 本地的一个HTML文件

# 解析操作
# 从最外层根节点一层层向下找 //表示多个层级
tree.xpath('//div[@class="xxx"]/p[4]/text()')  
# //div是定位到所有div, 返回的是一个列表  [@class="xxx"]-->是属性定位
# /p[4] -->定位到第四个p标签 
# text() -->把定位到的标签中 文本取出来
# /text()取出直系文本内容 一个元素   //text() 至少有多个元素的列表

# tree.xpath('//div[@class=""]/ul/li[2]/a/@href')

# etree.HTML(response.text)  # 用的多 

import requests
from lxml import etree
import os

if not os.path.exists("chanelshow"):
    os.mkdir("chanelshow")
    
# 构造请求头 url, headers
url = "http://shows.vogue.com.cn/Chanel/"
headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36",
    "Connection": "close"
}
# 先拿到响应
response = requests.get(url=url, headers=headers)
# 拿到响应的文本, html --> 传入etree.HTML(page_text), etree.HTML()就是选取html文件中的节点或者节点集
page_text = response.text

tree = etree.HTML(page_text)
year_url_list = tree.xpath('//div[@class="tt"]/p/a/@href')  # '//div[@class="tt"]/p/a/@href'路径表达式

for year_url in year_url_list:
    response2 = requests.get(url=year_url, headers=headers)
    response2_text = requests.get(url=year_url, headers=headers).text
    
    tree = etree.HTML(response2_text)
    src_url_list = tree.xpath("//li[@class='item']/img/@crs")
    name_list = tree.xpath("//li[@class='item']/img/@alt")
    
    for index, src_url in enumerate(src_url_list):
        img_data = requests.get(url=src_url, headers=headers).content
        
        img_path = "chanelshow/" + name_list[index] + '.jpg'
        with open(img_path, "wb") as fp:
            fp.write(img_data)
#         print("写入成功")