害虫图片爬取

import requests
from bs4 import BeautifulSoup

r1 = requests.get(
    url = 'https://www.16pic.com/sucai/7597253.html',
    headers = {
        # '':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36',
        'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.120 Safari/537.36'
              }
            )

soup = BeautifulSoup(r1.text,'lxml')
#print(soup)
div = soup.find(name = 'div',attrs={'class':'flex_grid masonry'})
#print(div)

li_list = div.find_all(name = 'a',attrs={'class':'image'})
print(li_list)
for li in li_list:
    img = li.find(name = 'img')
    print(img)
    src = img.get('data-original')
    src = 'http:'+src
    print(src)

    #再次发起请求，下载图片
    file_name = src.rsplit('/',maxsplit=1)[1]  # 设/后面的文字为文件名  分割完 取后面的
    ret = requests.get(src)
    with open(file_name,'wb') as f:
        f.write(ret.content)   #.content  表示返回的是二进制   图片的内容是二进制

注意点：

 

 这是一种反爬虫机制，如果选取 属性 src 则获取的数据是空或者是乱码  所以要选属性为 data-original

其次是图片的链接是没有 http: 故代码中要加上   否则获取不到数据