python爬虫训练——正则表达式+BeautifulSoup爬图片

这次练习爬 传送门 这贴吧里的美食图片。

如果通过img标签和class属性的话，用BeautifulSoup能很简单的解决，但是这次用一下正则表达式，我这也是参考了该博主的博文：传送门

所有图片的src地址前面都是相同的，所以根据这个就可以筛选出我们想要的图片了。也就是在匹配时不用class属性的值，而是用正则表达式去匹配src的值。

from urllib import request
from bs4 import BeautifulSoup
import re

def get_page(url, tot_page):
    url_list = []
    for i in range(1,tot_page):
        new_url = re.sub(('=(.*)'),'%s%s' %('=',i), url)
        url_list.append(new_url)
    return url_list


if __name__ == '__main__':
    url = 'http://tieba.baidu.com/p/4792769205?pn=1'
    path = 'D:pythonproject爬虫结果'
    count = 0
    url_list = get_page(url, 4)
    for url in url_list:
        print(url)
        page = request.urlopen(url).read().decode()
        soup = BeautifulSoup(page, 'lxml')
        regex = re.compile("http://imgsrc.baidu.com/forum/w%3D580/sign=.+.jpg")
        pic_list = soup.findAll('img', {'src': regex})
        for pic in pic_list:
            pic = pic['src']
            request.urlretrieve(pic, '%s/%s.jpg' % (path, count))
            count += 1

我就爬了3页的图片：