【安全】爬虫之旅（2）— 豆瓣小组图片爬虫

今天的第二发！受到“豆瓣妹子”网站的启发（不懂的自行百度），我觉得我也有责任有义务来一发！

毕竟自己写的程序合自己的口味嘛，也比较灵活，可随时更改需要爬的小组地址，下载不同口味的图片 ~

直接上程序，python3.3.2版本：

# -*- coding: utf-8 -*-
# -----------------------------------------------
#   程序：豆瓣小组图片爬虫
#   版本：1.0
#   语言：Python 3.3.2
#   作者：RAUL
#   操作：输入豆瓣小组讨论版块地址、起始页面、终止页面
#   功能：下载小组帖子里发布的图片
#   注意：下载的保存地址为作者本机地址 读者根据自身情况更改
# -----------------------------------------------

import urllib.request,re,time

def get_html_response(url):
    html_response = urllib.request.urlopen(url).read().decode('utf-8')
    return html_response

# ------------ begin ----------------------------
# 输入示例
# http://www.douban.com/group/Xsz/discussion?start=
# 1
# 2

url = str(input(u'请输入豆瓣小组地址，去掉start=后面的数字：
'))
page_bgn = int(input(u'请输入开始时的页码:
'))
page_end = int(input(u'请输入结束时的页码:
'))
num_end = (page_end-1)*25
num_now = (page_bgn-1)*25

while num_now <= num_end:
    # 获得主题列表页面
    html_topic_list = get_html_response(url+str(num_now))

    # 获得主题列表
    re_topic_list = r'http://www.douban.com/group/topic/d+'
    topic_list = re.findall(re_topic_list,html_topic_list)

    # 遍历每个主题 将其中图片下载下来
    for topic_url in topic_list:
        print('topic_url '+topic_url)
        html_topic = get_html_response(topic_url)

        # 进入主题 获得图片下载地址列表（图片可能有多张）
        re_img_list = r'http://imgd.douban.com/view/group_topic/large/public/.+.jpg'
        img_list = re.findall(re_img_list,html_topic)

        # 遍历图片下载地址列表 把每张图片保存到对应位置
        for img_url in img_list:
            print('img_url: '+img_url)
            img_name = re.findall(r'pd{7}',img_url)
            download_img = urllib.request.urlretrieve(img_url,'D:MySoftwarePython33CodeSpidergirls\%s.jpg'%img_name)
            time.sleep(0.5)
    num_now = num_now + 25
else:
    print('采集完成!')

思路是这样：

1、输入的地址是豆瓣小组讨论版地址（去掉start=后面的） eg.http://www.douban.com/group/Xsz/discussion?start=

2、程序把以上地址中的各个帖子地址汇编进列表，得到主题列表

3、遍历主题列表，进入主题，获取该主题中的所有图片地址列表

4、遍历图片地址列表，将每张图片保存到本地

挺有成就感的 .. 明天不能继续了 .. 要ASP.NET搞起了