百度贴吧——爬虫python

# -*- coding:utf-8 -*-
# *************************************
#     程序：学习蜘蛛协议的第一个例子
#     版本：1.0
#     作者：Silence
#     语言：Python 2.7
#     日期：2014-03-15
#     操作：就是下载贴吧里面某个贴吧的所有网页，并且存储为html文件
# *************************************

import string,urllib2,re
from urllib2 import HTTPError

def baidu_tieba(url,begin_page,end_page):
    for i in range(begin_page,end_page+1):
        sName = string.zfill(i,5) + '.html'
        print '正在下载第',str(i),'个网页，并将其存储为',sName,'.....'
        try:
            m = urllib2.urlopen(url + str(i)).read()
        except HTTPError, e:
            print '亲，你给的地址出问题了。'
            if hasattr(e,'reason'):
                print 'Code:',e.code,';Reason',e.reason
            pass

        f = open(sName,'w')
        try:
            f.write(m)
        except Exception, e:
            print '存储网页',sName,'出错!'
            pass
        finally:
            f.close()

if __name__ == '__main__':
    bdurl = str(raw_input('请输入贴吧的地址，去掉pn=后面的数字：
'))
    #因为现在贴吧需要登录上去，并且点击页数才会出现pn=，所以在这里加个判断，自己补全pn=
    pattern='.+pn=$'
    m=re.match(pattern,bdurl)
    if m == None:
        bdurl += '?pn='
    print bdurl
    begin_page = int(raw_input('请输入开始的页数：
'))
    end_page = int(raw_input('请输入终点的页数：
'))

    baidu_tieba(bdurl,begin_page,end_page)