Python爬虫(二)--糗事百科

#coding=utf-8
import urllib
import urllib2
import re
import thread
import time
class QSBK:
    # 初始化方法，定义变量
    def __init__(self):
        self.pageIndex = 1
        self.user_agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
        # 初始化headers
        self.headers = {'User-Agent':self.user_agent}
        # 存放段子的变量，每一个元素是每一页的段子
        self.stories = []
        # 存放程序是否继续运行的变量
        self.enable = False
    def getPage(self,pageIndex):
        try:
            url = 'http://www.qiushibaike.com/hot/page/' + str(pageIndex)
            # 构建请求的request
            request = urllib2.Request(url,headers = self.headers)
            # 利用urlopen获取页面代码
            response = urllib2.urlopen(request)
            # 将页面转化为UTF-8编码
            pageCode = response.read().decode('utf-8')
            return  pageCode
        except urllib2.URLError,e:
            # if hasattr(e, "code"):
            #     print e.code
            if hasattr(e, "reason"):
                print u"连接糗事百科失败，错误原因",e.reason
                return None
    def getPageIntems(self,pageIndex):
        pageCode = self.getPage(pageIndex)
        if not pageCode:
            print "页面加载失败..."
            return None
        pattern = re.compile('h2>(.*?)</h2.*?<img(.*?)alt.*?content">(.*?)</.*?number">(.*?)</i', re.S)
        items = re.findall(pattern,pageCode)
        # 用来存储每页的段子
        pageStories = []
        # 遍历正则表达式匹配的信息
        for item in  items:
            replaceBR = re.compile('<br/>')
            text = re.sub(replaceBR,"
",item[2])
            # item[0]--段子发布者,item[2]--段子内容,item[3]--段子点赞数
            pageStories.append([item[0].strip(),text.strip(),item[3].strip()])
        return pageStories
    # 加载并提取页面内容，加入到列表中
    def loadPage(self):
        # 如果当前未看的页数少于2页，则加载新一页
        if self.enable == True:
            if len(self.stories) < 2:
                # 获取新一页
                pageStories = self.getPageIntems(self.pageIndex)
                # 将该页的段子存到全局变量列表list中
                if pageStories:
                    self.stories.append(pageStories)
                    # 获取完之后页码索引+1，表示下次读取下一页
                    self.pageIndex += 1
    # 调用该方法，每次敲回车打印输出一个段子
    def getOneStory(self,pageStories,page):
        # 遍历当前页的每一个段子
        for story in pageStories:
            # 等待用户输入
            input = raw_input()
            # 每当输入回车一次，判断一下是否要加载新页面
            self.loadPage()
            if input == "Q":
                # 输入Q则程序结束
                self.enable = False
                return
            print u"第%d页	发布人:%s	赞:%s
%s"%(page,story[0],story[2],story[1])
    # 开始方法
    def start(self):
        print u"正在读取糗事百科，按回车查看新段子。按Q退出"
        # 变量为True，程序开始运行
        self.enable = True
        # 先加载第一页内容
        self.loadPage()
        # 局部变量，控制当前页数
        nowPage = 0
        while self.enable:
            if len(self.stories)>0:
                # 从全局List中获取当前页的段子
                pageStories = self.stories[0]
                # 当前读到的页数+1
                nowPage += 1
                # 将全局List中的第一个元素删掉
                del self.stories[0]
                # 输出该页的段子
                self.getOneStory(pageStories,nowPage)
spider = QSBK()
spider.start()

来自为知笔记(Wiz)