假装会python--爬取贴吧正文

贴吧的老历史想存下来,强行python爬取一波

队友太强,躺好别动,偶尔做点副业

假装会python

基本流程:

1.爬取页面，获取页面的html源码

2.分析源码 通过正则表达式 匹配到想要的内容

3.去掉不需要的

python中 re模块 提供对正则表达式的支持

# -*- coding:utf-8 -*-
import urllib2
import  urllib
import  re
class Tool:
    #去除img标签,7位长空格
    removeImg = re.compile('<img.*?>| {7}|')
    #删除超链接标签
    removeAddr = re.compile('<a.*?>|</a>')
    #把换行的标签换为

    replaceLine = re.compile('<tr>|<div>|</div>|</p>')
    #将表格制表<td>替换为	
    replaceTD= re.compile('<td>')
    #把段落开头换为
加空两格
    replacePara = re.compile('<p.*?>')
    #将换行符或双换行符替换为

    replaceBR = re.compile('<br><br>|<br>')
    #将其余标签剔除
    removeExtraTag = re.compile('<.*?>')
    def replace(self,x):
        x = re.sub(self.removeImg,"",x)
        x = re.sub(self.removeAddr,"",x)
        x = re.sub(self.replaceLine,"
",x)
        x = re.sub(self.replaceTD,"	",x)
        x = re.sub(self.replacePara,"
    ",x)
        x = re.sub(self.replaceBR,"
",x)
        x = re.sub(self.removeExtraTag,"",x)
        #strip()将前后多余内容删除
        return x.strip()
class BDTB:

    def __init__(self,baseUrl,seeLZ):
        self.baseURL =baseUrl
        self.seeLZ ='?see_lz'+str(seeLZ)
        self.tool=Tool()
    def getPage(self,pageNum):#抓取网页 第几页
        try:
            url=self.baseURL+self.seeLZ+'&pn='+str(pageNum)
            request = urllib2.Request(url)
            response =urllib2.urlopen(request)
            #print  response.read()
            return response.read().decode('utf-8')
        except urllib2.URLError,e:
            if hasattr(e,"reason"):
                print u"fail",e.reason
                return None
    def getTitle(self):#获取标题
        page =self.getPage(1)
        pattern = re.compile('<h3 class="core_title_txt.*?>(.*?)</h3>',re.S)
        result =re.search(pattern,page)
        #print result
        if result:
            print result.group(1)
            return result.group(1).strip()
        else :
            return None
    def getContent(self):#获取正文
        page=self.getPage(1)
        pattern =re.compile('<div id="post_content_.*?>(.*?)</div>',re.S)
        items =re.findall(pattern,page)
        for i in range(1,20):#前19个
            print self.tool.replace(items[i])

baseURL = 'http://tieba.baidu.com/p/5285925491'#任意一个网页的url
bdtb=BDTB(baseURL,1)
#bdtb.getTitle()
bdtb.getContent()