网络爬虫（5）--小实战

       到目前为止，我们学习了如何访问远程网站，如何解析页面内容，是时候开始应用一下了。在这里，我们以通过http://www.heibanke.com/lesson/crawler_ex00/为例，这个网站会告诉我们爬虫应该向哪里链接，直到爬到通过为止。

        首先我们需要查看网页的源代码，确定我们需要的信息在哪里。通过查看源代码，我们可以知道，我们关注的信息应该是h3标签文本中的数字。

        因此我们的任务就是提取出这个数字，然后链接到新的地址，直到完成为止。

        首先我们从BeautifulSoup中提取出标签h3中的文本，然后通过正则表达式分解出里面的数字，将数字加入地址，继续访问新地址，知道没有数字为止。

# coding=utf-8
__author__ = 'f403'
from urllib.request import urlopen
from urllib.error import HTTPError
from bs4 import BeautifulSoup
import re
rootUrl = "http://www.heibanke.com/lesson/crawler_ex00/"

def getUrl(url=""):
    try:
        html = urlopen(rootUrl+url)
        if html is None:
            print("html is empty")
            return  None
        else:
            try:
                bs = BeautifulSoup(html.read().decode('utf8'),"lxml")
                #text = bs.find("h3").get_text()

                text = bs.find('h3').get_text()
                return text
            except AttributeError as e:
                return None
    except HTTPError as e:
        return None

if __name__ =='__main__':
    txt = getUrl()
    print(txt)
    while txt is not None:
        pattern = re.compile("[0-9]+")
        num = pattern.search(txt)
        if num is not None:
            print(num.group())
            txt = getUrl(num.group())
        else:
            txt = None

    print("end")

来自为知笔记(Wiz)