zoukankan      html  css  js  c++  java
  • 定向爬取网页内容

    实例:

    • 爬取“中国好大学网页”,获得并输出:排名,大学名称,评分。

    编程步骤:

    • 获取网页内容

    • 把获取的网页内容保存到列表

    • 输出大学信息

    • ps:分别用三个函数实现前面三步,最后编写主函数调用以上函数

    代码:

    
    import requests
    from bs4 import BeautifulSoup
    import bs4
    def getHTMLText(url):#获取网页内容
        try:
            r = requests.get(url)#通过requests获取url信息
            r.raise_for_status()#产生异常信息
            r.encoding = r.apparent_encoding#修改编码
            return r.text#将网页内容返回给程序其他部分
        except:
            return ""#出现错误,返回空字符串
    def fillUnivList(ulist,html):#网页内容存放列表
        soup = BeautifulSoup(html,"html.parser")
        for tr in soup.find('tbody').children:#遍历找tbody标签的每一个孩子
            if isinstance(tr,bs4.element.Tag):#过滤,如果tr标签的类型不是bs4库定义的Tag类型,将过滤掉
                tds = tr('td')#把所有td标签存为一个列表类型tds
                ulist.append([tds[0].string,tds[1]('a')[0].string,tds[4].string])#在ulist中增加我们要爬取的信息
    def printUnivList(ulist,num):#输出结果
        print("{0:6s}{1:10s}{2:6s}".format("排名","学校名称","总分"))
        for i in range(num):
            u = ulist[i]
            print("{0:6s}{1:10s}{2:6s}".format(u[0],u[1],u[2]))
    def main():
        uinfo = []#定义列表,存放大学信息
        url = 'http://www.shanghairanking.cn/rankings/bcur/2020'#给出链接
        html = getHTMLText(url)#获取网页内容
        fillUnivList(uinfo,html)#存放网页内容
        printUnivList(uinfo,20)#打印大学信息
    main()
    

    结果

    • 问题(待解决):大学信息的格式化输出混乱,详细的中英文格式化转换输出,请见下次分享。
  • 相关阅读:
    *Basic Calculator
    今天周末20190616,分享句喜欢的话,常用架构图
    Python 面向对象 --- 类和对象
    Python 面向对象(OOP)基本概念
    Python 高级变量类型 --- 函数的进阶
    Python 高级变量类型 --- 变量进级
    Python 高级变量类型 --- 综合应用
    Python 高级变量类型 --- 公共方法
    Python 高级变量类型 --- 字典
    Python 高级变量类型 --- 元组
  • 原文地址:https://www.cnblogs.com/lushuang55/p/13825215.html
Copyright © 2011-2022 走看看