python 爬取实例 1-中国大学排名问题处理

该程序脱胎于嵩天老师的爬取中国大学排名实例程序，但由于网页的变动，嵩天老师的程序在运行中出现了一些问题，这爬取程序主要是在源程序的基础上进行了一些修改，使得程序正确运行，以及一些问题的处理

爬取地址：https://www.shanghairanking.cn/rankings/bcur/2020

修改后的源代码：

import requests
from bs4 import BeautifulSoup
import bs4

def get_html_text(url):
    try:
        r = requests.get(url, timeout=40)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return ""


def fill_univ_list(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find('tbody').children:
        if isinstance(tr, bs4.element.Tag):
            tds = tr('td')
            ulist.append([tds[0].text.strip(),tds[1].text.strip(),tds[2].text.strip(),tds[4].text.strip(),tds[5].text.strip()])

def print_univ_list(ulist, num):
    print("{:^10}	{:^6}	{:^10}	{:^10}	{:^10}".format("排名","学校","省市","得分","教学层次",chr(12288)))
    for i in range(num):
        u = ulist[i]
        print("{:^10}	{:^10}	{:^10}	{:^12}	{:^12}".format(u[0],u[1],u[2],u[3],u[4],chr(12288)))

def main():
   uinfo = []
   url = 'https://www.shanghairanking.cn/rankings/bcur/2020'
   html = get_html_text(url)
   fill_univ_list(uinfo,html)
   print_univ_list(uinfo,20)
main()

运行结果：

问题处理：

嵩天老师源程序：

import requests

from bs4 import BeautifulSoup

import bs4 def getHTMLText(url):

    try:

        r = requests.get(url, timeout=30)

        r.raise_for_status()

        r.encoding = r.apparent_encoding

        return r.text

    except:

        return ""



def fillUnivList(ulist, html):

    soup = BeautifulSoup(html, "html.parser")

    for tr in soup.find('tbody').children:

        if isinstance(tr, bs4.element.Tag):

            tds = tr('td')

            ulist.append([tds[0].string, tds[1].string, tds[3].string])



def printUnivList(ulist, num):

    tplt = "{0:^10}	{1:{3}^10}	{2:^10}"

    print(tplt.format("排名","学校名称","总分",chr(12288)))

    for i in range(num):

        u=ulist[i]

        print(tplt.format(u[0],u[1],u[2],chr(12288)))



def main():

    uinfo = []

    url = 'https://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html'

    html = getHTMLText(url)

    fillUnivList(uinfo, html)

    printUnivList(uinfo, 20) # 20 univs

main()

直接运行报错如下：

 解决方式：将原来代码中的网页url链接更换为https://www.shanghairanking.cn/rankings/bcur/2020(目前最新可用）

更换url后运行报错运行如下：

解决方式：

没有想到很好的解决方法，尝试了几个，最后都失败了，于是就干脆一点，将代码中的：

 ulist.append([tds[0].string, tds[1].string, tds[3].string])

换成：

 ulist.append([tds[0].text, tds[1].text, tds[2].text])

即可成功出结果，运行截图：

注：本文主要侧重点为问题的解决，爬取内容和格式可以自行决定，如有不对之处，请大家指正