爬虫--慕课爬取大学排名的程序

本文采取的路线是requests-bs4库：

我们学会分析，这张图找到，标签<td>..<td>

import requests
from bs4 import BeautifulSoup
import bs4

def getHTMLText(url):
    try:
        r = requests.get(url)
        r.raise_for_status()
        r.encoding = r.apparent_encoding
        return r.text
    except:
        return "产生异常"

def fillUnivList(ulist, html):
    soup = BeautifulSoup(html, "html.parser")
    for tr in soup.find("tbody").children:
        #检测tr标签，是否为bs4.element.Tag定义的类型
        if isinstance(tr, bs4.element.Tag):
            tds = tr("td")#查询td标签
            ulist.append([tds[0].string, tds[1].string, tds[3].string])#添加二维列表

def printUnivList(ulist, num):
    print("{:^10}	{:^6}	{:^10}".format("排名","学校名称","总分"))
    for i in range(num):
        u = ulist[i]
        print("{:^10}	{:^10}	{:^12}".format(u[0], u[1], u[2]))

def main():
    uinfo = []
    url = "http://www.zuihaodaxue.com/zuihaodaxuepaiming2018.html"
    html = getHTMLText(url)
    fillUnivList(uinfo, html)
    printUnivList(uinfo, 20)

main()

此时我们可以看到，打印出的结果，对齐的效果，并没有预想的好，以下是原因。

 

此时将代码改为

def printUnivList(ulist, num):
    tplt = "{0:^10}	{1:{3}^10}	{2:^10}"#{1:{3}^10}，这个里面1和3对应format里面的顺序，而“:” 后面的内容表示填充内容，当长度不够时将自动填充，数字0，1，2必不可少
    print(tplt.format("排名","学校名称","总分",chr(12288)))
    for i in range(num):
        u = ulist[i]
        print(tplt.format(u[0], u[1], u[2], chr(12288)))

现在看起来好多了，中英文编码问题，很常见，可以这种方式解决。