爬虫的运用

 首先是爬”中国最好的大学“这个网站，相应代码如下（应为我是06号所以我爬的是2017）

# -*- coding: utf-8 -*-
"""
Created on Wed May 22 22:34:04 2019

@author: m1353
"""

import requests
from bs4 import BeautifulSoup
alluniv = []
def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        return "error"
def fillunivlist(soup):
    data=soup.find_all('tr')
    for tr in data:
        ltd =tr.find_all('td')
        if len(ltd)==0:
            continue
        singleuniv=[]
        for td in ltd:
            singleuniv.append(td.string)
        alluniv.append(singleuniv)
def printunivlist(num):
    print("{1:^2}{2:{0}^10}{3:{0}^6}{4:{0}^4}{5:{0}^10}".format(chr(12288),"排名","学校名字","省份","总分","培养规模"))
    for i in range(num):
        u=alluniv[i]
        print("{1:^4}{2:{0}^10}{3:{0}^5}{4:{0}^8.1f}{5:{0}^10}".format(chr(12288),u[0],u[1],u[2],eval(u[3]),u[6]))
def main(num):
    url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2017.html"
    html=getHTMLText(url)
    soup=BeautifulSoup(html,"html.parser")
    fillunivlist(soup)
    printunivlist(num)
main(10)

main函数中的参数是索取其中的排名信息的个数

　　执行效果如下

然后没有成功，但是我的代码没有错。。。因为我能爬2016，2019的截图如下

2016的如下

仅此修改了网页地址的一个数字

然后是2019的，如下图

嗯，都可以出来，所以我无辜的=3=

然后是开始爬谷歌网（我是06号）

代码如下（和上面的差不太多）

# -*- coding: utf-8 -*-
"""
Created on Wed May 22 22:34:04 2019

@author: m1353
"""

import requests
from bs4 import BeautifulSoup
alluniv = []
def getHTMLText(url):
    try:
        r = requests.get(url,timeout = 30)
        r.raise_for_status()
        r.encoding = 'utf-8'
        return r.text
    except:
        return "error"
def xunhuang(url):
    for i in range(20):
        getHTMLText(url)
def fillunivlist(soup):
    data=soup.find_all('tr')
    for tr in data:
        ltd =tr.find_all('td')
        if len(ltd)==0:
            continue
        singleuniv=[]
        for td in ltd:
            singleuniv.append(td.string)
        alluniv.append(singleuniv)
def printf():
    print("
")
    print("
")
    print("
")
def main():
    url = "http://www.google.com"
    html=getHTMLText(url)
    xunhuang(url)
    print(html)
    soup=BeautifulSoup(html,"html.parser")
    fillunivlist(soup)
    print(html)
    printf()
    print(soup.title)
    printf()
    print(soup.head)
    printf()
    print(soup.body)
main()

输出的结果如下图

中间还有一大堆。。。。

省略到最后面几句

 划红线为输出的title标签

嗯，这一部分是head部分（好多=3=）

 

 

好，这里是body部分（真的好长啊）

由于之前用了一个在td里面找tr，所以将一些“<tr>,<td>”标签给去掉了，然后就变成了这副模样