初出茅庐----程序测试与爬虫
一、对程序进行测试
测试采用体育竞技模拟分析程序代码
测试一个函数：
代码实现如下
1 def gameover(a,b):
2 if a>=11 and (a-b)>=2:
3 print(a)
4 if b>=11 and (b-a)>=2:
5 print(b)
6 try:
7 gameover()
8 except:
9 print("error")
10
11 a,b=eval(input("请输入测试值："))
12 gameover(a,b)
结果如图所示（只有输入的数据准确，才会输入数值）
测试多组数据：（暂时不懂）
二、爬虫-----request库
1.request库的安装
在命令行输入pip install request，即可自动下载安装
2.request的使用
（1）request库的网页请求函数
| 函数 | 描述 |
| get(url[,timeot=n]) | 对应于HTTP的GET方式，获取网页最常用的方法，可以增加timeout=n参数，设定每次请求超时时间为n秒 |
| post(url,data={'key':'value'}) | 对应于HTTP的POST方式，其中字典用于传递客户数据 |
| delete(url) | 对应于HTTP的DELETE方式 |
| head(url) | 对应于HTTP的HEAD方式 |
| option(url) | 对应于HTTP的OPTIONS方式 |
| put(url,data={'key':'value'}) | 对应于HTTP的PUT方式，其中字典用于传递客户数据 |
（2）respomse对象的属性
| 属性 | 描述 |
| status_code | HTTP请求的返回状态，整数，200表示连接成功，404表示失败 |
| text | HTTP响应内容的字符串形式，即url对应的网页内容 |
| encoding | HTTP响应内容的编码方式 |
| content | HTTP响应内容的二进制形式 |
（3）response对象的方法
| 方法 | 描述 |
| json() | 如果HTTP响应内容包含json格式数据，则该方法解析json数据 |
| raise_for_status() | 如果不是200，则产生异常 |
3.牛刀小试
1.用request库爬取百度网页内容，并且打印20次
代码实现如下
1 import requests
2 def gethtmltext(url):
3 try:
4 r=requests.get(url,timeout=30)
5 r.raise_for_status()
6 r.encoding='utf-8'
7 return r.text
8 except:
9 return ""
10
11 url="https://www.baidu.com"
12 for i in range(20):
13 print(gethtmltext(url))
结果如图所示（由于打印的内容比较多，这里就不一一展示了）
2.计算text属性和content属性所返回网页内容的长度
代码实现如下
1 import requests
2 def gethtmltext(url):
3 try:
4 r=requests.get(url,timeout=30)
5 r.raise_for_status()
6 r.encoding='utf-8'
7 return len(r.text),len(r.content)
8 except:
9 return ""
10
11 url="https://www.baidu.com"
12 print(gethtmltext(url))
结果如图所示
三、对网页进行查找（BeautifulSoup4库）
1.BeautifulSoup库的安装
命令行中输入
pip install beautifulsoup4
即可自动下载安装
2.BeautifulSoup的引用
>>>from bs4 import BeautifulSoup
3.BeautifulSoup的常用函数
（1）BeautifulSoup对象的常用属性
| 属性 | 描述 |
| head | HTTP页面的<head>内容 |
| title | HTTP页面标题，在<head>之中，由<title>标记 |
| body | HTTP页面中的<body>内容 |
| p | HTTP页面中第一个<p>内容 |
| strings | HTTP页面所有呈现在web上的字符串，即标签内容 |
| stripped_strings | HTTP页面所有呈现在web上的非空格字符串 |
（2）标签对象的常用属性
| 属性 | 描述 |
| name | 字符串，标签的名字，比如div |
| attrs | 字典，包含了原来页面Tag所有的属性，比如href |
| contents | 列表，这个Tag下所有子Tag的内容 |
| string | 字符串，Tag所包围的文本，网页中真实的文字 |
4.获取网页内容
代码实现如下
1 html = '''<!DOCTYPE html> 2 <html> 3 <head> 4 <meta charset="utf-8"> 5 <title>菜鸟教程(runoob.com)</title> 6 </head> 7 <body> 8 <h1>我的第一个标题</h1> 9 <p>我的第一个段落。</p> 10 </body> 11 </html>''' 12 13 import re 14 def getChinese(html): 15 html_unicode=html.strip() 16 string=re.compile('[^u4e00-u9fff]') 17 chinese="".join(string.split(html_unicode)) 18 return chinese 19 from bs4 import BeautifulSoup 20 soup=BeautifulSoup(html) 21 print("获取head标签内容：") 22 print(soup.head) 23 print("学号号数为11") 24 print() 25 print("获取body标签内容：") 26 print(soup.body) 27 print() 28 print(soup.title) 29 print()
30 print("获取html中的中文字符") 31 print(getChinese(html))
结果如图所示
四、爬取大学排名（2015年排名）
代码实现如下
1 ''' 2 爬取中国大学排名 3 author：xiayiLL 4 ''' 5 import requests 6 from bs4 import BeautifulSoup 7 import pandas 8 def getHTMLText(url): 9 try: 10 r=requests.get(url,timeout=30) 11 r.raise_for_status() 12 r.encoding='utf-8' 13 return r.text 14 except: 15 return "" 16 17 def fillUnivList(soup): 18 t_list=[] 19 data=soup.find_all('tr') 20 for tr in data: 21 ltd=tr.find_all('td') 22 if len(ltd)==0: 23 continue 24 singleUniv=[] 25 for td in ltd: 26 singleUniv.append(td.string) 27 t_list.append(singleUniv) 28 return t_list 29 30 def printUnivList(num,t_list): 31 print("{1:^2}{2:{0}^10}{3:{0}^6}{4:{0}^4}".format(chr(12288),"排名","学校名称","省市","总分")) 32 for i in range(num): 33 u=t_list[i] 34 print("{1:^4}{2:{0}^10}{3:{0}^5}{4:{0}^8}".format(chr(12288),u[0],u[1],u[2],eval(u[3]))) 35 36 def saveCSV(file_name,t_list): 37 FormData=pandas.DataFrame(t_list) 38 FormData.columns=["排名","学校名称","省市","总分","生源质量","培养成果","人才培养得分"] 39 FormData.to_csv(file_name,encoding='utf-8',index=False) 40 41 def main(num): 42 url='http://www.zuihaodaxue.com/zuihaodaxuepaiming2015_1.html' 43 html=getHTMLText(url) 44 soup=BeautifulSoup(html,"html.parser") 45 data=fillUnivList(soup) 46 printUnivList(num,data) 47 saveCSV("E:\daxuepaiming_data.csv",data) 48 49 main(10)
结果如图所示
