python初学（三）

1.以软科中国最好大学排名为分析对象，基于requests库和bs4库编写爬虫程序，对2015年至2019年间的中国大学排名数据进行爬取，并按照排名先后顺序输出不同年份的前10位大学信息，要求对输出结果的排版进行优化。

import requests
from bs4 import BeautifulSoup

class Univ:
    def __init__(self, url, num):
        self.url=url
        self.allUniv=[]
        self.num=num
    
    def get_htmltext(self):
        try:
            r=requests.get(self.url,timeout=30)
            r.raise_for_status()
            r.encoding='utf8'
            return r.text
        except:
            return ''
    
    def fillUnivList(self,soup):
        data=soup.find_all('tr')
        for tr in data:
            ltd=tr.find_all('td')
            if len(ltd)==0:
                continue
            singleUniv=[]
            for td in ltd:
                singleUniv.append(td.string)
            self.allUniv.append(singleUniv)

    def printUnivList(self):
        print("{:^4}	{:^20}	{:^10}	{:^8}	{:^10}	".format("排名","学校名称","省市","总分","生源质量"))
        for i in range(self.num):
            u=self.allUniv[i]
            if u[0]:
                print("{:^4}	{:^20}	{:^10}	{:^8}	{:^10}	".format(u[0],u[1],u[2],u[3],u[4]))
            else:
                print("{:^4}	{:^20}	{:^10}	{:^8}	{:^10}	".format(i+1,u[1],u[2],u[3],u[4]))

    def main(self):
        html=self.get_htmltext()
        soup=BeautifulSoup(html,'html.parser')
        self.fillUnivList(soup)
        self.printUnivList()

if __name__ == "__main__":
    url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming2015_0.html"
    print('2015') 
    u=Univ(url,10)
    u.main()
    years=["2016","2017","2018","2019"]
    for year in years:
        url="http://www.zuihaodaxue.cn/zuihaodaxuepaiming"+year+".html"
        print(year) 
        u=Univ(url,10)
        u.main()

2.豆瓣图书评论数据爬取。在豆瓣图书上自行选择一本书，编写程序爬取豆瓣图书上针对该图书的短评信息，要求：

（1）对不同页码的短评信息均可以进行爬取；

（2）爬取的数据包含用户名、短评内容、评论时间和评分；

能够根据选择的排序方式进行爬取，并针对热门排序，输出前10个短评信息（包括用户名、短评内容、评论时间和评分）；

（3）能够根据选择的排序方式进行爬取，并针对热门排序，输出前10个短评信息（包括用户名、短评内容、评论时间和评分）；

（4）结合中文分词和词云生成，对前3页的短评内容进行文本分析，并生成一个属于自己的词云图形。

import requests
import re
import jieba
import wordcloud
from bs4 import BeautifulSoup
from fake_useragent import UserAgent



class com:
    def __init__(self, no,num,page):
        self.no=no
        self.page=page
        self.num=num
        self.url=None
        self.header=None
        self.bookdata=[]
        self.txt=''

    def set_header(self):
        ua = UserAgent()
        self.header={
            "User-Agent":ua.random
        }

    def set_url(self,page):
        self.url='https://book.douban.com/subject/{0}/comments/hot?p={1}'.format(str(self.no),str(page+1))

    def get_html(self):
        try:
            r=requests.get(self.url,headers=self.header,timeout=30)
            r.raise_for_status()
            r.encoding='utf8'
            return r.text
        except:
            return ''

    def fill_bookdata(self, soup):
        commentinfo=soup.find_all('span','comment-info')
        pat1=re.compile(r'allstar(d+) rating')
        pat2=re.compile(r'<span>(dddd-dd-dd)</span>')
        comments=soup.find_all('span','short')
        for i in range(len(commentinfo)):
            p=re.findall(pat1,str(commentinfo[i]))
            t=re.findall(pat2,str(commentinfo[i]))
            self.bookdata.append([commentinfo[i].a.string,comments[i].string,p,t[0]])

    def printList(self, num):
        for i in range(num):
            u=self.bookdata[i]        
            try:
                print("序号: {}
用户名: {}
评论内容: {}
时间：{}
评分: {}星
".format(i+1,u[0],u[1],u[3],int(eval(u[2][0])/10)))
            except:       
                print("序号: {}
用户名: {}
评论内容: {}
".format(i+1,u[0],u[1]))

    def comment(self):
        self.set_header()
        self.set_url(0)
        html=self.get_html()
        soup=BeautifulSoup(html,'html.parser')
        self.fill_bookdata(soup)
        self.printList(self.num)

    def txtcloud(self):
        self.set_header()
        for i in range(self.page):
            self.bookdata=[]
            self.set_url(i)
            html=self.get_html()
            soup=BeautifulSoup(html,'html.parser')
            self.fill_bookdata(soup)
            for j in range(len(self.bookdata)):
                self.txt+=self.bookdata[j][1]
        w=wordcloud.WordCloud(width=1000,font_path="msyh.ttc",height=700,background_color="white")
        w.generate(self.txt)
        w.to_file("comment.png")

    def main(self):
        self.comment()
        self.txtcloud()

if __name__ == "__main__":
    com(34925415,10,10).main()

3.设  其中，完成下列操作：

(1)在同一坐标系下用不同的颜色和线性绘制y1、y2和y3三条曲线；

import matplotlib.pyplot as plt
import numpy as np

x=np.arange(0,360)
y1=x*x
y2=np.cos(x)
y3=y1*y2
plt.plot(x,y1,color='blue')
plt.plot(x,y2,color='red')
plt.plot(x,y3,color='green')
plt.show()

(2)在同一绘图框内以子图形式绘制y1、y2和y3三条曲线。

import matplotlib.pyplot as plt
import numpy as np

x=np.arange(0,360)
y1=x*x
y2=np.cos(x)
y3=y1*y2
plt.subplot(311)
plt.plot(x,y1,color='blue')
plt.subplot(312)
plt.plot(x,y2,color='red')
plt.subplot(313)
plt.plot(x,y3,color='green')
plt.show()

4.已知  ，在-2<=x<=2区间绘制该分段函数的曲线，以及由该曲线所包围的填充图形。

import matplotlib.pyplot as plt 
import numpy as np 

x=np.arange(-2,2,1e-5)
y1=np.sqrt(2*np.sqrt(np.power(x,2))-np.power(x,2))
y2=-2.14*np.sqrt(np.sqrt(2)-np.sqrt(np.abs(x)))
plt.plot(x,y1,'r',x,y2,'r')
plt.fill_between(x,y1,y2,facecolor='red')
plt.show()