作业要求：https://edu.cnblogs.com/campus/gzcc/GZCC-16SE2/homework/2851
1. 简单说明爬虫原理
1、发起请求
使用http库向目标站点发起请求，即发送一个Request
Request包含：请求头、请求体等
Request模块缺陷：不能执行JS 和CSS 代码
2、获取响应内容
如果服务器能正常响应，则会得到一个Response
Response包含：html，json，图片，视频等
3、解析内容
解析html数据：正则表达式（RE模块），第三方解析库如Beautifulsoup，pyquery等
解析json数据：json模块
解析二进制数据:以wb的方式写入文件
4、保存数据
数据库（MySQL，Mongdb、Redis）
文件
2. 理解爬虫开发过程
1).简要说明浏览器工作原理；
输入url，发送请求，通过网络连接，等待服务器相应返回数据，浏览器出现界面
2).使用 requests 库抓取网站数据；
requests.get(url) 获取校园新闻首页html代码
import requests url='http://news.gzcc.cn/html/xiaoyuanxinwen/' res=requests.get(url) print(res.text)
3).了解网页
写一个简单的html文件，包含多个标签，类，id
<body> <div id="wrapper"> <header id="header"> <div class="content"> <div class="inner"> <h2>测试网站</h2> <p>这是一个测试用的网站你可以跳转到 <a href="https://www.baidu.com">百度</a> 看看<br> 当然也可以去 <a href="http://www.gzcc.cn">广州商学院</a> 玩一玩</p> </div> </div> <nav class="use-middle"> <ul> <li><a id="intro">123</a></li> <li><a id="work">3421</a></li> <li><a id="about">w(?Д?)w</a></li> <li><a id="contact">444444</a></li> </ul> </nav> </header> </div> </body>
4).使用 Beautiful Soup 解析网页；
通过BeautifulSoup(html_sample,'html.parser')把上述html文件解析成DOM Tree
select（选择器）定位数据
找出含有特定标签的html元素
找出含有特定类名的html元素
找出含有特定id名的html元素
from bs4 import BeautifulSoup simple = open(r'simpleHTML.html','r',encoding='utf-8') simpleR = simple.read() soup=BeautifulSoup(simpleR,'html.parser') h=soup.select('h1') id=soup.select('#from1') cls=soup.select('.AD') print(h,id,cls)
3.提取一篇校园新闻的标题、发布时间、发布单位
url = 'https://www.bilibili.com/read/cv2335645?from=category_2'
import requests from bs4 import BeautifulSoup url ="https://www.bilibili.com/read/cv2335645?from=category_2" res=requests.get(url) type(res) res.encoding="utf-8" soup1=BeautifulSoup(res.text,'html.parser') time=soup1.select('.create-time') au=soup1.select('.author-name') title=soup1.select('.title') print(time,' ',au,' ' 'title')
