request实现数据爬取的流程：
- 指定url
- 基于request发起请求
- 获取响应的数据
- 数据解析
- 持久化存储
1.正则解析：
- 常用的正则回顾：https://www.cnblogs.com/wqzn/p/9489313.html
单字符： . : 除换行以外所有字符 [] ：[aoe] [a-w] 匹配集合中任意一个字符 d ：数字 [0-9] D : 非数字 w ：数字、字母、下划线、中文 W : 非w s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ f v]。 S : 非空白 数量修饰： * : 任意多次 >=0 + : 至少1次 >=1 ? : 可有可无 0次或者1次 {m} ：固定m次 hello{3,} {m,} ：至少m次 {m,n} ：m-n次 边界： $ : 以某某结尾 ^ : 以某某开头 分组： (ab) 贪婪模式： .* 非贪婪（惰性）模式： .*? re.I : 忽略大小写 re.M ：多行匹配 re.S ：单行匹配 re.sub(正则表达式, 替换内容, 字符串)
案例：爬去糗事百科糗图图片
# 正则解析 import requests import re import urllib import os url = 'https://www.qiushibaike.com/pic/page/%d/?s=5170627' headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.109 Safari/537.36" } if not os.path.exists('./img'): os.mkdir("./img") start_page = int(input("请输入开始页")) end_page = int(input("请输入结束页")) for page in range(start_page,end_page+1): new_url = format(url%page) page_text = requests.get(url=new_url,headers=headers).text # img_url_list = re.findall("<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>",page_text,re.S) img_url_list = re.findall('<div class="thumb">.*?<img src="(.*?)" alt=.*?</div>',page_text,re.S) for img_url in img_url_list: img_url = 'https:'+img_url imgName =img_url.split("/")[-1] imgPath = 'qiutu/'+imgName urllib.request.urlretrieve(url=img_url,filename=imgPath) print("imgPath",'下载完成') print("over")
2.BeautifulSoup解析
使用流程： -导包：from bs4 import BeautifulSoup -使用方法：将html文件，转化成beautiful soup对象，然后通过对象的方法或者属性去查找指定内容的节点。 （1）转化本地文件： soup = BeautifulSoup(open('本地文件')，‘lxml’) （2） 转化网络文件： soup = BeautifulSoup('字符串类型或者字节类型', 'lxml') （3） 打印soup对象显示内容为html文件中的内容
基础：
1.根据标签名查找
soup.a 只能找到第一个符合要求的标签
2.获取属性
soup.a.attrs 获取a所有的属性和属性值，返回一个字典
soup.a.attrs['href'] 获取href属性
soup.a['href'] 也可以这样简写
3.获取内容
soup.a.string
soup.a.text
soup.a.get_text()
【备注】如果标签还有标签，呢么string获取的内容是空，而其他两个可以获取文本内容。
4.find: 找到符合第一个符合要求的标签。
soup.find('a')找到第一个符合要求的
soup.find('a',title='xxx')
soup.find('a',id='xxx')
soup.find('a',class='xxx')
soup.find('a',alt='xxx')
5.find_all:找到符合所有符合要求的标签
soup.find_all('a')
soup.find_all(['a','b'])找到所有的a和b标签。
soup.find_all('a',limit=2)限制前两个
6.根据选择器选择指定的内容
soup.select("#ID')
常见的选择器：标签选择器(a)，类选择器(.)，ID选择器(#)，层级选择器
层级选择器：
div .dudu#lala .meme .xixi 下面好多级
div >p >a > .lalala 只能是下面一级
【注意】select选择器返回的永远是列表，需要通过下标来指定对象。
案例：使用bs4实现将诗词名句网站中三国演义小说的每一章的内容爬去到本地磁盘进行存储 http://www.shicimingju.com/book/sanguoyanyi.html
import requests from bs4 import BeautifulSoup url = 'http://www.shicimingju.com/book/sanguoyanyi.html' headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36' } page_text = requests.get(url=url,headers=headers).text soup = BeautifulSoup(page_text,'lxml') a_list = soup.select('.book-mulu > ul > li > a') fp = open('sanguo.txt','w',encoding='utf-8') for a in a_list: title = a.string detail_url = 'http://www.shicimingju.com'+a['href'] detail_page_text = requests.get(url=detail_url,headers=headers).text soup = BeautifulSoup(detail_page_text,'lxml') content = soup.find('div',class_='chapter_content').text fp.write(title+' '+content) print(title,'下载完毕') print('over') fp.close()
3.Xpath解析
素材：
<html lang="en"> <head> <meta charset="UTF-8" /> <title>测试bs4</title> </head> <body> <div> <p>百里守约</p> </div> <div class="song"> <p>李清照</p> <p>王安石</p> <p>苏轼</p> <p>柳宗元</p> <a href="http://www.song.com/" title="赵匡胤" target="_self"> <span>this is span</span> 宋朝是最强大的王朝，不是军队的强大，而是经济很强大，国民都很有钱</a> <a href="" class="du">总为浮云能蔽日,长安不见使人愁</a> <img src="http://www.baidu.com/meinv.jpg" alt="" /> </div> <div class="tang"> <ul> <li><a href="http://www.baidu.com" title="qing">清明时节雨纷纷,路上行人欲断魂,借问酒家何处有,牧童遥指杏花村</a></li> <li><a href="http://www.163.com" title="qin">秦时明月汉时关,万里长征人未还,但使龙城飞将在,不教胡马度阴山</a></li> <li><a href="http://www.126.com" alt="qi">岐王宅里寻常见,崔九堂前几度闻,正是江南好风景,落花时节又逢君</a></li> <li><a href="http://www.sina.com" class="du">杜甫</a></li> <li><a href="http://www.dudu.com" class="du">杜牧</a></li> <li><b>杜小月</b></li> <li><i>度蜜月</i></li> <li><a href="http://www.haha.com" id="feng">凤凰台上凤凰游,凤去台空江自流,吴宫花草埋幽径,晋代衣冠成古丘</a></li> </ul> </div> </body> </html>
常见的Xpath的表达式 属性定位： #找到class属性值为song的div标签 //div[@class='song'] 层级个索引定位： #找到class属性值为tang的div的直系子标签ul下的第二个子标签li下的直系子标签a //div[@class='tang']/ul/li[2]/a 逻辑运算： #找到href属性值为空且class属性值为du的a标签 //a[@href='' and @class='du']
模糊匹配
//div[contains(@class,'ng')]
//div[start_with(@class, 'tang')]
取文本
#表示获取某个标签下的文本内容
//div[@class='song']/p[1]/text()
#表示获取某个标签下的文本内容和所有子标签的文本内容
//div[@class='tang']//text()
取属性：
//div[@class='tang']//li[2]/a@href
1.下载：pip install lxml 2.导包：from lxml import etree 3.将html文档或者xml文档转换成一个etree对象，然后调用对象中的方法查找指定的节点 2.1 本地文件：tree = etree.parse(文件名) tree.xpath("xpath表达式") 2.2 网络数据：tree = etree.HTML(网页内容字符串) tree.xpath("xpath表达式")
安装xpath插件在浏览器中对xpath表达式进行验证：可以在插件中直接执行xpath表达式
将xpath插件拖动到谷歌浏览器拓展程序（更多工具）中，安装成功
下载链接：https://pan.baidu.com/s/1Z4PDniPyBZu-cPLSByVsaQ