1. 正则表达式 正则表达式是对字符串操作的一种逻辑公式. 我们一般使用正则表达式
对字符串进行匹配和过滤.
工具: 各大文本编辑器⼀般都有正则匹配功能. 我们也可以去
http://tool.chinaz.com/regex/进行在线测试.
正则表达式由普通字符和元字符组成. 普通字符包含大小写字母, 数字. 在匹配普通字符
的时候我们直接写就可以了. 比如"abc" 匹配的就是"abc". 我们如果用python也可以实现相
同的效果. 所以普通字符没什么好说的. 重点在元字符上.
元字符: 元字符才是正则表达式的灵魂. 元字符中的内容太多了, 在这里我们只介绍⼀些
常用的.
1. 字符组
字符组很简单用[]括起来. 在[]中出现的内容会被匹配. 例如:[abc] 匹配a或b或c
如果字符组中的内容过多还可以使用- , 例如: [a-z] 匹配a到z之间的所有字母 [0-9]
匹配所有阿拉伯数字 .
2. 简单元字符 (这里只介绍基本的几个)
. 匹配除换⾏符以外的任意字符
w 匹配字⺟或数字或下划线
s 匹配任意的空字符 d 匹配数字
匹配一个换行符
匹配一个制表符
匹配一个单词的结尾
^ 匹配字符串的开始
$ 匹配字符串的结尾
W 匹配除字母或数字或下划线
D 匹配非数字
S 匹配非空白符
a|b 匹配字符a或字符b
() 匹配括号内的表达式，也表示一个组
[...] 匹配字符组中的字符
[^...] 匹配除了字符组中字符的所有字符
3. 量词
我们到目配的所有内容都是单一的字符. 那如何匹配很多个字符呢,
我们用到量词.
* 重复零次或更多次
+ 重复一次或更多次
? 重复零次或一次
{n} 重复n次
{n,} 重复n次或更多次
{n,m} 重复n到m次
4. 惰性匹配和贪婪匹配
在量词中的*, +,{} 都属于贪婪匹配. 就是尽可能多的匹配到结果
------------------------------------------
例.1
str: 麻花藤昨天让英雄联盟关服了
reg: 麻花藤.*
此时匹配的是整句话 ------------------------------------------
str: 麻花藤昨天让英雄联盟关服了
reg: 麻花藤.*?
此时匹配的是 麻花藤
str: <div>胡辣汤</div>
reg: <.*>
结果: <div>胡辣汤</div>
str: <div>胡辣汤</div>
reg: <.*?>
结果 <div>
</div>
str: <div>胡辣汤</div>
reg: <(div|/div*)?>
结果:
<div>
</div> --------------------------------------------
.*?x的特殊含义 找到下⼀个x为⽌.
str: abcdefgxhijklmn
reg: .*?x
结果:abcdefgx
-----------------------------------------
5.分组
在正则中使用()进行分组. 比如. 我们要匹配⼀个相对复杂的身份证号. 身份证号分
成两种. 老的身份证号有15位. 新的身份证号有18位. 并且新的身份证号结尾有可能是x.
给出以下正则:请判断那些符合要求
^[1-9]d{13,16}[0-9x]$
^[1-9]d{14}(d{2}[0-9x])?$
^([1-9]d{16}[0-9x]|[1-9]d{14})$
6. 转义
在正则表达式中, 有很多有特殊意义的是元字符, 比如 和s等,如果要在正则中匹
配正常的" "并不是"换行符"就需要对""进⾏转义, 变成'\'.在python中, ⽆论是正则表达式, 还
是待匹配的内容, 都是以字符串的形式出现的, 在字符串中也有特殊的含义, 本身还需要转
义. 所以如果匹配一次" ", 字符串中要写成'\n', 那么正则⾥就要写成"\\n",这样就太麻烦了.
这个时候我们就用到了r' '这个概念, 此时的正则是r'\n'就可以了
----------------------------------------------
2. re模块
re模块是python提供的⼀套关于处理正则表达式的模块. 核心功能有四个
1. findall 查找所有. 返回list
lst = re.findall("m", "mai le fo len, mai ni mei!")
print(lst) # ['m', 'm', 'm']
lst = re.findall(r"d+", "5点之前. 你要给我5000万")
print(lst) # ['5', '5000']
---------------------------------------------------------
2. search 会进行匹配. 但是如果匹配到了第1个结果. 就会返回这个结果. 如果匹配不
上search返回的则是None
ret = re.search(r'd', '5点之前. 你要给我5000万').group()
print(ret) # 5
res=re.search("e","alex like pig") #搜索,搜到就返回,返回是其他格式,加上group还原
print(res.group())
-------------------------------------------------------------
3. match 只能从字符串的开头进行匹配
ret = re.match('a', 'abc').group()
print(ret) # a
# res=re.match("w+","我曹alex is pig") #从头匹配,匹配到了就返回
# print(res.group()) #也要加上group还原
-----------------------------------------------------------
4. finditer 和findall差不多. 只不过这时返回的是迭代器
it = re.finditer("m", "mai le fo len, mai ni mei!")
for el in it:
print(el.group()) # 依然需要分组
it=re.finditer("w+","天啊,我看到一个唧唧在tainshang fei")
for i in it:
print(i.group()) #天啊 我看到一个唧唧在tainshang fei
----------------------------------------------------------------------------
5. 其他操作
ret = re.split('[ab]', 'qwerafjbcd') # 先按'a'分割得到'qwer'和'fjbcd',在
对'qwer'和'fjbcd'分别按'b'分割
print(ret) # ['qwer', 'fj', 'cd']
ret = re.sub(r"d+", "_sb_", "alex250taibai250wusir250ritian38") # 把字符串中
的数字换成__sb__
print(ret) # alex_sb_taibai_sb_wusir_sb_ritian_sb_
ret = re.subn(r"d+", "_sb_", "alex250taibai250wusir250ritian38") # 将数字替
换成'__sb__'，返回元组(替换的结果,替换了多少次)
print(ret) # ('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4)
obj = re.compile(r'd{3}') # 将正则表达式编译成为一个 正则表达式对象, 规则要匹配的
是3个数字
ret = obj.search('abc123eeee') # 正则表达式对象调⽤search, 参数为待匹配的字符串
print(ret.group()) # 结果: 123
-------------------------------------------------------------------------
obj=re.compile(r"d+") #obj预加载了正则
res=obj.search("kuke is250,nojiji,zhishang360,is a pig")
print(res.group())
obj=re.compile(r"is(?P<id>d+),")
res=obj.search("kuke is250,nojiji,zhishang360,is a pig")
print(res.group("id"))
----------------------------------------------------------
爬虫重点:
obj = re.compile(r'(?P<id>d+)(?P<name>e+)') # 从正则表达式匹配的内容每个组起名
字
ret = obj.search('abc123eeee') # 搜索
print(ret.group()) # 结果: 123eeee
print(ret.group("id")) # 结果: 123 # 获取id组的内容
print(ret.group("name")) # 结果: eeee # 获取name组的内容
-------------------------------------------------------------------------- 6.坑
坑1
lis=re.findall(r"www.(baidu|oldboy).com","www.baidu.com")
print(lis) #此时拿到只是['baidu'].因为中间的括号在这边表示优先级
解决方法 加上?:去掉优先级
lis=re.findall(r"www.(?:baidu|oldboy).com","www.baidu.com")
print(lis)
坑2 切割
lis=re.split("[ab]","alxe is a big pig and a sb")
print(lis) #['', 'lxe is ', ' ', 'ig pig ', 'nd ', ' s', '']
切割,会保留切割的地方 把要切割的字符组括起来
lis=re.split("([ab])","alex has much moeny,but no jiji")
print(lis)
#在匹配部分加上（）之后所切出的结果是不同的，
#没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项，
#这个在某些需要保留匹配部分的使⽤过程是⾮常重要的
-----------------------------------------------------------------
这种优先级的问题有时候会帮我们完成很多功能. 我们来看一个比较复杂的例子
import re
from urllib.request import urlopen
import ssl
# 干掉数字签名证书
ssl._create_default_https_context = ssl._create_unverified_context
def getPage(url):
response = urlopen(url)
return response.read().decode('utf-8')
def parsePage(s):
ret = re.findall(
'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>d+).*?
<span class="title">(?P<title>.*?)</span>'
'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>
(?P<comment_num>.*?)评价</span>', s, re.S)
return ret
def main(num):
url = 'https://movie.douban.com/top250?start=%s&filter=' % num
response_html = getPage(url)
ret = parsePage(response_html)
print(ret)
count = 0
for i in range(10):
main(count)
count += 25
此时利用的就是分组之后. 匹配成功后获取到的是分组后的结果. (?P<id>d+) 此时当前
组所匹配的数据就会被分组到id组内. 此时程序可以改写成:
import ssl
import re
from urllib.request import urlopen
# ⼲掉数字签名证书
ssl._create_default_https_context = ssl._create_unverified_context
def getPage(url):
response = urlopen(url)
return response.read().decode('utf-8')
def parsePage(s):
com = re.compile(
'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>d+).*?
<span class="title">(?P<title>.*?)</span>'
'.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?
<span>(?P<comment_num>.*?)评价</span>', re.S)
ret = com.finditer(s)
for i in ret:
yield {
"id": i.group("id"),
"title": i.group("title"),
"rating_num": i.group("rating_num"),
"comment_num": i.group("comment_num"),
}
def main(num):
url = 'https://movie.douban.com/top250?start=%s&filter=' % num
response_html = getPage(url)
ret = parsePage(response_html)
print(ret)
f = open("move_info7", "a", encoding="utf8")
for obj in ret:
print(obj)
data = str(obj)
f.write(data + "
")
count = 0
for i in range(10):
main(count)
count += 25