正则表达式

定义：

正则表达式，又称规则表达式，通常被用来检索、替换那些符合某个模式(规则)的文本。

正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个"规则字符串"，这个"规则字符串"用来表达对字符串的一种过滤逻辑。

 

功能：

给定一个正则表达式和另一个字符串，我们可以达到如下的目的：

• 匹配 给定的字符串是否符合正则表达式的过滤逻辑
• 过滤 通过正则表达式，从文本字符串中获取我们想要的特定部分

原理：

单字符匹配

 

1.最简单匹配：匹配指定字符

所有的字符都可以匹配自身如 abc 能够匹配 abc

 

import re
string = '1233abc384'
pattern = re.compile('abc')
result = pattern.search(string)
result
>>> result
<_sre.SRE_Match object at 0x7fbec85a2578>
>>> result.group()
'abc'

2. . 匹配换行' '之外所有字符

import re
string = '12attc3334axc'
#将正则表达式编译成对象
pattern = re.compile('a.c')
#使用正则表达式对象匹配字符串
result = pattern.search(string)
#查看结果
>>> result
<_sre.SRE_Match object at 0x7fbec85a2578>
>>> result.group()
'axc'

在这个例子中，字符串中看似符合标准的有两个：attc，axc，因为.代表一切字符，所有能够匹配a[]c，又因为.只代表数量上匹配一位，所以只能匹配axc

 

3.给定范围匹配

使用[],在里面写入需要匹配的字符，作用是在字符串中匹配写入的字符，能够匹配任意一个即可

import re
string = '12agc3334axc'
pattern = re.compile('a[gx]c') 
result = pattern.findall(string)
>>> result
['agc', 'axc']

a[gx]c可以匹配以a开头c结尾，中间一位是g或者x的字符串。在string中有两位，agc和axc，使用findall可以将符合条件的都查找出来。

 

4.匹配特殊字符

在2中使用.可以匹配除 外所有的字符串，但如果想要匹配.本身呢？如匹配一个qq号12345@qq.com，youdao@163.com,找到是哪一家公司的。可以让特殊符号变成原来的意思。

import re
string = '12agc3334a.c'
pattern = re.compile('a.c') 
result = pattern.findall(string)
>>> result
['a.c']

通配符匹配

字符的类型有很多，字符，数字，点，空格，tab等。对类型复杂的字符，正则表达式提供了多种匹配方式。

d 能够匹配0-9的数字

 

import re
string = '12agc3334a.c'
pattern = re.compile('d') 
result = pattern.findall(string)
>>> result
['1', '2', '3', '3', '3', '4']

 匹配到了string中所有的数字，使用pattern = re.compile('[0-9]')可以达到同样的效果

s 匹配 空格 fv

import re
string = '1 2,a b,x y'
pattern = re.compile('1s2')
result = pattern.findall(string)
result
>>> result
['1 2']

s 的效果同样可以使用pattern = re.compile([ y fv])替换。

还有一些方便的匹配字符集，所有的字符集都可以使用[]这种方式实现

D 匹配非数字 [^d] 
S 匹配非空白字符 [^s] 
w 匹配单词字符 [A-Za-z0-9_] 
W 匹配非单词字符 [^w]

多字符匹配

前面所有的匹配都是只能匹配一个字符，往往在工作中需要配多个字符。如23gbhtrev56匹配23和56之间所有的字符。这时不知道是一个字符还是多个字符。所以需要使用数量上的匹配来实现。

 

0～无限次

*表示匹配无限个字符，包括0个。使用方式：a*代表a可以匹配0-无限次

string='23gbhtrev56'
pattern = re.compile('23.*56')
result = pattern.search(string)
result
>>> result
<_sre.SRE_Match object at 0x7fbec85a2578>
>>> result.group()
'23gbhtrev56'

.代表所有字符，.*表示匹配所有字符0～无数次

 

1～无限次

+和*用法相似，唯一不同的是+能够1～无数次，即一定要有一次出现。

 

string1 = 'abcd'
strinng2 = 'ab12345cd'
pattern = re.compile('ab.+cd')
>>> one = pattern.search(string1)
>>> 
>>> one
>>> two = pattern.search(string2)
>>> 
>>> two.group()
'ab12345cd'

string1中ab和cd之间没有数字，所以没有匹配到，而string2中ab和cd之间有12345，所有能够匹配到。这就是+的能力。如果使用*则可以都匹配到。

 

指定次数

除了匹配无数次这种不确定的次数外，也可以使用{m}匹配指定次数。使用{m}可以匹配一个字符m次。如a{4}这个意思就是匹配字符4次，只有类似xaaaa3244这种出现4次a的字符串才会被匹配到。

同样使用{m，n}可以匹配 小于n次，大于m次的字符。

 

边界匹配

边界匹配简化了一些匹配表达的填写，这些都可以使用基础表达式完成。

 

1.匹配以XXX字符开头的字符串

使用^abc可以匹配以abc开头的字符串

string1 = 'abc098tr'
>>> 
>>> string2 = '3455vf'
pattern = re.compile('^abc(.*)')
one = pattern.search(string1)
>>> one
<_sre.SRE_Match object at 0x7f570da75648>
>>> one.group()
'abc098tr'
>>> two = pattern.search(string2)
>>> two

匹配以xxx字符结尾的字符串

使用$xyz可以匹配以xyz结尾的字符串

 

匹配以字符串开头

 

匹配以字符串结尾

 

逻辑，分组

|代表左右表达式任意匹配一个，先尝试匹配左边的表达式，一旦成功则跳过匹配右边的表达式。如abc|xyz

在使用|时最好用括号包裹匹配条件(abc|xyz)，如果 没有包裹它的匹配范围是整个正则表达式。

小场景：匹配出邮箱的公司名在qq，163和gmail三者之中。 
邮箱的公司名都要跟在@符号后面

 

import re
pattern = re.compile('@(163|qq|gmail)')
sting1 = '123456@qq.com'
sting2 = 'youdao@163.com'
sting3 = 'huawei@gmail.com'
one = pattern.search(sting1)
>>> one.group()
'@qq'
>>> two = pattern.search(sting2)
>>> two.group()
'@163'
>>> three = pattern.search(sting3)
>>> three.group()
'@gmail'

匹配文件的格式，是否属于docx，pdf，doc中的某一种。

import re

pattern = re.compile('.(pdf|docx|doc)')

string1 = 'aaaa.pdf'
string2 = 'bbbb.doc'
string3 = 'cccc.docx'

one = pattern.search(string1)
>>> one.group()
'.pdf

two = pattern.search(string2)
>>> two.group()
'.doc'

three = pattern.search(string3)
>>> three.group()
'.docx'

匹配范围规则

re模块的一般使用步骤如下： 
1.使用compile()函数将正则表达式的字符串形式编译为一个Pattern对象

2.通过Pattern对象提供的一系列方法对文本进行匹配查找，获得匹配结果，一个Match对象。

3.最后使用Match 对象提供的属性和方法获得信息，根据需要进行其他的操作

 

compile 函数

compile 函数用于编译正则表达式，生成一个 Pattern 对象，它的一般使用形式如下：

import re
# 将正则表达式编译成 Pattern 对象
pattern = re.compile(r'd+')

在上面，我们已将一个正则表达式编译成Pattern对象，接下来，我们就可以利用pattern的一系列方法对文本进行匹配查找了。 
Pattern 对象的一些常用方法主要有：

• match 方法：从起始位置开始查找，一次匹配
• search 方法：从任何位置开始查找，一次匹配
• findall 方法：全部匹配，返回列表
• finditer 方法：全部匹配，返回迭代器
• split 方法：分割字符串，返回列表
• sub 方法：替换

 

match方法

match 方法用于查找字符串的头部（也可以指定起始位置），它是一次匹配，只要找到了一个匹配的结果就返回，而不是查找所有匹配的结果。

 

import re
pattern = re.compile(r'd+')  # 用于匹配至少一个数字
match = pattern.match('12twothree34four')  # 查找头部，匹配

  

在上面，当匹配成功时返回一个Match对象，其中：

• group() 方法用于获得一个或多个分组匹配的字符串，当要获得整个匹配的子串时，可直接使用 group() 或 group(0)；

• start() 方法用于获取分组匹配的子串在整个字符串中的起始位置（子串第一个字符的索引），参数默认值为 0；

• end() 方法用于获取分组匹配的子串在整个字符串中的结束位置（子串最后一个字符的索引+1），参数默认值为 0；

• span() 方法返回 (start(group), end(group))。

 

search方法

search 方法用于查找字符串的任何位置，它也是一次匹配，只要找到了一个匹配的结果就返回，而不是查找所有匹配的结果。

 

findall 方法

上面的 match 和 search 方法都是一次匹配，只要找到了一个匹配的结果就返回。然而，在大多数时候，我们需要搜索整个字符串，获得所有匹配的结果。

findall 以列表形式返回全部能匹配的子串，如果没有匹配，则返回一个空列表。

 

import re
pattern = re.compile(r'd+')   # 查找数字
result1 = pattern.findall('hello 123456 789')
result2 = pattern.findall('one1two2three3four4', 0, 10)
print (result1)
['123456', '789']
print (result2)
['1', '2']

sub 方法

sub 方法用于替换。它的使用形式如下： 

sub(repl, string[, count])

使用repl替换string中匹配到的字符

小场景：将字符串中所有数字替换成*号

 

import re
pattern = re.compile('d')
string = 'abc123def456hij78xyz'
match = pattern.sub('*',string)
>>> match
'abc***def***hij**xyz'

贪婪模式与非贪婪模式

1. 贪婪模式：在整个表达式匹配成功的前提下，尽可能多的匹配 ( * )；
2. 非贪婪模式：在整个表达式匹配成功的前提下，尽可能少的匹配 ( ? )；
3. Python里数量词默认是贪婪的。

 

示例一 ： 源字符串：abbbc

• 使用贪婪的数量词的正则表达式ab*，匹配结果：abbb。 
  决定了尽可能多匹配 b，所以a后面所有的 b 都出现了。

• 使用非贪婪的数量词的正则表达式ab*?，匹配结果：a。 
  即使前面有 *，但是 ? 决定了尽可能少匹配 b，所以没有 b。

 

示例二 ： 源字符串：aa<div>test1</div>bb<div>test2</div>cc

使用贪婪的数量词的正则表达式：<div>.*</div> 
匹配结果：<div>test1</div>bb<div>test2</div>

这里采用的是贪婪模式。在匹配到第一个""时已经可以使整个表达式匹配成功，但是由于采用的是贪婪模式，所以仍然要向右尝试匹配，查看是否还有更长的可以成功匹配的子串。匹配到第二个""后，向右再没有可以成功匹配的子串，匹配结束，匹配结果为<div>test1</div>bb<div>test2</div>

使用非贪婪的数量词的正则表达式：<div>.*?</div> 
匹配结果：<div>test1</div>

正则表达式二采用的是非贪婪模式，在匹配到第一个""时使整个表达式匹配成功，由于采用的是非贪婪模式，所以结束匹配，不再向右尝试，匹配结果为<div>test1</div>。

非贪婪模式在匹配html结构化数据时非常有效，可以将最小html结构匹配出来 

 

爬取网站，并使用正则匹配完成html解析 

#coding:utf-8
import urllib.request
import os
import re
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'  
headers = { 'User-Agent' : user_agent }  
url = 'https://baijiahao.baidu.com/s?id=1653631010620369314&wfr=spider&for=pc'
req = urllib.request.Request(url,headers=headers)  
response = urllib.request.urlopen(req)  
the_page = response.read().decode()  
pattern = re.compile(r'<p>(.*?)</p>',re.S)
t = pattern.findall(the_page)
# pattern_two = re.compile(r'<span class="bjh-strong">.*</span>')
# t_two = pattern_two.findall()
file = open('baidu.txt','w+')
for x in t[0:7]:
    print('-------------------')
    # print(x)
    pattern_two = re.compile(r'<span class="bjh-p">(.*)</span>')
    t_two = pattern_two.findall(x)
    print(t_two)
    pattern_three = re.compile(r'<span class="bjh-strong">(.*?)</span>',re.S)
    t_three = pattern_three.sub(' ',t_two[0])
    pattern_four = re.compile(r'<span class="bjh-br">(.*?)</span>',re.S)
    t_four = pattern_four.sub(' ',t_three)
    print(t_four)
    file.write(t_four+'
')
# print('-----------------------two')
# print(len(t))
# print(t)

  

最后写入到文本中的内容

老婆躺我怀里问：你要是有100亿，你想做的第一件事是什么？我脱口而出：把你休了。(当时没过脑，说完感觉要坏事)老婆微怒：那第二件事呢？“把你娶回来”“为什么？”“以前娶你时办得太简单，所以要再办一次，让你嫁的风光点。”老婆一脸感动。当时，我对自己说：我真是太机智了！
 今天同学问我：为什么冬天那么冷，女的要上装穿棉袄，下穿丝袜呢？这时旁边那位来了一句：鲜奶要保温，火腿要冷藏…… 
 去超市购物，一位美丽的少妇突然跟我打招呼。我很是吃惊，因为我想不起在哪里见过她了。 
于是我问：“请问我认识你吗？”少妇回答：“我觉得我有个孩子的父亲是你。”
我顿时五雷轰顶，想起了自己一生中唯一一次对妻子不忠的那一刻，连忙否认道：不可能的，我当时明明采取了安全措施！
少妇疑惑地说：什么意思？我是想跟你谈谈你儿子的作业。原来她是我儿子的班主任老师。
 高中时喜欢一个女孩，却没勇气表白，所以我决定每天写一篇日记，笔记本写完之时就是我表白之日！有一天，我正写着日记，她却突然向我走来，拿起我的日记本看了一眼，然后把后面空白的纸全都撕了！那一刻，我就静静地看着她，仿佛做梦一般，就在我站起来准备大声表白时她却捂着肚子跑去了厕所！