python爬虫之正则表达式（用在其他地方也可）

1. 常用的匹配规则

### 常用的匹配规则
# w        匹配字母、数字及下划线
# W        匹配不是字母、数字及下划线的字符
# s        匹配任意空白字符，等价于[	
	f]
# S        匹配任意非空字符
# d        匹配数字，等价于[0-9]
# D        匹配任意非数字的字符
# A        匹配字符串开头
#         匹配字符串结尾，如果存在换行，只匹配到换行前的结束字符串
# z        匹配字符串结尾，如果存在换行，同时还会匹配换行符
# G        匹配最后匹配完成的位置
# 
        匹配一个换行符
# 	        匹配一个制表符
# ^         匹配一行字符串的开头
# $         匹配一行字符串的结尾
# .         匹配任意字符，除了换行符，当re.DOTALL标记被指定时，则可以匹配包括换行符的任意字符
# [...]     用来匹配一组字符的任意一个字符
# [^...]    用来匹配不在[]中的字符
# *         匹配0个或多个表达式
# +         匹配1个或多个表达式
# ?         匹配0个或1个前面的正则表达式定义的片段，非贪婪方式
# {n}       精确匹配n个前面的表达式
# {n,m}     匹配n到m次由前面正则表达式定义的片段，贪婪方式
# a|b       匹配a或b
# ()        匹配括号内的表达式，也表示一个组

2. match方法，传入表达式和字符串进行匹配

## match方法，传入表达式和字符串进行匹配
import re

content = 'I am shaobo, my number is 1383838438. regex Demo'
result = re.match('^IsDDs[a-zA-Z]+.*d', content)
print(result)
# 正则匹配到的内容
print(result.group())
# 匹配到的内容所在的位置
print(result.span())

3. 贪婪匹配和非贪婪匹配

# 贪婪匹配和非贪婪匹配
import re

content = 'I am shaobo, my number is 13838
38438. regex Demo'
# 贪婪匹配，一直匹配到最后一个'd'，即数字字符才结束（如果遇到换行符，则结束）
result = re.match('^I.*ds(.*).', content)
# 非贪婪匹配，匹配到第一个'd'，即数字字符就结束
result2 = re.match('^I.*?d', content)
print(content)
print(result.group(1))
print(result2.group())

4. 修饰符

## 修饰符，上个例子我们用s匹配到了换行符，才使正则表达式可以匹配换行符后的内容，通过修饰符re.S使.包含匹配换行符
# re.I      使匹配对大小写不敏感
# re.L      做本地化识别（locale-aware）匹配
# re.M      多行匹配，影响^和$
# re.S      使.匹配包括换行在内的所有字符
# re.U      根据Unicode字符集解析字符，这个标志影响w、W、和B
# re.X      该标志通过给予你更灵活的格式以便你将正则表达式写得更易于理解
import re

content = 'I am shaobo, my number is 13838
38438. regex Demo'
result = re.match('^I.*?d(.*)re', content, re.S)
print(result.group(1))

5. 转义匹配

## 转义匹配，当内容包括'()'、'.'等字符时，可通过转义字符匹配到所看到的内容
import re

content = '(dmr哇)www.baidu.com'
result = re.match('(.*?)www.baidu.', content)
print(result.group())


# 输出内容
'''
(dmr哇)www.baidu.
'''

6. search方法

## search方法，match从开头开始匹配，如表达式匹配不到字符串的开头内容，则匹配失败，返回None
## search方法通过扫描字符串来进行匹配，返回第一个匹配到的结果
import re

content = 'I am shaobo, my number is 13838
38438. regex Demo'
result = re.match('my.*?.', content, re.S)
result2 = re.search('my.*?.', content, re.S)

print(result + '
' + result2)


# 输出内容
'''
None 
<re.Match object; span=(13, 38), match='my number is 13838
38438.'>
'''

7. findall方法

## findall方法，前面的match和search方法都是匹配到第一个符合表达式的内容，findall方法可以把所有符合表达式的内容都提取出来
import re

html = '''
<h2 clall="title">经典老歌</h2>
<ul>
    <li data="1">沧海一声笑</li>
    <li data="2">光辉岁月</li>
    <li data="3">但愿人长久</li>
    <li data="4">丁香花</li>
</u>
'''
result = re.findall('<li.*?=(.*?)>(.*?)</li>', html, re.S)
print(result)
for item in result:
    print(item[0], item[1])


# 输出内容
'''
[('"1"', '沧海一声笑'), ('"2"', '光辉岁月'), ('"3"', '但愿人长久'), ('"4"', '丁香花')]
"1" 沧海一声笑
"2" 光辉岁月
"3" 但愿人长久
"4" 丁香花
'''

8. sub方法

## sub方法，匹配内容进行修改
import re

content = '2dlfiwe3lk59lk388ji'
result = re.sub('d+', '', content)
print(result)


# 输出内容
 '''
dlfiwelklkji
'''

9. compile方法

## compile方法，将正则表达式编译成对象，从而进行复用
import re

time1 = '2020-3-12 12:23'
time2 = '2020-2-12 19:53'
time3 = '2020-9-12 11:03'
c = re.compile('d{2}:d{2}')
result1 = re.sub(c, '', time1)
result2 = re.sub(c, '', time2)
result3 = re.search(c, time2)
print(result1, result2, result3.group())


# 输出内容
'''
2020-3-12  2020-2-12  19:53
'''

10. 用正则表达式提取豆瓣电影top250

## 用正则表达式提取豆瓣电影top250
import requests, re, json, time


def get_page(url):

    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36'
    }
    response = requests.get(url=url, headers=headers)
    if response.status_code == 200:
        return response.text
    else:
        exit("访问页面失败")


def parser_page(html):
    pattern = re.compile(
        '<div class="item.*?<img.*?src="(.*?)".*?<a href="(.*?)".*?title">(.*?)</span>.*?<p class.*?:(.*?)&nbsp.*?:(.*?)<.*?(d.*?)&.*?/.*?;(.*?)&.*?/.*?;(.*?)
.*?pro.*?>(.*?)<.*?in.*?>(.*?)<', re.S)
    items = re.findall(pattern, html)

    for item in items:
        yield {
            'img': item[0],
            'details': item[1],
            'name':item[2],
            'director':item[3],
            'actor':item[4],
            'time':item[5],
            'nation':item[6],
            'type':item[7],
            'score':item[8],
            'introduction':item[9],
        }
    return items

def save_file(data):
    with open('doubanTOP250.txt', 'a', encoding='utf-8') as f:
        f.write(json.dumps(data, ensure_ascii=False) + '
')

def main(start):
    url = 'https://movie.douban.com/top250?start=' + str(start)
    html = get_page(url)
    data = parser_page(html)
    for item in data:
        print(item)
        save_file(item)


if __name__ == '__main__':
    for i in range(10):
        start = i * 25
        main(start)