re模块

一 . 基础方法

　　import re 永远不要起一个py文件的名字和你已知的模块同名

　　1. findall 的优先级查询

　　　　匹配所有每一项都是列表中的一个元素

import re

ret = re.findall("www.(baidu|360).com" , "www.baidu.com")
print(ret)

结果:    ["baidu"]


ret = re.findall("www.(?:baidu|360).com" , "www.baidu.com")
print(ret)

结果:    ["www.baidu.com"]

　　2. spilt 的优先级查询

　　　　根据正则规则切割

ret=re.split("d+","eva3egon4yuan")
print(ret) #结果 ： ['eva', 'egon', 'yuan']

ret=re.split("(d+)","eva3egon4yuan")
print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan']

#在匹配部分加上（）之后所切出的结果是不同的，
#没有（）的没有保留所匹配的项，但是有（）的却能够保留了匹配的项，
#这个在某些需要保留匹配部分的使用过程是非常重要的。

　　3. search 的优先级

　　　　只匹配从左到右的第一个,得到的不是直接的结果,而是一个变量,通过这个变量的group方法来获取结果

　　　　如果没有匹配到,会返回None , 使用group 会报错

ret = re.search("d",字符串)

ret.group()     获取结果    内存地址,这是一个正则匹配的结果

　　　　常规样式:

if ret:
    print(ret.group() )

　　4. match

　　　　从开头匹配,相当于search中的正则表达式加上一个^
　　　　ret = re.match("d+",字符串) = re.search("^d+",字符串)

　　5. sub / subn 的替换

　　　　sub:re.sub("d","要替换的",字符串,替换数量)

　　　　subn ：返回元组,第二个元素是替换的次数

　　6.分组命名

　　　　ret = re.search(">(?P<名字>w+)<",字符串)
　　　　　　print(ret.group(名字)) 按名字取值

import re


ret = re.search("<(?P<tag_name>w+)>w+</(?P=tag_name)>","<h1>hello</h1>")
#还可以在分组中利用?<name>的形式给分组起名字
#获取的匹配结果可以直接用group('名字')拿到对应的值
print(ret.group('tag_name'))  #结果 ：h1
print(ret.group())  #结果 ：<h1>hello</h1>

ret = re.search(r"<(w+)>w+</1>","<h1>hello</h1>")
#如果不给组起名字，也可以用序号来找到对应的组，表示要找的内容和前面的组内容一致
#获取的匹配结果可以直接用group(序号)拿到对应的值
print(ret.group(1))
print(ret.group())  #结果 ：<h1>hello</h1>

　　7. re 模块的进阶

　　　　1. compile

　　　　　　节省你使用正则表达式解决问题的时间
　　　　　　编译 把正则表达式编译成字节码
　　　　　　在多次使用的过程中 不会多次编译

ret = re.compile("d+")   已经完成编译

　　　　2. finditer

　　　　　　节省你使用正则表达式解决问题的空间/内存。
　　　　　　返回一个迭代器,所有的结果都在这个迭代器中,需要通过循环+group的形式取值。

ret = re.finditer("d+",字符串)
print(ret) 内存地址 
for i in ret:
print(i) 返回的是变量
print(i.group())

　　8. 取消分组优先

　　　　取消分组优先 : (? : 正则表达式)
　　　　对于正则表达式来说,有些时候我们需要进行分组,来整体约束某一组字符出现的次数。
　　　　对python语言来说 分组可以帮助我们更好更准确的找到我们真正需要的内容。

二 。 分组在re模块中的应用

#使用前面的分组 要求使用这个名字的分组和前面同名分组中的内容匹配的必须一致

pattern = '<(?P<tab>w+)>(w+)</(?P=tab)>'
ret = re.search(pattern,s)

print(ret)

#  split
ret = re.split('d+','alex83taibai40egon25')
print(ret)
ret = re.split('(d+)','alex83taibai40egon25aa')
print(ret)

 正则表达式如果写的足够好的话 能够最大限度的简化我们的操作

# 正则表达式到底重要到什么程度
    # 掌握作业中的所有内容
    # 能够看懂常用的正则表达式
    # 并且能够做出一些公司特异性要求的修改

ret=re.findall(r"d+.d+|d+","1-2*(60+(-40.35/5)-(-4*3))")
print(ret)

ret=re.findall(r"d+.d+|(d+)","1-2*(60+(-40.35/5)-(-4*3))")
ret.remove('')
print(ret)

三 。爬虫的简单实例

import re
from urllib.request import urlopen

def getPage(url):   # 获取网页的字符串
    response = urlopen(url)
    return response.read().decode('utf-8')

def parsePage(s):
    ret = com.finditer(s)  # 从s这个网页源码中 找到所有符合com正则表达式规则的内容 并且以迭代器的形式返回
    for i in ret:
        yield {
            "id": i.group("id"),
            "title": i.group("title"),
            "rating_num": i.group("rating_num"),
            "comment_num": i.group("comment_num"),
        }

def main(num):  # 0  25 50  # 这个函数执行10次,每次爬取一页的内容
    url = 'https://movie.douban.com/top250?start=%s&filter=' % num
    response_html = getPage(url)   # response_html就是这个url对应的html代码 就是 str
    ret = parsePage(response_html) # ret是一个生成器
    print(ret)
    f = open("move_info7", "a", encoding="utf8")
    for obj in ret:
        print(obj)
        data = str(obj)
        f.write(data + "
")
    f.close()

com = re.compile(
        '<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>d+).*?<span class="title">(?P<title>.*?)</span>'
        '.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*?<span>(?P<comment_num>.*?)评价</span>', re.S)

count = 0
for i in range(10):
    main(count)
    count += 25