Python学习 Day 024

主要内容:

•  1. 正则表达式 
•  2. re模块

1.正则表达式

   正则表达式是对字符串操作的一种逻辑公式. 我们一般使用正则表达式对字符串串进行匹配和过滤,使用正则的优缺点:           

   优点:  灵活, 功能性强, 逻辑性强.           

   缺点:  上手难,旦上手, 会爱上这个东西   

   工具: 各大文本编辑器一般都有正则匹配功能. 我们也可以去 http://tool.chinaz.com/regex/进行在线测试.

   正则表达式由普通字符和元字符组成,普通字符包含大小写字母, 数字,在匹配普通字符的时候我们直接写就可以了

 关于元字符:

(1) 字符组               

    字符组很简单用[]括起来,在[]中出现的内容会被匹配,例如:[abc] 匹配a或b或c                     

    如果字符组中的内容过多还可以使用,例如: [a-z] 匹配a到z之间的所有字母, [0-9]匹配所有阿拉伯数字               

    [a-zA-Z0-9]  : 匹配的是大写字母,小写字母和阿拉伯数字

(2)简单元字符

   常用的基本元字符有:

• .    匹配除换行符以外的任意字符
• w 匹配字母或数字下划线
• s  匹配任意的空白符
• d  匹配数字
•   匹配一个换行符
•    匹配一个制表符
•   匹配一个单词的结尾
• ^   匹配字符串的开始
• $  匹配字符串的结尾
• W 匹配非字母或数字或下划线
• D  匹配非数字
• S  匹配非空白符
• a|b 匹配字符a或字符b
• ()   匹配括号内表达式,也表示一个组
• [......]   匹配字符组中的字符
• [^...]   匹配除了字符组中字符的所有字符

(3) 量词

   当一次性匹配很多个字符时,需要用到量词.

• *     重复零次或更多次
• +    重复一次或更多次
• ?    重复零次或一次
• {n}        重复n次
• {n,}       重复n次或更多次
• {n,m}    重复n到m次

(4) 惰性匹配和贪婪匹配

   在量词中的 *, +,{} 都属于贪婪匹配,就是尽可能多的匹配到结果.

str: 麻花藤昨天让英雄联盟关服了 
reg: 麻花藤.* 
此时匹配的是整句话

在使用 .* 后面如果加了? 则是尽可能的少匹配,表示惰性匹配 

str: 麻花藤昨天让英雄联盟关服了 
reg: 麻花藤.*?

此时匹配的是 麻花藤 

str: <div>胡辣汤</div> 
reg: <.*>
结果: <div>胡辣汤</div>
str: <div>胡辣汤</div> 
reg: <.*?> 
结果: 
    <div>    
　　</div> 

str: <div>胡辣汤</div> 
reg: <(div|/div*)?>
结果:    
　　<div>   
 　 </div>

.*?x 的特殊含义找到下一个x为止

str: abcdefgxhijklmn 
reg: .*?x 
结果: abcdefgx

(5) 分组

  在正则中使用()进行分组.

   比如. 我们要匹配身份证号,身份证号分成两种,老的身份证号有15位,新的身份证号有18位,并且新的身份证号结尾有可能是x

给出以下正则: 
^[1-9]d{13,16}[0-9x]$      错误
^[1-9]d{14}(d{2}[0-9x])?$      正确
^([1-9]d{16}[0-9x]|[1-9]d{14})$      正确

(6)转义:

在正则表达式中, 有很多有特殊意义的是元字符,比如 和s等,如果要在正则中匹 配正常的" "而不是"换行符"就需要对""进行转义, 变成'\'.

在python中, 无论是正则表达式, 还是待匹配的内容, 都是以字符串的形式出现的, 在字符串中也有特殊的含义, 本身还需要转义.

所以如果匹配一次" ", 字符串中要写成'\n', 那么正则里就要写成"\\n",这样就太麻烦了. 这个时候我们就用到了r' '这个概念, 此时的正则是r'\n'就可以了

2. re模块

  re模块是python提供的一套关于处理正则表达式的模块.核心功能有四个: 

(1) findall 查找所有. 返回list

import re
lst = re.findall("a","adsadjafaaowjf")
print(lst)                 #['a', 'a', 'a', 'a', 'a']

lst = re.findall(r"d+","12年了,你只挣了10000")
print(lst)                  #['12', '10000']

(2)search进行匹配,但是如果匹配到了第一个结果,就会返回这个结果,如果匹配不上search返回的则是None

ret = re.search(r"d","20年了,你只挣了20000").group()
print(ret)

(3)match 只能从字符串的开头进行匹配

ret = re.match('a', 'abc').group() 
print(ret)     # a

(4) finditer 和findall差不多,只不过这时返回的是迭代器

it = re.finditer("m","mdhahsfofncamdnmdadod")
for el in it :
    print (el.group())       #依然需要分组

(5)其他操作

ret = re.split("[ab]","qwerafjbcd")  #先按"a"分割得到"qwer"和"fjbcd",再对"qwer"和"fjbcd"按"b"分割
print(ret)     #['qwer', 'fj', 'cd']

ret = re.sub(r"d+","_sb_","alex250taibai250wusir250ritian38")   # 把字符串中的数字换成__sb__ 
print(ret)      #alex_sb_taibai_sb_wusir_sb_ritian_sb_

ret = re.subn(r"d+","_sb_","alex250taibai250wusir250ritian38")     # 把字符串中的数字换成__sb__返回元组(替换的结果,替换了多少次)
print(ret)        #('alex_sb_taibai_sb_wusir_sb_ritian_sb_', 4)

compile()

obj = re.compile(r'd{3}')      # 将正则表达式编译成为一个正则表达式对象,规则要匹配的是3个数字
ret = obj.search("ajdjffafk456")  # 正则表达式对象调⽤用search, 参数为待匹配的字符串串
print(ret.group())                 #456

*爬虫重点:

obj = re.compile(r"(?P<id>d+)(?P<name>e+)")    # 从正则表达式匹配的内容每个组起名字
ret = obj.search("abc123eee")   #搜索

print(ret.group())     #123eee
print(ret.group("id"))     #123  #获取id组的内容
print(ret.group("name"))     #eee   获取name组的内容

(6)两个坑

    注意: 在re模块中和我们在线测试工具中的结果可能是不一样的

ret = re.findall('www.(baidu|oldboy).com', 'www.oldboy.com') 
print(ret)  # ['oldboy']     这是因为findall会优先把匹配结果组里内容返回,如果想要匹配结果,取消权限即可 

ret = re.findall('www.(?:baidu|oldboy).com', 'www.oldboy.com') 
print(ret)  # ['www.oldboy.com']

   split里也有一个坑

ret=re.split("d+","eva3egon4yuan") 
print(ret) #结果 ： ['eva', 'egon', 'yuan'] 
ret=re.split("(d+)","eva3egon4yuan") 
print(ret) #结果 ： ['eva', '3', 'egon', '4', 'yuan'] 
#在匹配部分加上（之后所切出的结果是不不同的) 
#没有（）的没有保留所匹配的项，但是有()的却能够保留了匹配的项， 
#这个在某些需要保留匹配部分的使用过程是非常重要的

Homework

1.手机号的匹配

2.将douban250的电影信息爬下来.并将信息写入文件中

import re
from urllib.request import urlopen
import ssl                                          #有时候需要
ssl._create_default_https_context = ssl._create_unverified_context

def get_page(url):
    response = urlopen(url)
    return response.read().decode("utf-8")


def parse_page(s):
    outcome =re.compile(r'<div class="item">.*?<div class="pic">.*?<em .*?>(?P<id>d+).*? <span class="title">(?P<title>.*?)</span>.*?<span class="rating_num" .*?>(?P<rating_num>.*?)</span>.*? <span>(?P<comment_num>.*?)评价</span>',re.S)
    result = outcome.finditer(s)
    for i in result:
        yield {"id": i.group("id"),
               "title": i.group("title"),
               "rating_num": i.group("rating_num"),
               "comment_num": i.group("comment_num"),
        }

def main(num):
    url ='https://movie.douban.com/top250?start=%s&filter=' % num
    response = get_page(url)
    result = parse_page(response)
    with open("movie_info1", "a", encoding="utf8") as f:
        for el in result:
            print(el)
            data = str(el)
            f.write(data + "
")
count = 0
for i in range(10):
    main(count)
    count += 25

3.将dytt  最新电影下载的一部分爬下来,并写入文件.

import re
from urllib.request import urlopen
# import ssl                                          #有时候需要
# ssl._create_default_https_context = ssl._create_unverified_context

def get_page(url):
    response = urlopen(url)
    return response.read().decode("gbk")

zz1 = re.compile(r"[<a.*?>最新电影下载</a>]<a href='(?P<movie_html>.*?)'>.*?</a>",re.S)

zz2 = re.compile(r'<div id="Zoom">.*?◎译　　名(?P<yiming>.*?)<br />◎片　　名(?P<pianming>.*?)<br />'
                 r'◎年　　代(?P<year>.*?)<br />◎产　　地(?P<place>.*?)<br />'
                 r'◎类　　别(?P<leibie>.*?)<br />◎语　　言(?P<language>.*?)<br />◎'
                 r'字　　幕(?P<zimu>.*?)<br />◎上映日期(?P<data>.*?)<br />.*?'
                 r'◎豆瓣评分(?P<pingfen>.*?)from .*? <br />.*?◎导　　演(?P<daoyan>.*?)<br />'
                 r'◎主　　演(?P<zhuyan>.*?)<br /><br />◎简　　介 <br /><br />(?P<jianjie>.*?)<br /><br /><img .*?>.*?<td .*?><a href="(?P<download>.*?)">', re.S)

url = "http://www.dytt8.net"
content=get_page(url)
ret1 = zz1.finditer(content)
dic = {}
with open("movie_info", "a", encoding="utf8") as f:
    for el in ret1:
        second_url = el.group("movie_html")
        second_content = get_page(url+second_url)
        ret2 = zz2.finditer(second_content)
        # print("******************************************************************************************************")
        for info in ret2:
            # print(re.sub("[u3000]", "",info.group("yiming")))
            # print(re.sub("[u3000]", "", info.group("pianming")))
            # print(re.sub("[u3000]", "", info.group("year")))
            # print(re.sub("[u3000]", "", info.group("place")))
            # print(re.sub("[u3000]", "", info.group("leibie")))
            # print(re.sub("[u3000]", "", info.group("language")))
            # print(re.sub("[u3000]", "", info.group("zimu")))
            # print(re.sub("[u3000]", "", info.group("data")))
            # print(re.sub("[u3000]", "", info.group("pingfen")))
            # print(re.sub("[u3000]", "", info.group("daoyan")))
            # print(re.split("<br />",re.sub("[u3000]", "", info.group("zhuyan"))))
            # print(re.sub("[u3000]", "", info.group("jianjie")))
            # print(re.sub("[u3000]", "", info.group("download")))

            dic = {"译名":re.sub("[u3000]", "",info.group("yiming")),"片名":re.sub("[u3000]", "", info.group("pianming")),
                   "年份":re.sub("[u3000]", "", info.group("year")),"产地":re.sub("[u3000]", "", info.group("place")),
                   "类别":re.sub("[u3000]", "", info.group("leibie")),"语言":re.sub("[u3000]", "", info.group("language")),
                   "字幕":re.sub("[u3000]", "", info.group("zimu")),"日期":re.sub("[u3000]", "", info.group("data")),
                   "评分":re.sub("[u3000]", "", info.group("pingfen")),"导演":re.sub("[u3000]", "", info.group("daoyan")),
                   "主演":re.split("<br />",re.sub("[u3000]", "", info.group("zhuyan"))),"简介":re.sub("[u3000]", "", info.group("download")),
                   "下载链接":re.sub('[u3000]', "", info.group('download'))}
            data = str(dic)
            f.write(data + "
")