2018年5月3日笔记

• 常用的正则表达式匹配规则

d　　表示一个数字字符，等价于 [0-9]

D　　表示一个非数字字符，等价于 [^d]

s　　表示一个空白字符，等价于 [<空格> fv]

S　　表示一个非空白字符，等价于 [^s]
w　　表示一个单词字符(数字或字母)，等价于 [A-Za-z0-9_]
W　　表示一个非单词字符，等价于 [^w]
.　　　匹配除换行符 之外的任意一个字符

.*　　在一行内，贪婪(尽可能多)匹配任意个字符

.*?　　在一行内，非贪婪(尽可能少)匹配任意个字符

(?P<name>pattern) 和 (P=name)　　用来多次匹配同一模式的字符串，pattern为匹配该模式的正则表达式

• 习题1：（爬虫）获取网页内容中的skuid字段和对应图片

# 爬虫：获取网页内容中的skuid字段和对应图片
import re
import requests

url = "http://qwd.jd.com/fcgi-bin/qwd_searchitem_ex?skuid=26878432382%7C1658610413%7C26222795271%7C25168000024%7C11731514723%7C26348513019%7C20000220615%7C4813030%7C25965247088%7C5327182%7C19588651151%7C1780924%7C15495544751%7C10114188069%7C27036535156%7C10123099847%7C26016197600%7C10503200866%7C16675691362%7C15904713681"

session = request.session()
r = session.get(url)
html = r.text

reg = re.compile(r""skuid":"(d+)",s+"S+s+"skuurl"S+s+"skuimgurl":"(S+)",")
result = reg.findall(html)
print(result)

• 习题2：将指定文件中的每个Upstream和Location都保存为一个文件

　　　　备注：先在regex101网站上，将相应的正则表达式写正确，然后再写python代码

匹配upstream的正则表达式如下：

匹配location的正则表达式如下：

 python代码如下：

import codecs
import re
import os

regUpstream =re.compile(r"s*(upstreams+(S+)s+{[^}]+})")
with codecs.open("ga10.txt") as fu:
    textUpstream = regUpstream.findall(fu.read())
    if not os.path.exists("upstream"):
        os.mkdir("upstream")
    os.chdir("upstream")
    for item in textUpstream:
        with codecs.open(item[1], "w") as fw:
            fw.write(item[0])
    os.chdir("..")


regLocation = re.compile(r"s*(locations+/(S+)/s+{[^}]+})")
with codecs.open("ga10.txt") as fl:
    textLocation = regLocation.findall(fl.read())
    if not os.path.exists("location"):
        os.mkdir("location")
    os.chdir("location")
    for item in textLocation:
        file = item[1] + ".location.conf"
        with codecs.open(file, "w") as fw2:
            fw2.write(item[0])