logging/re

logging 模块

很多程序都有记录日志的需求
logging的日志可以分为 debug(), info(), warning(), error() and critical()5个级别

1.输出到屏幕上

import logging  #输出到屏幕上 只显示 warning error critical  不会显示 debug info 

logging.debug('user wrong 3 times')  
logging.info('user wrong 3 times')
logging.warning('user wrong 3 times')
logging.error('user wrong 3 times')
logging.critical('user wrong 3 times')

2.输出到文件中

import logging  #输出到文件中 显示 >= level(ERROR)  若是不设level  不会显示 debug info  

logging.basicConfig(filename='logmsg.log',level=logging.ERROR)

logging.debug('user wrong 3 times')
logging.info('user wrong 3 times')
logging.warning('user wrong 3 times')
logging.error('user wrong 3 times')
logging.critical('user wrong 3 times')

3.输出日期格式

import logging   

logging.basicConfig(filename='logmsg.log', format='%(asctime)s - %(levelno)s - %(levelname)s - %(filename)s - %(message)s', datefmt='%m/%d/%Y %I:%M:%S %p', level=logging.DEBUG)
# logging.basicConfig(format='%(asctime)s %(message)s',datefmt='%Y-%m-%d %I:%M:%S %p',level=logging.DEBUG)

logging.debug('user wrong 3 times')
logging.info('user wrong 3 times')
logging.warning('user wrong 3 times')
logging.error('user wrong 3 times')
logging.critical('user wrong 3 times')

除了加时间，还可以自定义一大堆格式，下表就是所有支持的格式
%(name)s        Logger的名字
%(levelno)s     数字形式的日志级别
%(levelname)s   文本形式的日志级别
%(pathname)s    调用日志输出函数的模块的完整路径名，可能没有   会乱码 
%(filename)s    调用日志输出函数的模块的文件名
%(module)s      调用日志输出函数的模块名
%(funcName)s    调用日志输出函数的函数名
%(lineno)d      调用日志输出函数的语句所在的代码行
%(created)f     当前时间，用UNIX标准的表示时间的浮点数表示
%(relativeCreated)d   输出日志信息时的，自Logger创建以 来的毫秒数
%(asctime)s     字符串形式的当前时间。默认格式是 “2003-07-08 16:49:45,896”。逗号后面的是毫秒
%(thread)d      线程ID。可能没有
%(threadName)s  线程名。可能没有
%(process)d     进程ID。可能没有
%(message)s     用户输出的消息

4.同时输出到屏幕和文件中：四个组件，类：logger handler filter formatter 

import logging
from logging import handlers

class IgnoreBackupLogFilter(logging.Filter):
    """忽略带db backup 的日志"""
    def filter(self, record): #固定写法
        return  "db backup" not in record.getMessage() #如果是True就记录

# 1.生成logger对象
logger= logging.getLogger('web')
logger.setLevel(logging.DEBUG)

#1.1 把filter对象添加到logger中
logger.addFilter(IgnoreBackupLogFilter())

#2.生成handler对象
ch = logging.StreamHandler()
# ch.setLevel(logging.INFO)
# fh = logging.FileHandler('lweb.log')
# RotatingFileHandler( filename[, mode[, maxBytes[, backupCount]]])    按文件大小截断
# fh = handlers.RotatingFileHandler('lweb.log',maxBytes=10,backupCount=3)
# TimedRotatingFileHandler( filename [,when [,interval [,backupCount]]])  按时间截断
fh = handlers.TimedRotatingFileHandler('lweb.log',when='S',interval=5,backupCount=3)
# fh.setLevel(logging.WARNING)

#2.1把handler对象绑定到logger
logger.addHandler(ch)
logger.addHandler(fh)

#3.生成formatter对象
#3.1把formatter对象绑定到handler对象
file_formatter = logging.Formatter('%(asctime)s - %(name)s - %(levelname)s - %(message)s', datefmt='%m/%d/%Y %I:%M:%S %p')
console_formatter = logging.Formatter('%(asctime)s - %(name)s - %(lineno)s - %(message)s', datefmt='%Y-%m-%d %H:%M:%S %p')
ch.setFormatter(console_formatter)
fh.setFormatter(file_formatter)

logger.debug('user db backup wrong 3 times')
logger.info('user wrong 3 times')
logger.warning('user wrong 3 times')
logger.error('user db backup wrong 3 times')
logger.critical('user db backup wrong 3 times')

# 没有给级别 之前 默认是 warning
#handler的级别不能比全局低
#像是一个漏斗 全局过滤之后 才到handler
#全局设置为DEBUG后 console handler 设置为 INFO ,如果输出的日志级别为debug,那就不会在屏幕上打印

#注意：
maxBytes用于指定日志文件的最大文件大小
backupCount用于指定保留的备份文件的个数
when参数是一个字符串 S秒 M分 H小时 D天 W每星期（interval==0时 代表星期一） midnight 每天凌晨
interval是时间间隔 

 -------------------------------------------------------------------------------

re 模块
正则表达式：字符串的匹配规则

1.re常见的匹配语法有以下几种

 re.match     从头开始匹配 只匹配一个就返回 场景：手机号 
 re.search    全局匹配 只匹配一个就返回 
 re.findall   把所有匹配到的字符放到以列表中的元素返回 phones = re.findall('1[0-9]{10}', data)
 re.split     以匹配到的字符当做列表分隔符 
 re.sub       匹配字符并替换  
 re.fullmatch 全部匹配  

 re.match('[0-9]','123dasd') = <_sre.SRE_Match object; span=(0, 1), match='1'>    
 re.search('[0-9]','abc1d3e') =  <_sre.SRE_Match object; span=(3, 4), match='1'> #
 re.findall('[0-9]','abc1d3e') = ['1', '3']

注：
match 和 search 返回是一个对象 是这样拿值的：需要先判断 否则会报错
res = re.search('[0-9]','abs1d2')
if res:
    print(res.group())

re.match('sd','sd*sda') == re.search('^sd','sd*sda') == re.search('Asd','sd*sda') == sd  
re.search('sd$','adssasd') == re.search('sd','adssasd') == sd 
re.search('[0-9]','alex23') == re.search('d','alex23') == 2 

2.示例：

re.search('.','*a2a3sdas') == *       #任意一个字符
re.search('^sd','sd*sda') == sd       #以什么开头
re.search('sd$','sdasd')  == sd       #以什么结尾
re.match('b$','b')  == b              #只匹配一个
re.search('ab*','abblex') == abb      #*前一个字符0次或多次 
re.search('ab*','sdad') == a
re.search('ab+','sdad') == None   
re.search('ab+','sdabbbd') == abbb   
re.search('a+','sdaa') == aa          #+前一个字符1次或多次
re.search('.+','abcd') == abcd        #匹配到所有
re.search('a?','aasad') == a          #?前一个字符0次或1次
re.search('a{2}','dddaa') == aa       #{m}前一个字符m次
re.search('[0-9]','asd232') == 2      #[] 匹配0-9一次 [a-z]
re.search('[a-z]{1,5}','2lex') == lex #{n,m}匹配前一个字符n到m次 
re.search('[a|A]lex','alex') == alex  #|或 匹配左或右的字符
re.search('([a-z]+)([0-9]+)','alex123').groups() == ('alex', '123') #()()分组匹配

re.search('Aalex','alex') == alex    #A以什么开头
re.search('sd','adssasd') == sd     #以什么结尾
re.search('d','alex23') == 2         #d匹配数字0-9 
re.search('d+','alex23') == 23
re.search('D','alex23') == a         #匹配非数字
re.search('D+','@*&234alex23') == @*&  
re.search('w+','!@#23saAS') == 23saAS  #匹配[A-Z a-z 0-9]
re.search('W+','!$@23saAS') == !$@     #匹配非[A-Z a-z 0-9] 即：特殊字符 
re.findall('s','alex
jack
ma ck	jack') == ['
', '
', ' ', '	']  #匹配空白字符 
 
 	 

s='61062019991011053'  #分组，可定义成字典 
re.search('(?P<province>d{3})(?P<city>d{3})(?P<born_year>d{4})',s).groups() == ('610', '620', '1999')
re.search('(?P<province>d{3})(?P<city>d{3})(?P<born_year>d{4})',s).groupdict() == {'province': '610', 'city': '620', 'born_year': '1999'} 

3.常用的表达式规则

'.'     默认匹配除
之外的任意一个字符，若指定flag DOTALL,(re.S)则匹配任意字符，包括换行
'^'     匹配字符开头，若指定flags MULTILINE,(re.M)这种也可以匹配上(r"^a","
abc
eee",flags=re.MULTILINE)
'$'     匹配字符结尾， 若指定flags MULTILINE(re.M) ,re.search('foo.$','foo1
foo2
',re.MULTILINE).group() 会匹配到foo1
'*'     匹配*号前的字符0次或多次， re.search('a*','aaaabac')  结果'aaaa'
'+'     匹配前一个字符1次或多次，re.findall("ab+","ab+cd+abb+bba") 结果['ab', 'abb']
'?'     匹配前一个字符1次或0次 ,re.search('b?','alex').group() 匹配b 0次
'{m}'   匹配前一个字符m次 ,re.search('b{3}','alexbbbs').group()  匹配到'bbb'
'{n,m}' 匹配前一个字符n到m次，re.findall("ab{1,3}","abb abc abbcbbb") 结果'abb', 'ab', 'abb']
'|'     匹配|左或|右的字符，re.search("abc|ABC","ABCBabcCD").group() 结果'ABC'
'(...)' 分组匹配， re.search("(abc){2}a(123|45)", "abcabca456c").group() 结果为'abcabca45'


'A'    只从字符开头匹配，re.search("Aabc","alexabc") 是匹配不到的，相当于re.match('abc',"alexabc") 或^
''    匹配字符结尾，同$ 
'd'    匹配数字0-9
'D'    匹配非数字
'w'    匹配[A-Za-z0-9]
'W'    匹配非[A-Za-z0-9]
's'    匹配空白字符、	、
、
 , re.search("s+","ab	c1
3").group() 结果 '	'

'(?P<name>...)' 分组匹配 re.search("(?P<province>[0-9]{4})(?P<city>[0-9]{2})(?P<birthday>[0-9]{4})","371481199306143242").groupdict("city") 结果{'province': '3714', 'city': '81', 'birthday': '1993'}

4.分割：re.split() 替换：re.sub() 全部匹配：re.fullmatch()  全部匹配：pattern = re.compile() pattern.fullmatch() 效率高

s='alex22jack23jinxin50|mack-oldboy'
re.split('d+|||-',s) == ['alex', 'jack', 'jinxin', '', 'mack', 'oldboy']
re.findall('d+|||-',s) = ['22', '23', '50', '|', '-'] 
s='alex22jack23jinxin50mack-oldboy'
re.split('\\',s) == ['alex22jack23jinxin50', 'mack-oldboy'] 
s='9-2*5/3+7/3*99/4*2998+10*568/14'
re.split('W+',s) == ['9', '2', '5', '3', '7', '3', '99', '4', '2998', '10', '568', '14']
re.split('W+',s,maxsplit=3) == ['9', '2', '5', '3+7/3*99/4*2998+10*568/14'] 
re.split('[-*/+]',s) == ['9', '2', '5', '3', '7', '3', '99', '4', '2998', '10', '568', '14']

s = 'alex22jack23jinxin50\mack-oldboy'
re.sub('d+','_',s) == 'alex_jack_jinxin_\mack-oldboy'
re.sub('d+','_',s,count=2) == 'alex_jack_jinxin50\mack-oldboy' 

re.fullmatch('w+@w+.(com|cn|edu)','alex@oldboyedu.com') # 慢 规则需要转换成bytes需时间

pattern = re.compile('w+@w+.(com|cn|edu)') #快 规则转换bytes1次就可以了
pattern.fullmatch('alex@oldboyedu.com') == <_sre.SRE_Match object; span=(0, 18), match='alex@oldboyedu.com'>

5.标识符 Flags 

re.I   #忽略大小写  re.IGNORECASE
re.M   #多行模式  re.MULTILINE
re.S   #改变.的行为，.是任意字符，除了换行符
  re.DOTALL
re.X   #可对正则 规则 注释  re.VERBOSE 

re.search('a','Alex',re.I) == A 
re.search('foo.$','foo1
foo2
') == foo2  
re.search('foo.$','foo1
foo2
',re.M) == foo1  
re.search('^s','
sds',re.M) == s  
re.search('.','
') == None 
re.search('.','
',re.S) == 
  
re.search('.','alex') == a 
re.search('. #test','alex') == None
re.search('. #test','alex',re.X) = a

 注：

    [^"] 表示不包含“这个字符

    [^()] 表示不包含()这个括号

re.search(r'\','asd2sad') == <_sre.SRE_Match object; span=(4, 5), match='\'>
re.search('\\','asd2sad') == <_sre.SRE_Match object; span=(4, 5), match='\'>
r:表示原生字符串