zoukankan      html  css  js  c++  java
  • python 的日志logging模块学习

    最近修改了项目里的logging相关功能,用到了python标准库里的logging模块,在此做一些记录。主要是从官方文档和stackoverflow上查询到的一些内容。

    基本用法

    下面的代码展示了logging最基本的用法。

    除了这些基本用法,还有一些常见的小技巧可以分享一下。

    格式化输出日志

    记录异常信息

    当你使用logging模块记录异常信息时,不需要传入该异常对象,只要你直接调用logger.error() 或者 logger.exception()就可以将当前异常记录下来。

    logging配置要点

    GetLogger()方法

    这是最基本的入口,该方法参数可以为空,默认的logger名称是root,如果在同一个程序中一直都使用同名的logger,其实会拿到同一个实例,使用这个技巧就可以跨模块调用同样的logger来记录日志。

    另外你也可以通过日志名称来区分同一程序的不同模块,比如这个例子。

    Formatter日志格式

    Formatter对象定义了log信息的结构和内容,构造时需要带两个参数:

    • 一个是格式化的模板fmt,默认会包含最基本的level和 message信息
    • 一个是格式化的时间样式datefmt,默认为 2003-07-08 16:49:45,896 (%Y-%m-%d %H:%M:%S)

    fmt中允许使用的变量可以参考下表。

    • %(name)s Logger的名字
    • %(levelno)s 数字形式的日志级别
    • %(levelname)s 文本形式的日志级别
    • %(pathname)s 调用日志输出函数的模块的完整路径名,可能没有
    • %(filename)s 调用日志输出函数的模块的文件名
    • %(module)s 调用日志输出函数的模块名|
    • %(funcName)s 调用日志输出函数的函数名|
    • %(lineno)d 调用日志输出函数的语句所在的代码行
    • %(created)f 当前时间,用UNIX标准的表示时间的浮点数表示|
    • %(relativeCreated)d 输出日志信息时的,自Logger创建以来的毫秒数|
    • %(asctime)s 字符串形式的当前时间。默认格式是“2003-07-08 16:49:45,896”。逗号后面的是毫秒
    • %(thread)d 线程ID。可能没有
    • %(threadName)s 线程名。可能没有
    • %(process)d 进程ID。可能没有
    • %(message)s 用户输出的消息

    SetLevel 日志级别

    Logging有如下级别: DEBUG,INFO,WARNING,ERROR,CRITICAL
    默认级别是WARNING,logging模块只会输出指定level以上的log。这样的好处, 就是在项目开发时debug用的log,在产品release阶段不用一一注释,只需要调整logger的级别就可以了,很方便。

    Handler 日志处理器

    最常用的是StreamHandler和FileHandler, Handler用于向不同的输出端打log。
    Logging包含很多handler, 可能用到的有下面几种

    • StreamHandler instances send error messages to streams (file-like objects).
    • FileHandler instances send error messages to disk files.
    • RotatingFileHandler instances send error messages to disk files, with support for maximum log file sizes and log file rotation.
    • TimedRotatingFileHandler instances send error messages to disk files, rotating the log file at certain timed intervals.
    • SocketHandler instances send error messages to TCP/IP sockets.
    • DatagramHandler instances send error messages to UDP sockets.
    • SMTPHandler instances send error messages to a designated email address.

    Configuration 配置方法

    logging的配置大致有下面几种方式。

    1. 通过代码进行完整配置,参考开头的例子,主要是通过getLogger方法实现。
    2. 通过代码进行简单配置,下面有例子,主要是通过basicConfig方法实现。
    3. 通过配置文件,下面有例子,主要是通过 logging.config.fileConfig(filepath)
    logging.basicConfig

    basicConfig()提供了非常便捷的方式让你配置logging模块并马上开始使用,可以参考下面的例子。具体可以配置的项目请查阅官方文档

    备注: 其实你甚至可以什么都不配置直接使用默认值在控制台中打log,用这样的方式替换print语句对日后项目维护会有很大帮助。

    通过文件配置logging

    如果你希望通过配置文件来管理logging,可以参考这个官方文档。在log4net或者log4j中这是很常见的方式。

    假设以上的配置文件放在和模块相同的目录,代码中的调用如下。

    日志重复输出的坑

    你有可能会看到你打的日志会重复显示多次,可能的原因有很多,但总结下来无非就一个,日志中使用了重复的handler。

    第一坑

    上面这个例子出现了重复日志,因为在第3行调用basicConfig()方法时系统会默认创建一个handler,如果你再添加一个控制台handler时就会出现重复日志。

    第二坑

    在这个例子里hi居然打印了三次,如果再调用一次call_me()呢?我告诉你会打印6次。why? 因为你每次调用get_logger()方法时都会给它加一个新的handler,你是自作自受。正常的做法应该是全局只配置logger一次。

    第三坑

    为嘛最后的App shutdown打印了两次?所以在Stackoverflow上很多人都问,我应该怎么样把root logger关掉,root logger太坑爹坑妈了。只要你在程序中使用过root logger,那么默认你打印的所有日志都算它一份。上面的例子没有什么很好的办法,我建议你招到那个没有经过大脑就使用root logger的人,乱棍打死他或者开除他。

    如果你真的想禁用root logger,有两个不是办法的办法:

    小结

    Python中的日志模块作为标准库的一部分,功能还是比较完善的。个人觉得上手简单,另外也支持比如过滤,文件锁等高级功能,能满足大多数项目需求。

    不过切记,小心坑。

  • 相关阅读:
    02 日志系统: 一条SQL 更新语句是如何执行的
    MySql 实战45讲笔记 : 01
    爬取boss直聘全国招聘数据并做可视化
    爬取豆瓣电影-长津湖短评
    尝试破解压缩文件
    将webp格式的图像批量转化成jpg
    将JPG格式图片转换成PNG格式
    几个学习编程的游戏网站
    检测网址连接有效性
    监控设备电池电量并发送通知
  • 原文地址:https://www.cnblogs.com/sunshineyang/p/6819006.html
Copyright © 2011-2022 走看看