Python2/Python3自定义日志类教程

一、说明

1.1 背景说明

Python的logging功能是比较丰富的支持不同层次的日志输出，但或是我们想在日志前输出时间、或是我们想要将日志输入到文件，我们还是想要自定义日志类。

之前自己也尝试写过但感觉文档太乱看不懂怎么写，今天有人拿个半成品来问为什么代码报错，在其基础上改造了一下。

1.2 logging级别说明

logging日志级别及对应值如下，默认情况下直接运行只有INFO及以上级别才会输出（本质上是大于等于20才会输出），调试模式运行DEBUG日志才会输出。

可以通过自定义输出日志级别，指定直接运行输出什么级别的日志；不过调试模式打印的日志应该是不可以修改的。

Level	Numeric value
CRITICAL	50
ERROR	40
WARNING	30
INFO	20
DEBUG	10
NOTSET	0

二、实现代码

2.1 Python2实现代码

# -*- coding: utf-8 -*-
import os
import datetime
import logging

class LogConfig:
    def __init__(self,log_type="console"):
        # 指定日志输出到控制台时的初始化
        if log_type == "console":
            logging.basicConfig(level=logging.INFO,
                                format='%(asctime)s %(levelname)s %(message)s',
                                datefmt='%Y-%m-%d %H:%M:%S',
                                )
        # 指定日志输出到文件的初始化
        elif log_type == "file":
            # 创建存放日志的目录
            if not os.path.exists('./log'):
                os.mkdir('./log')

            # 操作系统本身不允许文件名包含:等特殊字符，所以这里也不要用，不然赋给filename时会报错
            nowTime = datetime.datetime.now().strftime('%Y-%m-%d')
            file_name = './log/%s.log' % nowTime

            # python2.7也有logging.basicConfig()，但只直接用logging.basicConfig()，写中文时会报错
            # 所以为风格统一，我们这里不使用logging.basicConfig()，全通过set设置
            root_logger = logging.getLogger()
            root_logger.setLevel(logging.INFO)
            handler = logging.FileHandler(filename=file_name, encoding='utf-8', mode='a')
            formatter = logging.Formatter('%(asctime)s %(levelname)s %(message)s')
            handler.setFormatter(formatter)
            root_logger.addHandler(handler)

    def getLogger(self):
        logger = logging.getLogger()
        return logger

if __name__ == "__main__":
    # log_type = "console"
    log_type = "file"
    logger = LogConfig(log_type).getLogger()
    logger.debug('print by debug')
    logger.info('print by info')
    logger.warning('print by warning')

2.2 Python3实现代码

python3.3 之后logging.basicConfig()中提供了handlers参数，我们可借助handlers参数来指定编码。

python3.3之前的python3版本写法得和python2一样。另外python3.9之后logging.basicConfig()会直接提供encoding参数，到时可以更方便。

import os
import datetime
import logging

class LogConfig:
    def __init__(self,log_type="console"):
        # 指定日志输出到控制台时的初始化
        if log_type == "console":
            logging.basicConfig(level=logging.INFO,
                                format='%(asctime)s %(levelname)s %(message)s',
                                datefmt='%Y-%m-%d %H:%M:%S',
                                )
        # 指定日志输出到文件的初始化
        elif log_type == "file":
            # 创建存放日志的目录
            if not os.path.exists('./log'):
                os.mkdir('./log')

            # 操作系统本身不允许文件名包含:等特殊字符，所以这里也不要用，不然赋给filename时会报错
            nowTime = datetime.datetime.now().strftime('%Y-%m-%d')

            file_name = './log/%s.log' % nowTime
            file_handler = logging.FileHandler(filename=file_name,encoding='utf-8', mode='a')
            # level----指定打印的日志等级；默认为WARNING；可为NOTSET、DEBUG、INFO、WARNING、ERROR、CRITICAL
            # format----指定整条日志的格式；这里设置为“时间-等级-日志内容”
            # datefmt----format中时间的格式；
            # filename----日志输出到的文件；默认打印到控制台
            # filemode----日志文件读写形式；默认为“a”；配合filename使用，如果不用filename该参数也可不用
            # 本来输出到文件使用filename和filemode两个参数就可以了，不需要handlers
            # 但是logging将日志输出到文件时中文会乱码，而logging.basicConfig又没有提供指定编码的参数（python3.9之后才提供有直接的encoding参数）
            # 要指定编码只能使用handlers。另外handlers还是python3.3 之后才提供的参数，在此之前的版本请参考python2的写法
            logging.basicConfig(level=logging.INFO,
                                format='%(asctime)s %(levelname)s %(message)s',
                                datefmt='%Y-%m-%d %H:%M:%S',
                                # filename=file_name,
                                # filemode='a',
                                handlers=[file_handler],
                                )

    def getLogger(self):
        logger = logging.getLogger()
        return logger

if __name__ == "__main__":
    # log_type = "console"
    log_type = "file"
    logger = LogConfig(log_type).getLogger()
    logger.debug('print by debug')
    logger.info('print by info')
    logger.warning('print by warning')

三、日志截图

四、更科学的日志定义方式（20200310更新）

通过近段时间的使用发现原先的方法就自己用用没问题，但与别人产生调用及上生产时就会存在几个问题：

第一个问题是，直接通过logging.basicConfig()进行配置，会同时影响被调用库的日志设置。

第二个问题是，原现的文件日志形式只能输出到一个给定的文件，不能实现不同的日志类型输出到不同的日志文件。

第三个问题是，原现的文件日志形式使用"w"模式则上次日志会被清除，使用"a"模式则日志又会无限增长需要注意清理。

前两个问题通过getLogger时给定一个名称而不是直接获取根logger进行处理；第三个问题通过使用RotatingFileHandler等替换FileHandler进行处理。更新代码如下：

import inspect
import logging
import logging.handlers
import os


class LogConfig:
    def __init__(self, log_level=logging.INFO):
        if __name__ != "__main__":
            self.logger = self.get_file_logger(log_level=log_level)
        pass

    def get_console_logger(self):
        def _gen_file_logger_handler():
            _handler = logging.StreamHandler()
            formatter = logging.Formatter(
                "[%(asctime)s %(msecs)03d][%(process)d][tid=%(thread)d][%(name)s][%(levelname)s] %(message)s [%(filename)s"
                " %(funcName)s %(lineno)s] ", datefmt="%Y-%m-%d %H:%M:%S")
            _handler.setLevel(logging.INFO)
            _handler.setFormatter(formatter)
            return _handler
        def _gen_console_logger():
            _console_logger = logging.getLogger("console_logger")
            _console_logger.addHandler(handler)
            return _console_logger

        handler = _gen_file_logger_handler()
        console_logger = _gen_console_logger()
        return console_logger

    # 允许同时存在不同的logger，即可以传入不同log_file_name实例化不同logger即可实现不同类型日志写入不同文件
    # logger自带了线程锁，是线程安全的，所以多线程不用自己实现日志文件锁
    def get_file_logger(self, logger_name=None, log_file_name=None, log_level=logging.INFO):
        def _get_log_file_name():
            # 如果已定义有日志文件则直接原样返回
            if log_file_name:
                return log_file_name
            # 如果是直接运行的，那取当前文件名
            if __name__ == "__main__":
                caller_file_name = __file__
            # 如果是被调用的，则取上层调用文件文件名
            else:
                frame = inspect.stack()[3]
                module = inspect.getmodule(frame[0])
                caller_file_name = module.__file__
            inner_log_file_name = f"{os.path.basename(caller_file_name)[:-3]}.log"
            return inner_log_file_name
        def _make_sure_log_dir_exist():
            if not os.path.isdir(log_file_dir):
                os.mkdir(log_file_dir)
        def _gen_file_logger_handler():
            # 操作系统本身不允许文件名包含:等特殊字符，所以这里也不要用，不然赋给filename时会报错
            # nowTime = datetime.datetime.now().strftime('%Y-%m-%d')
            file_path = f'{log_file_dir}/{log_file_name}'
            # formatter = logging.Formatter(
            #     "[%(asctime)s %(msecs)03d][%(process)d][tid=%(thread)d][%(name)s][%(levelname)s] %(message)s [%(filename)s"
            #     " %(funcName)s %(lineno)s] ", datefmt="%Y-%m-%d %H:%M:%S")
            formatter = logging.Formatter(
                "[%(asctime)s %(msecs)03d][%(name)s][%(levelname)s] %(message)s", datefmt="%Y-%m-%d %H:%M:%S")
            # filename----日志文件
            # when----更换日志文件的时间单位
            # interval----更换日志文件的时间单位个数；这里是7天换一个文件
            # backupCount----保存的旧日志文件个数；这里即只保留上一个日志文件
            # encoding----日志文件编码
            # 实际使用感觉，如果程序是crontab这样定时运行而不是一直运行着，那这个按时间滚动并不生效
            # _handler = logging.handlers.TimedRotatingFileHandler(
            #     filename=file_path,
            #     when='D',
            #     interval=7,
            #     backupCount=1,
            #     encoding='utf-8',
            # )
            # filename--日志文件
            # mode--日志文件打开模式
            # maxBytes--日志文件最大大小。每次调用打印日志时logging去检测日志大小是否达到设定的上限，如果达到则更换日志文件
            # backupCount--保存的旧日志文件个数。xxx表示当前日志文件，则xxx.1表示上一份日志文件、xxx.2表示上上份日志文件...
            # encoding----日志文件编码
            _handler = logging.handlers.RotatingFileHandler(
                filename=file_path,
                mode='a',
                maxBytes=1024 * 1024 * 100,
                backupCount=1,
                encoding='utf-8',
            )
            # 实际发现这里setLevel并不起作用
            # _handler.setLevel(logging.DEBUG)
            _handler.setFormatter(formatter)
            return _handler
        def _gen_file_logger():
            # 如果指定了logger_name那直接采用，如果没有使用日志文件名为logger_name
            nonlocal logger_name
            if not logger_name:
                logger_name = log_file_name
            _file_logger = logging.getLogger(logger_name)
            _file_logger.addHandler(handler)
            _file_logger.setLevel(log_level)
            return _file_logger
        log_file_name = _get_log_file_name()
        log_file_dir = "log"
        _make_sure_log_dir_exist()
        handler = _gen_file_logger_handler()
        file_logger = _gen_file_logger()
        return file_logger

if __name__ == "__main__":
    # logger = LogConfig().get_console_logger()
    # log_file_name不同，返回的是不同的logger，这样就可以方便地定义多个logger
    log_file_name = "random_file_name.log"
    logger = LogConfig().get_file_logger(log_file_name=log_file_name)
    logger.debug('print by debug')
    logger.info('print by info')
    logger.warning('print by warning')

参考：

https://docs.python.org/3/library/logging.html#levels

https://www.jianshu.com/p/2ec5187a953e

https://docs.python.org/2/library/logging.html#logging.basicConfig

https://docs.python.org/3/library/logging.html#logging.basicConfig

https://stackoverflow.com/questions/10706547/add-encoding-parameter-to-logging-basicconfig