导语
日常开发中,定位程序异常,追溯事件发生场景都需要通过日志记录的方式。可以说一个好的开发日志设计可以让开发人员在后续项目维护的过程中节省时间成本,提升解决问题的效率。
目前在网上已经有许多关于Python日志操作的文章,部分文章总结的非常到位,Python官方也有日志常用的手册。自己写这篇文章是主要围绕Python官方的logging模块展开,结合自己学习过程以及项目开发中应用场景,总结归纳下Python日志使用,方便自己梳理相关知识,更好的理解;
关于开发日志
对于开发日志,很多程序员误区可能就是停留在直接print打印到后台日志中,好的地方方便快捷,但是坏的地方就是日志输出的内容十分混乱,不方便排查。面对不同级别的事件,以及需要执行的任务时,采取的日志操作动作是不一样的。
对此结合Python官方文档总结以下执行任务对应的工具:
需要执行的任务任务对应的工具
直接打印程序结果
记录程序普通操作(比如请求记录,状态监控)
logging.info()
程序发生特殊事件引发的警告信息
logging.warning()
程序发生特殊事件引发错误
直接抛出异常(raise Exception)
报告错误而不引发异常
logging.error()、logging.exception()、logging.critical() 分别使用特定错误
日志功能事件级别对应应用场景(以严重性递增)
级别应用场景
DEBUG
细节信息,仅当诊断问题适用
INFO
确认程序预期运行,记录程序正常运行状态
WARNING
表明有已经或即将发生的意外
ERROR
由于严重的问题,程序某些功能不能使用
CRTICAL
严重的错误,程序已不能继续执行
logging模块默认级别是WARNING,意味着只会追踪该级别以上的事件,除非更改日志配置;
关于logging基础使用
日志记录保存到文件
import logging
logging.basicConfig(filename="example.log", level=logging.INFO,
datefmt="%Y-%m-%d %H:%M:%S",
encoding='utf-8')# 记录日志信息logging.debug("test DEBUG")
logging.info("test Info")
logging.warning("test Warning")
logging.warning('%s before you %s', 'Look', 'leap!')
logging.error("test Error")复制代码
代码注解:
(上述脚本如果连续多次运行,连续运行的消息将追缴到指定的example.log日志文件,如果想每次都是重新开始,即example.log日志不保存之前的日志信息,则修改filemode参数为’w’;)
关于logging进阶使用
结合Python官方文档,日志库采用模块化的方法,并提供几类组件:记录器、处理器、过滤器和格式器。
官方文档中记录器和处理在日志信息记录流程:
解析:
记录器
关于记录器,主要的任务总结有三个:
关于记录器方法总结为两类,配置和消息发送.
记录器配置方法:
记录器常用创建信息方法:
处理器
关于处理器,简单的可以理解为将特定严重级别的日志信息发送到特定的位置,常用的处理类型主要有两个:
由于内置处理对象常用的配置方法:
格式器
格式器配置日志消息的最终顺序、结构和内容,格式器类的构造函数有三个可选参数:
logging.Formatter.__init__(fmt=None, datefmt=None, style='%')复制代码
备注:
关于style:
fm = Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s", "%Y-%m-%d %H:%M:%S", style='{')
fm = Formatter("{asctime} - {name} - {levelname} - {message}", "%Y-%m-%d %H:%M:%S", style='{')
fm = Formatter("$asctime - $name - $levelname - $message", "%Y-%m-%d %H:%M:%S", style='$')复制代码
(这三种style使用方式,效果都一样)
配置记录
开发人员可以通过三种方式配置日志记录:
使用提供的接口,显示创建记录器,处理器,格式器等直接配置;
通过fileConfig()函数读取已经创建好的配置文件;
创建好配置函数字典传递到dictConfig()函数;
关于fileConfig()读取的配置文件(官方示例):
[loggers]
keys=root,simpleExample
[handlers]
keys=consoleHandler
[formatters]
keys=simpleFormatter
[logger_root]
level=DEBUG
handlers=consoleHandler
[logger_simpleExample]
level=DEBUG
handlers=consoleHandler
qualname=simpleExample
propagate=0
[handler_consoleHandler]
class=StreamHandler
level=DEBUG
formatter=simpleFormatter
args=(sys.stdout,)
[formatter_simpleFormatter]
format=%(asctime)s - %(name)s - %(levelname)s - %(message)s复制代码
(关于读取的配置文件格式类似ini格式)
实战
关于logging模块,这里介绍一下我目前最常用的业务场景:调用方请求一个后端的rest api接口,我需要记录调用方请求的时间,地址,请求参数,处理请求后的结果,以及我需要将报错的信息保存到指定的文件里,方便排查。
为了后期使用方便,在不更改原有处理函数的基础下增加日志记录的功能,我会选择将日志记录操作封装在一个装饰器函数。
所以我只需将这部分功能分成两部分:生成记录器、请求处理的装饰器函数
生成记录器
# -*- coding: utf-8 -*-from logging import handlersfrom datetime import dateimport loggingdef init_logger(): """
生成记录器
:return:
"""
app_logger = logging.getLogger(APP_NAME)
app_logger.setLevel(logging.INFO)
fmt = logging.Formatter("%(asctime)s %(levelname)s: %(message)s", "%Y-%m-%d %H:%M:%S") # 正常日志打印到控制台
console = logging.StreamHandler()
console.setFormatter(fmt)
console.setLevel(logging.INFO) # 异常日志记录到log文件
today = date.today()
file_name = "logs/exceptions_" + str(today) + ".log"
fh = handlers.TimedRotatingFileHandler(filename=file_name, when='D', backupCount=30, encoding='utf-8')
fh.setLevel("ERROR")
fh.setFormatter(fmt)
app_logger.addHandler(console)
app_logger.addHandler(fh) return app_logger复制代码
代码解析:
请求处理装饰器
from functools import wrapsfrom flask import request
app_logger = init_logger()def rest_log(return_type="dict"): def decorator(func): @wraps(func) def inner(*args, **kwargs): # 组装打印的Message消息日志格式(请求URL,目标主机,请求方法,请求参数,响应内容)
log_params = { "request": request.base_url, "host": request.host, "method": request.method
}
req_data = {} if request.method == "POST":
req_data = dict(request.json) elif request.method == "GET":
req_data = dict(request.args)
log_params.update({"params": req_data}) # 请求处理函数 try:
result = func(*args, **kwargs) except Exception as e: # 异常信息处理
err_msg = str(e)
result = {"ret_code": 500, "ret_info": err_msg}
app_logger.error(log_params, exc_info=True) if return_type == "tuple":
result = (result, 500) if return_type == "tuple":
log_params['result'] = result[0].data else:
log_params['result'] = result
app_logger.info(log_params) return result return inner return decorator复制代码
代码解析:
简单使用示例:
# -*- coding: utf-8 -*-from flask import request, Blueprintfrom common.LogUtils import rest_log
test_api = Blueprint("TestApi", __name__)@test_api.route("/log/test", methods=["GET"])@rest_log()def test_log():
name = request.args.get("name", "")
number = request.args.get('number', "") if not name or not number: raise Exception("number和name参数都不能为空")
response = { "data": { "name": f"Hello, {name}", "number": number
}, "ret_code": 200, "ret_info": "success"
} return response复制代码
备注:
控制台日志打印效果:
2022-05-22 12:01:01 INFO: {'request': 'http://127.0.0.1:23102/log/test', 'host': '127.0.0.1:23102', 'method': 'GET', 'params': {'name': 'zhangsn', 'number': '22'}, 'result': {'data': {'name': 'Hello, zhangsn', 'number': '22'}, 'ret_code': 200, 'ret_info': 'success'}}复制代码
异常日志打印:
2022-05-22 11:47:38 ERROR: {'request': 'http://127.0.0.1:23102/log/test', 'host': '127.0.0.1:23102', 'method': 'GET', 'params': {}}
Traceback (most recent call last):
File "C:UsersadminTestLoggingcommonLogUtils.py", line 63, in inner
result = func(*args, **kwargs)
File "C:UsersadminTestLoggingcontrollerTestLogging.py", line 18, in test_log
raise Exception("number和name参数都不能为空")
Exception: number和name参数都不能为空复制代码
总结
以上就是关于logging日志模块的初步使用总结,后续如果在日常工作的场景中
遇到什么坑,也会继续更新,欢迎大家的讨论和建议!
原文:
限 时 特 惠: 本站每日持续更新海量各大内部创业教程,一年会员只需98元,全站资源免费下载 点击查看详情
站 长 微 信: lzxmw777