python logging模块Filters过滤器介绍，如何使用自定义的过滤器

分类：Python作者：小青龍

文章目录

python的logging模块中，Filters 可被 Handlers 和 Loggers 用来实现比按层级提供更复杂的过滤操作。

一、在代码中定义及使用Filter

先给一个直接使用的示例：

import logging

logger = logging.getLogger('dev')

hdl = logging.StreamHandler()
fmt = logging.Formatter("%(asctime)s - %(name)s - %(levelname)s - %(message)s")
hdl.setFormatter(fmt)

# 重写过滤器类
class MyFilter(logging.Filter):
    def __init__(self, name):
        super().__init__(name=name)

    def filter(self, record):
        if record.levelno <= logging.WARNING:
            return True
        return False

flt = MyFilter('dev')
# 将过滤器应用到hdl处理程序
hdl.addFilter(flt)
logger.addHandler(hdl)
# 将过滤器应用到logger日志器
# logger.addFilter(flt)

logger_test1 = logging.getLogger('dev.test1')

logger.debug("This is a debug log.")
logger.info("This is an info log.")
logger.warning("This is a warning log.")
logger.error("This is an error log.")
logger.critical("This is a critical log.")

logger_test1.debug("This is a debug log.")
logger_test1.info("This is an info log.")
logger_test1.warning("This is a warning log.")
logger_test1.error("This is an error log.")
logger_test1.critical("This is a critical log.")

运行代码，输出：

2023-08-20 22:49:40,849 - dev - WARNING - This is a warning log.
2023-08-20 22:49:40,849 - dev.test1 - WARNING - This is a warning log.

解释：

  • 定义了一个MyFilter类，根据filter(record) 返回值决定是否要记录指定的记录？返回零表示否，非零表示是。示例中表示过滤掉高于logging.WARNING级别的日志。实例化MyFilter时，传了一个dev参数，它表示将对dev名称的日志器生效，然后将过滤器应用到处理程序hdl，然后hdl应用到logger日志器。
  • 输出结果中只有WARNING级别的日志，这是因为没有给logger、logger_test1单独设置level级别，因此它默认使用了root根日志级别WARNING，因此WARNING以下级别的日志给过滤掉了，而自定义的过滤器，把高于WARNING级别的日志给过滤掉了，所以只剩下WARNING级别的日志。
  • 另外，你会发现，虽然没有给logger_test1配置处理程序、过滤器、格式化器等，但是它最终使用的是logger相同的配置，这是因为logger_test1 = logging.getLogger('dev.test1')中dev.test1使用了日志器的层级关系。基本过滤器类只允许低于日志记录器层级结构中低于特定层级的事件。 例如，一个用 ‘A.B’ 初始化的过滤器将允许 ‘A.B’,‘A.B.C’,‘A.B.C.D’,‘A.B.D’ 等日志记录器所记录的事件。 但 ‘A.BB’,‘B.A.B’ 等则不允许。

将示例中的代码做一个小的改动：把hdl.addFilter(flt)注释掉，把# logger.addFilter(flt)取消注释，然后重新运行代码。

输出结果：

2023-08-20 23:16:49,507 - dev - WARNING - This is a warning log.
2023-08-20 23:16:49,507 - dev.test1 - WARNING - This is a warning log.
2023-08-20 23:16:49,507 - dev.test1 - ERROR - This is an error log.
2023-08-20 23:16:49,507 - dev.test1 - CRITICAL - This is a critical log.

解释：

  • 会发现，自定义的过滤器，不再对logger_test1日志器生效了。

    这是因为关联到处理程序的过滤器会在事件由处理程序发出之前被查询，而关联到日志记录器的过滤器则会在有事件被记录的的任何时候（使用 debug(),info()等等）在将事件发送给处理程序之前被查询。 这意味着由后代日志记录器生成的事件将不会被日志记录器的过滤器设置所过滤，除非该过滤器也已被应用于后代日志记录器。

二、logging.Filter 类filter(record)方法

在自定义过滤器时，filter(record)方法中，record有哪些属性可用呢？

下面写了一段代码，来探究一下（当然更推荐你去看logging模块的源码）：

import logging
import time

class MyFilter(logging.Filter):
    def filter(self, record):
        time.sleep(1)
        for i in dir(record):
            if not i.startswith("__"):
                print(i,'=',eval('record.'+i))
        print('getMessage()',record.getMessage())
        return True

def mylogger():
    logger = logging.getLogger()
    fmt = logging.Formatter(fmt="%(asctime)s - %(message)s",datefmt="%Y-%m-%d %H:%M:%S")
    hld = logging.StreamHandler()
    hld.setFormatter(fmt)

    logger.addFilter(MyFilter())
    logger.addHandler(hld)
    return logger

if __name__ == '__main__':
    logger = mylogger()

    def myfunc():
        try:
            ttt = 1/0
        except Exception as err:
            logger.exception('The args: %s,%s','arg1','arg2',exc_info=True,stack_info=True)

    time.sleep(1)
    myfunc()

运行代码，输出：

2023-08-20 23:32:11 - The args: arg1,arg2
Traceback (most recent call last):
  File "E:/Chen/python3/ExciseA/config/test.py",line 49,in myfunc
    ttt = 1 / 0
ZeroDivisionError: division by zero
Stack (most recent call last):
  File "E:/Chen/python3/ExciseA/config/test.py",line 55,in <module>
    myfunc()
  File "E:/Chen/python3/ExciseA/config/test.py",line 51,in myfunc
    logger.exception('The args: %s,%s','arg1','arg2',exc_info=True,stack_info=True)
args = ('arg1','arg2')
created = 1692554731.9882045
exc_info = (<class 'ZeroDivisionError'>,ZeroDivisionError('division by zero'),<traceback object at 0x0000018C67FC61C8>)
exc_text = None
filename = test.py
funcName = myfunc
getMessage = <bound method LogRecord.getMessage of <LogRecord: root,40,E:/Chen/python3/ExciseA/config/test.py,51,"The args: %s,%s">>
levelname = ERROR
levelno = 40
lineno = 51
module = test
msecs = 988.2044792175293
msg = The args: %s,%s
name = root
pathname = E:/Chen/python3/ExciseA/config/test.py
process = 13384
processName = MainProcess
relativeCreated = 1015.1534080505371
stack_info = Stack (most recent call last):
  File "E:/Chen/python3/ExciseA/config/test.py",stack_info=True)
thread = 10072
threadName = MainThread
getMessage() = The args: arg1,arg2
属性名称 描述
args 合并到 msg 以产生 message 的包含参数的元组，或是其中的值将被用于合并的字典（当只有一个参数且其类型为字典时）。
created LogRecord 被创建的时间（即time.time()的返回值）。
exc_info 异常元组 (例如 sys.exc_info) 或者如未发生异常则为 None。
exc_text 用来缓存traceback文本内容的，好像写死为了None
filename 发生日志记录调用所在的文件的名称，pathname 的文件名部分
funcName 日志记录调用所在的函数
levelname 消息文本记录级别 ('DEBUG','INFO','WARNING','ERROR','CRITICAL').
levelno 消息数字记录级别 (DEBUG,INFO,WARNING,ERROR,CRITICAL).
lineno 发出日志记录调用所在的源行号（如果可用）。
module 模块 (filename 的名称部分)。
msecs 日志被创建的时间的毫秒部分。
msg 在原始日志记录调用中传入的格式字符串。 与 args 合并以产生 message(注意：record属性中没有直接提供message，可以通过record.getMessage()间接获取)
name 用于记录调用的日志记录器名称。
pathname 发出日志记录调用的源文件的完整路径名（如果可用）。
process 进程ID（如果可用）
processName 进程名（如果可用）
relativeCreated 以毫秒数表示的LogRecord被创建的时间，即相对于 logging 模块被加载时间的差值。
stack_info 当前线程中从堆栈底部起向上直到包括日志记录调用并导致创建此记录的堆栈帧的堆栈帧信息（如果可用）。
thread 线程ID（如果可用）
threadName 线程名（如果可用）

getMessage()在将LogRecord实例与任何用户提供的参数合并之后，返回此实例的消息。 如果用户提供给日志记录调用的消息参数不是字符串，则会在其上调用str()以将它转换为字符串。

三、在配置文件中配置自定义的Filter

日志模块化配置通常是更好的实践方式，接下来将举例如何在配置文件中配置自定义的过滤器。

大致思路是：

1）在配置文件中配置过滤器（这里选yaml格式配置文件）；

2）将自定义的过滤器，单独放到一个模块中供调用；

3）通过logging.config.dictConfig()加载日志配置文件；

4）使用添加了过滤器的日志器

示例项目目录结构：

.
│ main.py
└─config
    │ myfilter.py	
    │ logger.py
    └─logconf
        log.yaml

log.yaml

version: 1
disable_existing_loggers: false
formatters:
  simple:
    format: '[%(asctime)s - %(name)s - %(levelname)-8s] %(message)s'
handlers:
  console:
    class: logging.StreamHandler
    formatter: simple
    level: DEBUG
    stream: ext://sys.stdout
    filters:
      - myfilter
loggers:
  mylogger:
    level: DEBUG
    handlers:
      - console
    propagate: no
#    filters: [myfilter]
filters:
  myfilter:
    (): config.myfilter.MyFilter
    name: mylogger
    param1: False
    param2: True

log.yaml 中filters内配置了一个ID为myfilter的过滤器，其中()键表明config.myfilter.MyFilter是一个自定义的类对象，name、param1、param2均是传递给该自定义过滤器类实例化时的参数。然后将该过滤器应用到了handlers下console处理程序。

myfilter.py

import logging

class MyFilter(logging.Filter):

    def __init__(self, name, param1=True, param2=True):
        super().__init__(name=name)
        self.param1 = param1
        self.param2 = param2

    def filter(self, record):
        allow = False
        if self.param1 == False:
            allow = allow or record.levelno < logging.ERROR
        if self.param2 == True and record.levelname == 'WARNING':
            record.msg = 'This WARNING messages modified by my filter.'+record.msg
        return allow

myfilter.py 自定义一个简单的过滤器，该过滤器功能：当param1=False时，仅返回低于logging.ERROR级别的日志记录；当param2=True且日志级别为WARNING时，修改msg信息。

logger.py

import logging.config
import yaml
import os

class Logger():

    def __init__(self,logger_name=''):
        self.logger_name = logger_name
        cur_dir = os.path.dirname(__file__)
        log_conf = os.path.join(cur_dir, 'logconf', 'flog.yaml')
        with open(log_conf, 'r') as f:
            config = yaml.safe_load(f.read())
            logging.config.dictConfig(config)

    def logger(self):
        logger = logging.getLogger(self.logger_name)
        return logger

logger.py 通过config=yaml.safe_load(f.read())读取log.yaml日志配置文件，logging.config.dictConfig(config)加载日志配置文件，完成初始化日志配置。logger()方法返回一个应用了配置的logger日志器。

main.py

from config.logger import Logger

logger = Logger('mylogger').logger()

if __name__ == '__main__':
    logger.debug("dddebug")
    logger.info("iiinfo")
    logger.warning("wwwarning")
    logger.error("eeerror")
    logger.critical("cccritical")

main.py 使用logger.py中封装的方法，实例化了一个logger日志器，供日志记录使用。

运行main.py，输出：

[2023-08-21 00:32:43,810 - mylogger - DEBUG   ] dddebug
[2023-08-21 00:32:43,810 - mylogger - INFO    ] iiinfo
[2023-08-21 00:32:43,810 - mylogger - WARNING ] This WARNING messages modified by my filter.wwwarning

从运行结果看，过滤器配置已生效。

最后：

  • logging.config.dicConfig() 可以支持Filters过滤器配置，logging.config.fileConfig() 不支持.
  • 在3.2版更改: 不需要创建专门的Filter类，或使用具有filter方法的其他类：你可以使用一个函数（或其他可调用对象）作为过滤器。 过滤逻辑将检查过滤器对象是否文化的filter属性：如果有，就会将它当作是Filter并调用它的filter()方法。

参考资料：

字典配置，用户定义对象

利用 dictConfig() 定义过滤器

原文地址：https://blog.csdn.net/B11050729/article/details/132400394

版权声明：本文内容由互联网用户自发贡献，该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容， 请发送邮件至 dio@foxmail.com 举报，一经查实，本站将立刻删除。

相关推荐

Python中的函数（二）
Python中的函数（二） 在上一篇文章中提到了Python中函数的定义和使用，在这篇文章里我们来讨论下关于函数的一些更深的话题。在学习C语言函数的时候，遇到的问题主要有形参实参的区别、参数的传递和改变、变量的作用域。同样在Python中，关于对函数的理解和使用也存在这些问题。下面来逐一讲解。一.函
Python中的字符串
Python中的字符串 可能大多数人在学习C语言的时候，最先接触的数据类型就是字符串，因为大多教程都是以&quot;Hello world&quot;这个程序作为入门程序，这个程序中要打印的&quot;Hello world&quot;就是字符串。如果你做过自然语言处理方面的研究，并且用Python
Python 面向对象编程（一）
Python 面向对象编程（一） 虽然Python是解释性语言，但是它是面向对象的，能够进行对象编程。下面就来了解一下如何在Python中进行对象编程。一.如何定义一个类 在进行python面向对象编程之前，先来了解几个术语：类，类对象，实例对象，属性，函数和方法。 类是对现实世界中一些事物的封装，
Python面向对象编程（二）
Python面向对象编程（二） 在前面一篇文章中谈到了类的基本定义和使用方法，这只体现了面向对象编程的三大特点之一：封装。下面就来了解一下另外两大特征：继承和多态。 在Python中，如果需要的话，可以让一个类去继承一个类，被继承的类称为父类或者超类、也可以称作基类，继承的类称为子类。并且Pytho
Python中的函数（一）
Python中的函数（一） 接触过C语言的朋友对函数这个词肯定非常熟悉，无论在哪门编程语言当中，函数（当然在某些语言里称作方法，意义是相同的）都扮演着至关重要的角色。今天就来了解一下Python中的函数用法。一.函数的定义 在某些编程语言当中，函数声明和函数定义是区分开的（在这些编程语言当中函数声明
在windows下如何快速搭建web.py开发框架
在windows下如何快速搭建web.py开发框架 用Python进行web开发的话有很多框架供选择，比如最出名的Django，tornado等，除了这些框架之外，有一个轻量级的框架使用起来也是非常方便和顺手，就是web.py。它由一名黑客所创建，但是不幸的是这位创建者于2013年自杀了。据说现在由
将Sublime Text 2搭建成一个好用的IDE
将Sublime Text 2搭建成一个好用的IDE 说起编辑器，可能大部分人要推荐的是Vim和Emacs，本人用过Vim，功能确实强大，但是不是很习惯，之前一直有朋友推荐SUblime Text 2这款编辑器，然后这段时间就试了一下，就深深地喜欢上这款编辑器了...
Python中的模块
Python中的模块 有过C语言编程经验的朋友都知道在C语言中如果要引用sqrt这个函数，必须用语句&quot;#include&lt;math.h&gt;&quot;引入math.h这个头文件，否则是无法正常进行调用的。那么在Python中，如果要引用一些内置的函数，该怎么处理呢？在Python中
Python的基础语法
Python的基础语法 在对Python有了基础的认识之后，下面来了解一下Python的基础语法，看看它和C语言、java之间的基础语法差异。一.变量、表达式和语句 Python中的语句也称作命令，比如print &quot;hello python&quot;这就是一条语句。 表达式，顾名思义，是
Eclipse+PyDev+Django+Mysql搭建Python web开发环境
Eclipse+PyDevʽjango+Mysql搭建Python web开发环境 Python的web框架有很多，目前主流的有Django、Tornado、Web.py等，最流行的要属Django了，也是被大家最看好的框架之一。下面就来讲讲如何搭建Django的开发环境。一.准备工作 需要下载的
在windows下安装配置Ulipad
在windows下安装配置Ulipad 今天推荐一款轻便的文本编辑器Ulipad，用来写一些小的Python脚本非常方便。 Ulipad下载地址： https://github.com/limodou/ulipad http://files.cnblogs.com/dolphin0520/u...
Python中的函数（三）
Python中的函数（三） 在前面两篇文章中已经探讨了函数的一些相关用法，下面一起来了解一下函数参数类型的问题。在C语言中，调用函数时必须依照函数定义时的参数个数以及类型来传递参数，否则将会发生错误，这个是严格进行规定的。然而在Python中函数参数定义和传递的方式相比而言就灵活多了。一.函数参数的
在Notepad++中搭配Python开发环境
在Notepad++中搭配Python开发环境 Python在最近几年一度成为最流行的语言之一，不仅仅是因为它简洁明了，更在于它的功能之强大。它不仅能够完成一般脚本语言所能做的事情，还能很方便快捷地进行大规模的项目开发。在学习Python之前我们来看一下Python的历史由来，&quot;Pytho
Python中的条件选择和循环语句
Python中的条件选择和循环语句 同C语言、Java一样，Python中也存在条件选择和循环语句，其风格和C语言、java的很类似，但是在写法和用法上还是有一些区别。今天就让我们一起来了解一下。一.条件选择语句 Python中条件选择语句的关键字为：if 、elif 、else这三个。其基本形式如
关于raw_input()和sys.stdin.readline()的区别
关于raw_input( )和sys.stdin.readline( )的区别 之前一直认为用raw_input( )和sys.stdin.readline( )来获取输入的效果完全相同，但是最近在写程序时有类似这样一段代码：import sysline = sys.stdin.readline()
初识Python
初识Python 跟学习所有的编程语言一样，首先得了解这门语言的编程风格和最基础的语法。下面就让我们一起来了解一下Python的编程风格。1.逻辑行与物理行 在Python中有逻辑行和物理行这个概念，物理行是指在编辑器中实际看到的一行，逻辑行是指一条Python语句。在Python中提倡一个物理行只
retry重试常见场景及实现
当我们的代码是有访问网络相关的操作时,比如http请求或者访问远程数据库，经常可能会发生一些错误，有些错误可能重新去发送请求就会成功，本文分析常见可能需要重试的场景，并最后给出python代码实现。
python迭代器和生成器
1.经典迭代器 2.将Sentence中的__iter__改成生成器函数 改成生成器后用法不变，但更加简洁。 3.惰性实现 当列表比较大，占内存较大时，我们可以采用惰性实现，每次只读取一个元素到内存。 或者使用更简洁的生成器表达式 4.yield from itertools模块含有大量生成器函数可
python-kafka源码解析之socketpair
本文介绍简单介绍socket的常用函数,并以python-kafka中的源码socketpair为例，来讲解python socket的运用
彻底弄懂python编码
python实践中经常出现编码相关的异常，大多网上找资料而没有理解原理，导致一次次重复错误。本文对常用Unicode、UTF-8、GB2312编码的原理进行介绍，接着介绍了python字符类型unicode和str以及常见编解码错误UnicodeEncodeError和UnicodeDEcodeEr
pythonJavaScriptjavaHTMLPHPreactjsC#AndroidCSSNode.jssqlrpython-3.xMysqLjQueryc++pandasFlutterangularIOSdjangolinuxswifttypescript路由器JSON路由器设置无线路由器h3c华三华三路由器设置华三路由器电脑软件教程arraysdocker软件图文教程Cvue.jslaravelspring-boot