结合Python跟踪信息和日志记录

如何解决结合Python跟踪信息和日志记录

我正在尝试编写一个高度模块化的Python日志记录系统（使用日志记录模块），并将来自跟踪模块的信息包含在日志消息中。

例如，我希望能够编写如下代码：

my_logger.log_message(MyLogFilter,"this is a message")

并包含进行“ log_message”调用的位置的踪迹，而不是实际的logger调用本身。

除了跟踪信息来自logging.debug()调用而不是my_logger.log_message()调用，我几乎可以使用以下代码。

class MyLogFilter(logging.Filter):

    def __init__(self):
        self.extra = {"error_code": 999}
        self.level = "debug"

    def filter(self,record):
        for key in self.extra.keys():
           setattr(record,key,self.extra[key])

class myLogger(object):

    def __init__(self):
        fid = logging.FileHandler("test.log")
        formatter = logging.Formatter('%(pathname)s:%(lineno)i,%(error_code)%I,%(message)s' 
        fid.setFormatter(formatter)

        self.my_logger = logging.getLogger(name="test")
        self.my_logger.setLevel(logging.DEBUG)
        self.my_logger.addHandler(fid)

    def log_message(self,lfilter,message):
        xfilter = lfilter()
        self.my_logger.addFilter(xfilter)
        log_funct = getattr(self.logger,xfilter.level)
        log_funct(message)

if __name__ == "__main__":

    logger = myLogger()
    logger.log_message(MyLogFilter,"debugging")

要进行简单的logging.debug调用会遇到很多麻烦，但实际上，我将列出MyLogFilter的许多不同版本的列表，这些版本在不同的日志记录级别包含不同的值“ error_code”的值，我正在尝试使log_message()调用尽可能简短，甜美，因为它将被重复很多次。

任何有关如何做自己想做的信息，或者如果我完全走错了路，那么我将不胜感激。

如果可能的话，我想坚持使用内部python模块“ logging”和“ trace”，而不要使用任何外部解决方案。

解决方法

或者如果我完全走错了轨道，那么我应该做些什么。

我强烈建议您将日志记录视为已解决的问题，并避免重新发明轮子。

如果您需要的不是标准库的logging模块提供的功能，则可能类似于structlog（pip install structlog）

Structlog将为您提供：

• 数据绑定
• 云原生结构化日志记录
• 管道
• ...还有更多

它将处理大多数本地和云用例。

以下是一种通用配置，该配置会将彩色日志记录输出到.log文件，输出到stdout，并且可以进一步扩展以记录到例如AWS CloudWatch。

请注意，其中包含一个处理器：StackInfoRenderer －这将为所有日志记录调用提供堆栈信息，其中stack_info的值为“ true”（这也在stdlib的日志记录btw中）。如果您只想为异常提供堆栈信息，那么您想为您的日志记录调用exc_info = True这样的事情。

main.py

from structlog import get_logger
from logging_config import configure_local_logging

configure_local_logging()
logger = get_logger()

logger.info("Some random info")
logger.debug("Debugging info with stack",stack_info=True)

try:
   assert 'foo'=='bar'
catch Exception as e:
   logger.error("Error info with an exc",exc_info=e)

logging_config.py

import logging
import structlog

def configure_local_logging(filename=__name__):
    """Provides a structlog colorized console and file renderer for logging in eg ING tickets"""

    timestamper = structlog.processors.TimeStamper(fmt="%Y-%m-%d %H:%M:%S")
    pre_chain = [
        structlog.stdlib.add_log_level,timestamper,]

    logging.config.dictConfig({
            "version": 1,"disable_existing_loggers": False,"formatters": {
                "plain": {
                    "()": structlog.stdlib.ProcessorFormatter,"processor": structlog.dev.ConsoleRenderer(colors=False),"foreign_pre_chain": pre_chain,},"colored": {
                    "()": structlog.stdlib.ProcessorFormatter,"processor": structlog.dev.ConsoleRenderer(colors=True),"handlers": {
                "default": {
                    "level": "DEBUG","class": "logging.StreamHandler","formatter": "colored","file": {
                    "level": "DEBUG","class": "logging.handlers.WatchedFileHandler","filename": filename + ".log","formatter": "plain","loggers": {
                "": {
                    "handlers": ["default","file"],"level": "DEBUG","propagate": True,}
    })

    structlog.configure_once(
        processors=[
            structlog.stdlib.add_log_level,structlog.stdlib.PositionalArgumentsFormatter(),structlog.processors.StackInfoRenderer(),structlog.processors.format_exc_info,structlog.stdlib.ProcessorFormatter.wrap_for_formatter,],context_class=dict,logger_factory=structlog.stdlib.LoggerFactory(),wrapper_class=structlog.stdlib.BoundLogger,cache_logger_on_first_use=True,)

Structlog所能做的远不止于此。我建议您检查一下。

,

事实证明，难题的缺失部分是使用“回溯”模块而不是“跟踪”模块。解析回溯的输出以提取“ .log_message（）”调用的源文件名和行号非常简单。

如果我的日志记录需求变得更加复杂，那么我一定会研究struct_log。谢谢您提供这些信息，因为我以前从未听说过它。