python + logging 实现日志输出及保存到文件

文章目录

最近因为一个小需求,需要保存日志到文件中。因为平时调试都只是用print,当不需要的时候又得把print删掉,这样很不方便,而且这样也只能把报错信息输出到控制台。于是上网查了一下,python有一个内置模块logging,用来输出日志信息,可以进行各种配置,看了之后有种相见恨晚的感觉。下面进行一些个人的总结,主要是对自己学习进行的归纳,也希望能对你有所帮助。

1 开始使用 logging

1.1 第一个程序

首先是最简单的使用:

# -*- coding: utf-8 -*-
import logging

logging.debug('debug级别,一般用来打印一些调试信息,级别最低')
logging.info('info级别,一般用来打印一些正常的操作信息')
logging.warning('waring级别,一般用来打印警告信息')
logging.error('error级别,一般用来打印一些错误信息')
logging.critical('critical级别,一般用来打印一些致命的错误信息,等级最高')

这样直接就可以在控制台输出日志信息了:

WARNING:root:waring级别,一般用来打印警告信息
ERROR:root:error级别,一般用来打印一些错误信息
CRITICAL:root:critical级别,一般用来打印一些致命的错误信息,等级最高

1.2 日志级别

会发现只输出下面三条信息,这是因为logging是分级别的,上面5个级别的信息从上到下依次递增,可以通过设置logging的level,使其只打印某个级别以上的信息。因为默认等级是 WARNING,所以只有 WARNING 以上级别的日志被打印出来。 如果我们想把debug和info也打印出来,可以使用 basicConfig 对其进行配置:

logging.basicConfig(level=logging.DEBUG)

这样控制台的输出就会包含上面5条所有信息。

日志级别不是只有python才有,基本上日志都是分级别的,这样可以让我们在不同的时期关注不同的重点,比如我们把一些调试的信息以debug的级别输出,并且把 logging 的 level 设为 DEBUG,这样我们以后不需要显示这些日志的时候,只需要把level设置为info或者更高,不用像 print 一样要去把那条语句注释掉或者删掉。

1.3 输出格式

我们发现上面的日志输出信息很简略,暂时还不能满足我们的需求,比如我们可能需要输出该条信息的时间,所在位置等等,这同样可以通过basicConfig进行配置。

logging.basicConfig(format='%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s',
                    level=logging.DEBUG)

然后输出就会是这样的格式:

2019-07-19 15:54:26,625 - log_test.py[line:11] - DEBUG: debug级别,一般用来打印一些调试信息,级别最低

format 可以指定输出的内容和格式,其内置的参数如下:

%(name)s:Logger的名字
%(levelno)s:打印日志级别的数值
%(levelname)s:打印日志级别的名称
%(pathname)s:打印当前执行程序的路径,其实就是sys.argv[0]
%(filename)s:打印当前执行程序名
%(funcName)s:打印日志的当前函数
%(lineno)d:打印日志的当前行号
%(asctime)s:打印日志的时间
%(thread)d:打印线程ID
%(threadName)s:打印线程名称
%(process)d:打印进程ID
%(message)s:打印日志信息

此外,basicConfig 还可以进行许多其他配置,后文继续介绍。

2 输出日志到文件

2.1 使用 basicConfig 配置文件路径

以上我们只是把日志输出到控制台,但很多时候我们可能会需要把日志存到文件,这样程序出现问题时,可以方便我们根据日志信息进行定位。 最简单的方式是使用 basicConfig:

logging.basicConfig(format='%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s',
                    level=logging.DEBUG,
                    filename='test.log',
                    filemode='a')

只是在上面配置的基础上加上filenamefilemode参数,这样就可以把日志输出到 test.log 文件中了,如果没有这个文件的话会自动创建。 其中参数 filemode表示文件打开模式,不设的话默认为’a’,即追加模式,可以不设;也可以设为’w’,每次写日志会覆盖之前的日志。 但是进行这样的操作之后,我们会发现控制台不输出了,怎么做到既输出到控制台又写入到文件呢? 这需要更进一步的学习。

2.2 logging 模块化设计

以上我们只是使用logging进行非常简单的操作,但这样作用有限,其实 logging 库采取了模块化的设计,提供了许多组件:记录器、处理器、过滤器和格式化器。

  • Logger 暴露了应用程序代码能直接使用的接口。
  • Handler 将(记录器产生的)日志记录发送至合适的目的地。
  • Filter 提供了更好的粒度控制,它可以决定输出哪些日志记录。
  • Formatter 指明了最终输出中日志记录的内容和格式。

简单地说,其中 Logger 是负责记录日志消息的,然后我们要把这些日志消息放到哪里,交给 Handler 处理,Filter 则帮我们过滤信息(不限于通过级别过滤),Formatter 就是跟上面的 format 一个意思,用来设置日志内容和格式。

这样,我们试一下使用模块的方式,重新记录日志:

logger = logging.getLogger('test')

logger.debug('debug级别,一般用来打印一些调试信息,级别最低')
logger.info('info级别,一般用来打印一些正常的操作信息')
logger.warning('waring级别,一般用来打印警告信息')
logger.error('error级别,一般用来打印一些错误信息')
logger.critical('critical级别,一般用来打印一些致命的错误信息,等级最高')

首先第一行 getLogger 获取了一个记录器,其中命名标识了这个 Logger。然后下面的输出方式跟我们一开始 logging 的用法是很相似的,看起来是不是很简单。但这样是不行,运行后会报错:

No handlers could be found for logger "test"

是说我们没有为这个logger指定handler,它不知道要怎么处理日志,要输出到哪里去。那我们就给他加一个Handler吧,Handler的种类有很多,常用的有4种:

  • logging.StreamHandler -> 控制台输出
  • logging.FileHandler -> 文件输出
  • logging.handlers.RotatingFileHandler -> 按照大小自动分割日志文件,一旦达到指定的大小重新生成文件
  • logging.handlers.TimedRotatingFileHandler -> 按照时间自动分割日志文件

现在我们先使用最简单的StreamHandler把日志输出到控制台:

logger = logging.getLogger('test')

stream_handler = logging.StreamHandler()
logger.addHandler(stream_handler)
...

这样就可以在控制台看到:

waring级别,一般用来打印警告信息
error级别,一般用来打印一些错误信息
critical级别,一般用来打印一些致命的错误信息,等级最高

还是少了几条日志,因为我们没有设置日志级别,我们同样设置一下级别,并且也使用Formatter模块设置一下输出格式。

logger = logging.getLogger('test')
logger.setLevel(level=logging.DEBUG)

formatter = logging.Formatter('%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s')
stream_handler = logging.StreamHandler()
stream_handler.setLevel(logging.DEBUG)
stream_handler.setFormatter(formatter)
logger.addHandler(stream_handler)
...

我们发现Formatter是给handler设置的,这很好理解,因为handler是负责把日志输出到哪里,所以是给它设置格式,而不是给logger;那为什么level需要设置两次呢?给logger设置是告诉它要记录哪些级别的日志,给handler设是告诉它要输出哪些级别的日志,相当于进行了两次过滤。这样的好处在于,当我们有多个日志去向时,比如既保存到文件,又输出到控制台,就可以分别给他们设置不同的级别;logger 的级别是先过滤的,所以被 logger 过滤的日志 handler 也是无法记录的,这样就可以只改 logger 的级别而影响所有输出。两者结合可以更方便地管理日志记录的级别。

有了handler,我们就可以很方便地同时将日志输出到控制台和文件:

logger = logging.getLogger('test')
logger.setLevel(level=logging.DEBUG)

formatter = logging.Formatter('%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s')

file_handler = logging.FileHandler('test2.log')
file_handler.setLevel(level=logging.INFO)
file_handler.setFormatter(formatter)

stream_handler = logging.StreamHandler()
stream_handler.setLevel(logging.DEBUG)
stream_handler.setFormatter(formatter)

logger.addHandler(file_handler)
logger.addHandler(stream_handler)

只需要多加一个FileHandler即可。

2.3 自动分割日志文件

有时候我们需要对日志文件进行分割,以方便我们的管理。python 提供了两个处理器,方便我们分割文件:

  • logging.handlers.RotatingFileHandler -> 按照大小自动分割日志文件,一旦达到指定的大小重新生成文件
  • logging.handlers.TimedRotatingFileHandler -> 按照时间自动分割日志文件

使用方法跟上面的 Handler 类似,只是需要添加一些参数配置,比如when='D'表示以天为周期切分文件,其他参数的意思可以参考:Python + logging 输出到屏幕,将log日志写入文件

from logging import handlers

time_rotating_file_handler = handlers.TimedRotatingFileHandler(filename='rotating_test.log', when='D')
time_rotating_file_handler.setLevel(logging.DEBUG)
time_rotating_file_handler.setFormatter(formatter)

logger.addHandler(time_rotating_file_handler)

若改为when='S',则以秒为周期进行切割,运行几次后会生成文件:

其中没有后缀的为最新日志文件。

参考文章: Python + logging 输出到屏幕,将log日志写入文件 Python标准模块–logging

原文地址:https://cloud.tencent.com/developer/article/2028465

版权声明:本文内容由互联网用户自发贡献,该文观点与技术仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌侵权/违法违规的内容, 请发送邮件至 dio@foxmail.com 举报,一经查实,本站将立刻删除。

相关推荐


Python中的函数(二) 在上一篇文章中提到了Python中函数的定义和使用,在这篇文章里我们来讨论下关于函数的一些更深的话题。在学习C语言函数的时候,遇到的问题主要有形参实参的区别、参数的传递和改变、变量的作用域。同样在Python中,关于对函数的理解和使用也存在这些问题。下面来逐一讲解。一.函
Python中的字符串 可能大多数人在学习C语言的时候,最先接触的数据类型就是字符串,因为大多教程都是以"Hello world"这个程序作为入门程序,这个程序中要打印的"Hello world"就是字符串。如果你做过自然语言处理方面的研究,并且用Python
Python 面向对象编程(一) 虽然Python是解释性语言,但是它是面向对象的,能够进行对象编程。下面就来了解一下如何在Python中进行对象编程。一.如何定义一个类 在进行python面向对象编程之前,先来了解几个术语:类,类对象,实例对象,属性,函数和方法。 类是对现实世界中一些事物的封装,
Python面向对象编程(二) 在前面一篇文章中谈到了类的基本定义和使用方法,这只体现了面向对象编程的三大特点之一:封装。下面就来了解一下另外两大特征:继承和多态。 在Python中,如果需要的话,可以让一个类去继承一个类,被继承的类称为父类或者超类、也可以称作基类,继承的类称为子类。并且Pytho
Python中的函数(一) 接触过C语言的朋友对函数这个词肯定非常熟悉,无论在哪门编程语言当中,函数(当然在某些语言里称作方法,意义是相同的)都扮演着至关重要的角色。今天就来了解一下Python中的函数用法。一.函数的定义 在某些编程语言当中,函数声明和函数定义是区分开的(在这些编程语言当中函数声明
在windows下如何快速搭建web.py开发框架 用Python进行web开发的话有很多框架供选择,比如最出名的Django,tornado等,除了这些框架之外,有一个轻量级的框架使用起来也是非常方便和顺手,就是web.py。它由一名黑客所创建,但是不幸的是这位创建者于2013年自杀了。据说现在由
将Sublime Text 2搭建成一个好用的IDE 说起编辑器,可能大部分人要推荐的是Vim和Emacs,本人用过Vim,功能确实强大,但是不是很习惯,之前一直有朋友推荐SUblime Text 2这款编辑器,然后这段时间就试了一下,就深深地喜欢上这款编辑器了...
Python中的模块 有过C语言编程经验的朋友都知道在C语言中如果要引用sqrt这个函数,必须用语句"#include<math.h>"引入math.h这个头文件,否则是无法正常进行调用的。那么在Python中,如果要引用一些内置的函数,该怎么处理呢?在Python中
Python的基础语法 在对Python有了基础的认识之后,下面来了解一下Python的基础语法,看看它和C语言、java之间的基础语法差异。一.变量、表达式和语句 Python中的语句也称作命令,比如print "hello python"这就是一条语句。 表达式,顾名思义,是
Eclipse+PyDevʽjango+Mysql搭建Python web开发环境 Python的web框架有很多,目前主流的有Django、Tornado、Web.py等,最流行的要属Django了,也是被大家最看好的框架之一。下面就来讲讲如何搭建Django的开发环境。一.准备工作 需要下载的
在windows下安装配置Ulipad 今天推荐一款轻便的文本编辑器Ulipad,用来写一些小的Python脚本非常方便。 Ulipad下载地址: https://github.com/limodou/ulipad http://files.cnblogs.com/dolphin0520/u...
Python中的函数(三) 在前面两篇文章中已经探讨了函数的一些相关用法,下面一起来了解一下函数参数类型的问题。在C语言中,调用函数时必须依照函数定义时的参数个数以及类型来传递参数,否则将会发生错误,这个是严格进行规定的。然而在Python中函数参数定义和传递的方式相比而言就灵活多了。一.函数参数的
在Notepad++中搭配Python开发环境 Python在最近几年一度成为最流行的语言之一,不仅仅是因为它简洁明了,更在于它的功能之强大。它不仅能够完成一般脚本语言所能做的事情,还能很方便快捷地进行大规模的项目开发。在学习Python之前我们来看一下Python的历史由来,"Pytho
Python中的条件选择和循环语句 同C语言、Java一样,Python中也存在条件选择和循环语句,其风格和C语言、java的很类似,但是在写法和用法上还是有一些区别。今天就让我们一起来了解一下。一.条件选择语句 Python中条件选择语句的关键字为:if 、elif 、else这三个。其基本形式如
关于raw_input( )和sys.stdin.readline( )的区别 之前一直认为用raw_input( )和sys.stdin.readline( )来获取输入的效果完全相同,但是最近在写程序时有类似这样一段代码:import sysline = sys.stdin.readline()
初识Python 跟学习所有的编程语言一样,首先得了解这门语言的编程风格和最基础的语法。下面就让我们一起来了解一下Python的编程风格。1.逻辑行与物理行 在Python中有逻辑行和物理行这个概念,物理行是指在编辑器中实际看到的一行,逻辑行是指一条Python语句。在Python中提倡一个物理行只
当我们的代码是有访问网络相关的操作时,比如http请求或者访问远程数据库,经常可能会发生一些错误,有些错误可能重新去发送请求就会成功,本文分析常见可能需要重试的场景,并最后给出python代码实现。
1.经典迭代器 2.将Sentence中的__iter__改成生成器函数 改成生成器后用法不变,但更加简洁。 3.惰性实现 当列表比较大,占内存较大时,我们可以采用惰性实现,每次只读取一个元素到内存。 或者使用更简洁的生成器表达式 4.yield from itertools模块含有大量生成器函数可
本文介绍简单介绍socket的常用函数,并以python-kafka中的源码socketpair为例,来讲解python socket的运用
python实践中经常出现编码相关的异常,大多网上找资料而没有理解原理,导致一次次重复错误。本文对常用Unicode、UTF-8、GB2312编码的原理进行介绍,接着介绍了python字符类型unicode和str以及常见编解码错误UnicodeEncodeError和UnicodeDEcodeEr