详解Python自建logging模块
简单使用
最开始,我们用最短的代码体验一下logging的基本功能。
importlogging logger=logging.getLogger() logging.basicConfig() logger.setLevel('DEBUG') logger.debug('logsomething') #输出 out>>DEBG:root:logsomething
第一步,通过logging.getLogger函数,获取一个loger对象,但这个对象暂时是无法使用的。
第二步,logging.basicConfig函数,进行一系列默认的配置,包括format、handler等。
第三步,logger调用setLevel函数定义日志级别为DEBUG最后,调用debug函数,输出一条debug级别的message,显示在了标准输出上。logging中的日志级别
logging在生成日志的时候,有一个日志级别的机制,默认有以下几个日志级别:
CRITICAL=50 ERROR=40 WARNING=30 INFO20 DEBUG=10 NOTEST=0
每一个logger对象,都有一个日志级别,它只会输出高于它level的日志。如果一个logger的level是INFO,那么调用logger.debug()是无法输出日志的,而logger.warning()能够输出。
一般来说,以上的6个日志级别完全满足我们日常使用了。
logging中的基础类
logging是python的一个基础模块,它在python中的源码位置如下:
#主干代码 /usr/lib/python2.7/logging/__init__.py #扩展的handler和config /usr/lib/pyhon2.7/logging/config.py /usr/lib/python2.7/loging/handlers.py
组成logging的主干的几个基础类都在__init__.py中:
第一个基础类LogRecord
一个LogRecord对象,对应了日志中的一行数据。通常包含:时间、日志级别、message信息、当前执行的模块、行号、函数名...这些信息都包含在一个LogRecord对象里。
LogRecord对象可以想象成一个大字典:
classLogRecord(object): #代表一条日志的类 defgetMessage(self): #获取self.msg defmarkLogRecord(dict): #这个方法很重要,生成一个空的LogRecord,然后通过一个字典,直接更新LogReocrd中的成员变量 rv=LogRecord(None,None,"",0,"",(),None,None) rv.__dict__.update(dict) returnrv
第二个基础类Formatter
Formatter对象是用来定义日志格式的,LogRecord保存了很多信息,但是打印日志的时候我们只需要其中几个,Formatter就提供了这样的功能,它依赖于python的一个功能:
#通过字典的方式,输出格式化字符串 print('%(name)s:%(num)d'%{'name':'my_name','num':100}) out>>>my_name:100如果说LogRecord是后面的那个字典,那么Formatter就是前面的那个格式字符串...的抽象
重要的代码如下:
classFormatter(object): def__init__(self,fmt=None,datefmt=None): iffmt: self._fmt=fmt else: #默认的format self._fmt="%(message)s" defformat(self,record) #使用self._fmt进行格式化 s=self._fmt%record.__dict__ returns
第三个基础类Filter和Filterer
Filter类,功能很简单。Filter.filter()函数传入一个LogRecord对象,通过筛选返回1,否则返回0.从代码中可以看到,其实是对LogRecord.name的筛选。
Filterer类中有一个Filter对象的列表,它是一组Filter的抽象。
重要的代码如下:
classFilter(object): def__init__(self,name=''): self.name=name self.nlen=len(name) deffilter(self,record): #返回1表示record通过,0表示record不通过 ifself.nlen==0: return1 elifself.name==record.name: return1 #record.name不是以filter开头 elifrecord.name.find(self.name,0,self.nlen)!=0: return0 #最后一位是否为 return(record.name[self.nlen]=='.') classFilterer(object): #这个类其实是定义了一个self.filters=[]的列表管理多个filter defaddFilter(self,filter): defremovefilter(self,filter): deffilter(self,record): #使用列表中所有的filter进行筛选,任何一个失败都会返回0 #例如: #filter.name='A',filter2.name='A.B',filter2.name='A,B,C' #此时record.name='A,B,C,D'这样的record才能通过所有filter的筛选
logging中的高级类
有了以上三个基础的类,就可以拼凑一些更重要的高级类了,高级类可以实现logging的重要功能。
Handler——抽象了log的输出过程Handler类继承自Filterer。Handler类时log输出这个过程的抽象。
同时Handler类具有一个成员变量self.level,在第二节讨论的日志级别的机制,就是在Handler中实现的。
Handler有一个emit(record)函数,这个函数负责输出log,必须在Handler的子类中实现。
重要代码如下:
classHandler(Filterer): def__init__(self,level=NOTEST) #handler必须有level属性 self.level=_checkLevel(level) defformat(self,record): #使用self.formatter,formattercord defhandler(self,record): #如果通过filter的筛选,则emit这条log rv=self.filter(record) self.emit(record) defemit(self,record): #等待子类去实现
接下来看两个简单的handler的子类,其中在logging源码中,有一个handler.py专门定义了很多复杂的handler,有的可以将log缓存在内存中,有的可以将log做rotation等。
StreamHandler
最简单的handler实现,将log写入一个流,默认的stream是sys.stderr
重要的代码如下:
classStreamHandler(Handler): def__init__(self,stream=None): ifstreamisNone: stream=sys.stderr self.stream=stream defemit(self,record): #将record的信息写入流 #处理一些编码的异常 fs='%s\n'#每条日志都有换行 stream=self.stream stream.write(fs%msg)
FileHandler
将log输出到文件的handler,继承StreamHandler
重要代码如下:
classFileHandler(StreamHandler): def__init__(self,filename,mode='a') #append方式打开一个文件 StreamHandler.__init__(self,self._open()) defemit(self,record): #和streamhandler保持一致 StreamHandler.emit(self,record)
Logger——一个独立的log管道
什么是logger?
+logger类继承自Filterer,
+logger对象有logger.level日志级别
+logger对象控制多个handler:logger.handlers=[]
+logger对象之间存在福字关系
简单的来说,logger这个类,集中了我们以上所有的LogRecord、Filter类、Formatter类、handler类。首先,logger根据输入生成一个LogRecord读写,经过Filter和Formatter之后,再通过self.handlers列表中的所有handler,把log发送出去。
一个logger中可能有多个handler,可以实现把一份log放到任意的位置。
classLogger(Filterer): def__init__(self,name,level=NOTEST) #handler列表 self.handlers=[] self.level=_checklevel(level) defaddHandler(self,hdlr): defremoveHandler(self,hdlr): def_log(self,level,msg,args,exc_info=None,extra=None): #在_log函数中创建了一个LogRecord对象 record=self.makeRecord(self.name,level,fn,lno,msg,args,exc_info,func,extra) #交给handle函数 self.handle(record) defhandle(self,reord): #进行filter,然后调用callHandlers if(notself.disabled)andself.filter(record): self.callHandlers(record) defcallHandlers(self,record): #从当前logger到所有的父logger,递归的handl传入的record c=self whilec: forhdlrinc.handlers: hdlr.handle(record)#进入handler的emit函数发送log .... c=c.parent
LoggerAdapter——对标准logger的一个扩展
LogRecord这个大字典中提供的成员变量已经很多,但是,如果在输出log时候仍然希望能够夹带一些自己想要看到的更多信息,例如产生这个log的时候,调用某些函数去获得其他信息,那么就可以把这些添加到Logger中,LoggerAdapter这个类就起到这个作用。
LoggerAdapter这个类很有意思,如果不做什么改动,那么LoggerAdapter类和Logger并没有什么区别。LoggerAdapter只是对Logger类进行了一下包装。
LoggerAdapter的用法其实是在它的成员函数process()的注释中已经说明了:
defprocess(self,msg,kwargs): ''' Normally,you'llonlyneedtooverwritethisonemethodinaLoggerAdaptersubclassforyourspecificneeds. '''
也就是说重写process函数,以下是一个例子:
importlogging importrandom L=logging.getLogger('name') #定义一个函数,生成0~1000的随机数 deffunc(): returnrandom.randint(1,1000) classmyLogger(logging.LoggerAdapter): #继承LoggerAdapter,重写process,生成随机数添加到msg前面 defprocess(self,msg,kwargs): return'(%d),%s'%(self.extra['name'](),msg),kwargs #函数对象放入字典中传入 LA=myLogger(L,{'name':func}) #now,dosomelogging LA.debug('some_loging_messsage') out>>DEBUG:name:(167),some_loging_messsage