python logging通过json文件配置的步骤
logconfig.json
{ "version":1, "disable_existing_loggers":false, "formatters":{ "simple":{ "format":"[%(asctime)s-%(levelname)s-line(%(lineno)d)-%(filename)s]:%(message)s", "datefmt":"%Y-%m-%d%H:%M:%S" } }, "handlers":{ "console":{ "class":"logging.StreamHandler", "level":"DEBUG", "formatter":"simple", "stream":"ext://sys.stdout" }, "info_file_handler":{ "class":"logging.handlers.TimedRotatingFileHandler", "level":"INFO", "formatter":"simple", "filename":"../log/info.log", "when":"H", "interval":1, "backupCount":50, "encoding":"utf8" }, "error_file_handler":{ "class":"logging.handlers.TimedRotatingFileHandler", "level":"ERROR", "formatter":"simple", "filename":"../log/errors.log", "when":"H", "interval":1, "backupCount":50, "encoding":"utf8" } }, "loggers":{ "my_module":{ "level":"ERROR", "handlers":["info_file_handler"], "propagate":"no" } }, "root":{ "level":"INFO", "handlers":["console","info_file_handler","error_file_handler"] } }
log_utility.py
importos importjson importlogging importlogging.config defsetup_logging(default_path="logconfig.json",default_level=logging.DEBUG): path=default_path ifos.path.exists(path): withopen(path,"r")asf: config=json.load(f) logging.config.dictConfig(config) else: logging.basicConfig(level=default_level)
调用
config_path=sys.path[0]+'/logconfig.json'
log_utility.setup_logging(config_path)
补充知识:pythonlogging定制logstash的json日志格式
最近一直在折腾日志的收集,现在算是收尾了。写一篇算python优化logstash的方案。
其实大家都知道logstash调用grok来解析日志的话,是要消耗cpu的成本的,毕竟是需要正则的匹配的。
根据logstash调优的方案,咱们可以预先生成json的格式。我这边基本是python的程序,怎么搞尼?
有两种方法,第一种方法是生成json后,直接打入logstash的端口。还有一种是生成json写入文件,让logstash做tail操作的时候,把一行的日志数据直接载入json就可以了。
python下的日志调试用得时logging,改成json也是很好改得。另外不少老外已经考虑到这样的需求,已经做了pythonlogstash的模块。
importlogging importlogstash importsys host='localhost' test_logger=logging.getLogger('python-logstash-logger') test_logger.setLevel(logging.INFO) test_logger.addHandler(logstash.LogstashHandler(host,5959,version=1)) #test_logger.addHandler(logstash.TCPLogstashHandler(host,5959,version=1)) test_logger.error('python-logstash:testlogstasherrormessage.') test_logger.info('python-logstash:testlogstashinfomessage.') test_logger.warning('python-logstash:testlogstashwarningmessage.') #addextrafieldtologstashmessage extra={ 'test_string':'pythonversion:'+repr(sys.version_info), 'test_boolean':True, 'test_dict':{'a':1,'b':'c'}, 'test_float':1.23, 'test_integer':123, 'test_list':[1,2,'3'], } test_logger.info('python-logstash:testextrafields',extra=extra)
python-logstash自带了amqp的方案
importlogging importlogstash #AMQPparameters host='localhost' username='guest' password='guest' exchange='logstash.py' #getaloggerandsetlogginglevel test_logger=logging.getLogger('python-logstash-logger') test_logger.setLevel(logging.INFO) #addthehandler test_logger.addHandler(logstash.AMQPLogstashHandler(version=1, host=host, durable=True, username=username, password=password, exchange=exchange)) #log test_logger.error('python-logstash:testlogstasherrormessage.') test_logger.info('python-logstash:testlogstashinfomessage.') test_logger.warning('python-logstash:testlogstashwarningmessage.') try: 1/0 except: test_logger.exception('python-logstash:testlogstashexceptionwithstacktrace')
不管怎么说,最后生成的格式是这样就可以了。
{ "@source"=>"unknown", "@type"=>"nginx", "@tags"=>[], "@fields"=>{ "remote_addr"=>"192.168.0.1", "remote_user"=>"-", "body_bytes_sent"=>"13988", "request_time"=>"0.122", "status"=>"200", "request"=>"GET/some/urlHTTP/1.1", "request_method"=>"GET", "http_referrer"=>"http://www.example.org/some/url", "http_user_agent"=>"Mozilla/5.0(X11;Linuxx86_64)AppleWebKit/537.1(KHTML,likeGecko)Chrome/21.0.1180.79Safari/537.1" }, "@timestamp"=>"2012-08-23T10:49:14+02:00" }
我这里简单提一下,这个模块用的不是很满意,我在python下把日志打成了json字符串,我原本以为会像grok那样,在Es里面,我的这条日志是个字段的结构,而不是这个日志都在message里面….我想大家应该明白了我的意思,这样很是不容易在kibana的搜索…
在kibana搜索,我经常上source:xxxANDlevel:INFO结果正像上面描述的那样,整条日志,都在@message里面。
以上这篇pythonlogging通过json文件配置的步骤就是小编分享给大家的全部内容了,希望能给大家一个参考,也希望大家多多支持毛票票。