python logging通过json文件配置的步骤

logconfig.json { "version":1, "disable_existing_loggers":false, "formatters":{ "simple":{ "format":"[%(asctime)s - %(levelname)s - line(%(lineno)d) - %(filename)s]: %(message)s", "datefmt":"%Y-%m-%d %H:%M:%S" } }, "handlers":{ "console":{ "class":"logging.StreamHandler", "level":"DE Python的logging模块是标准库中的一个功能强大的日志记录工具，允许开发者在应用程序中记录不同级别的消息，如DEBUG、INFO、WARNING、ERROR和CRITICAL。本文将深入探讨如何使用JSON文件来配置Python的logging模块，以实现更灵活的日志管理和定制。 我们需要创建一个JSON配置文件，例如`logconfig.json`，它定义了日志处理的各种参数。在这个例子中，配置文件包含了以下关键部分： 1. **version**: JSON配置文件的版本号，通常是1。 2. **disable_existing_loggers**: 如果设置为false（默认），不会禁用已经存在的logger。 3. **formatters**: 定义了日志消息的格式。在这里，我们有一个名为"simple"的formatter，它包含一个包含时间戳、级别、行号、文件名和消息的格式字符串。 4. **handlers**: 定义了如何处理日志消息。这里有三个handler： - "console": 输出到控制台的StreamHandler，日志级别设为DEBUG，使用"simple" formatter。 - "info_file_handler": 保存INFO级别日志的TimedRotatingFileHandler，每小时滚动一次，保留50个备份，并使用"simple" formatter。 - "error_file_handler": 保存ERROR级别日志的TimedRotatingFileHandler，同样每小时滚动一次，保留50个备份，使用"simple" formatter。 5. **loggers**: 定义了特定的logger及其配置。在这个例子中，我们有一个名为"my_module"的logger，其日志级别设为ERROR，仅向"info_file_handler"发送日志，不传播给父logger。 6. **root**: 默认的root logger，级别设为INFO，将日志同时发送给控制台、"info_file_handler"和"error_file_handler"。 然后，我们可以编写一个辅助函数，如`log_utility.py`中的`setup_logging`，来加载JSON配置并应用到logging模块。这个函数首先检查配置文件是否存在，如果存在，则读取并加载JSON配置；否则，使用默认的logging.basicConfig进行配置。 为了优化日志收集，特别是与logstash集成，可以考虑生成预格式化的JSON日志。这样，logstash可以直接解析而无需使用grok进行正则匹配，从而减少CPU资源消耗。Python的logging模块可以通过自定义formatter或第三方库如`python-logstash`来实现JSON日志格式。 例如，使用`python-logstash`库，我们可以创建一个向logstash发送JSON日志的logger： ```python import logging import logstash import sys host = 'localhost' test_logger = logging.getLogger('python-logstash-logger') test_logger.setLevel(logging.INFO) test_logger.addHandler(logstash.LogstashHandler(host, 5959, version=1)) ``` 这里，我们创建了一个名为'python-logstash-logger'的logger，设置了日志级别为INFO，并添加了一个LogstashHandler，将日志发送到指定的logstash服务器。 总结，Python的logging模块通过JSON配置文件提供了一种灵活的方式来管理日志，包括自定义日志级别、处理器、格式和目标。此外，通过生成JSON格式的日志，我们可以优化与logstash等日志收集系统的集成，提高日志处理的效率。