背景介绍
在系统运维和软件开发中，日志是“系统的黑匣子”，记录着运行过程中的关键信息。通过分析不同日志级别（如INFO、WARN、ERROR）的分布，我们能快速判断系统状态：例如大量ERROR日志可能暗示故障，WARN日志的激增可能预示潜在风险。本文将实现一个Python工具，自动统计日志文件中各级别出现的次数，并通过柱状图直观展示结果，帮助开发者/运维人员高效分析日志。
思路分析
要实现这个工具，我们可以拆解为四个核心步骤：
1. 文件读取：逐行读取日志文件的内容。
2. 日志级别解析：对每行按空格分割，提取“日志级别”字段（假设格式为时间 级别 内容，级别位于第二个位置）。
3. 统计计数：使用字典记录每个级别的出现次数（键为级别，值为次数）。
4. 可视化展示：利用matplotlib绘制柱状图，横轴为日志级别，纵轴为对应次数。
代码实现
下面是完整的Python代码，包含详细注释：
import matplotlib.pyplot as plt
def read_and_analyze_log(log_file_path):
"""读取日志文件并统计各日志级别的出现次数"""
level_counts = {} # 字典：键为日志级别，值为出现次数
with open(log_file_path, 'r', encoding='utf-8') as f:
for line in f:
line = line.strip() # 去除首尾空白（如换行符）
if not line: # 跳过空行
continue
# 按空格分割行内容，假设格式为“时间 级别 内容”，级别位于索引1（0-based）
parts = line.split()
if len(parts) < 2: # 防止格式错误的行（至少需要时间和级别）
continue
level = parts[1] # 提取日志级别
# 统计计数：字典中不存在则初始化为1，存在则+1
level_counts[level] = level_counts.get(level, 0) + 1
return level_counts
def visualize_levels(level_counts):
"""使用matplotlib绘制日志级别分布的柱状图"""
# 提取级别和次数
levels = list(level_counts.keys())
counts = list(level_counts.values())
# 绘制柱状图
plt.figure(figsize=(8, 6)) # 设置图的大小
bars = plt.bar(levels, counts, color=['#5DA5DA', '#FAA43A', '#60BD68']) # 不同颜色区分柱形
plt.xlabel('日志级别', fontsize=12)
plt.ylabel('出现次数', fontsize=12)
plt.title('日志级别分布统计', fontsize=14)
plt.xticks(rotation=0) # 级别名称较短，可不旋转
plt.tight_layout() # 自动调整布局，避免标签截断
# 为每个柱形添加数值标签（可选）
for bar, count in zip(bars, counts):
height = bar.get_height()
plt.text(bar.get_x() + bar.get_width()/2., height + 0.1,
f'{count}', ha='center', va='bottom')
plt.show() # 显示图表
if __name__ == '__main__':
# 日志文件路径（可替换为实际路径）
log_file = 'app.log'
# 1. 统计日志级别
level_counts = read_and_analyze_log(log_file)
# 2. 控制台输出统计结果
for level, count in level_counts.items():
print(f"{level}: {count}次")
# 3. 可视化展示
visualize_levels(level_counts)
代码解析
1. 文件读取与解析
read_and_analyze_log函数通过with open安全读取文件，逐行处理：
– line.strip()：去除首尾空白（如换行符），避免空行干扰。
– split()：按空格分割行内容，假设日志格式为时间 级别 内容，因此取分割后列表的索引1作为级别。
2. 统计逻辑
使用字典level_counts，通过get(level, 0)自动初始化未出现的级别计数（若级别首次出现，计数为0 + 1；若已存在，计数+1）。
3. 可视化增强
visualize_levels函数中：
– plt.bar：绘制柱状图，color参数为不同级别分配颜色（如INFO用蓝色、WARN用橙色、ERROR用绿色）。
– plt.text：为每个柱形添加数值标签，直观展示次数（如INFO柱形上方显示3）。
– tight_layout()：自动调整布局，避免标签截断。
测试与示例
将示例日志保存为app.log：
2023-09-01 08:00:00 INFO 系统启动成功
2023-09-01 08:05:00 WARN 磁盘空间剩余不足20%
2023-09-01 08:10:00 ERROR 数据库连接超时
2023-09-01 08:15:00 INFO 用户登录成功
2023-09-01 08:20:00 ERROR 服务调用失败
2023-09-01 08:25:00 INFO 数据同步完成
运行代码后，控制台输出：
INFO: 3次
WARN: 1次
ERROR: 2次
同时会弹出柱状图，横轴为INFO、WARN、ERROR，纵轴分别为3、1、2，每个柱形上方显示具体次数。
扩展挑战
1. 自定义日志格式
通过命令行参数（如argparse）指定级别所在的列索引。例如，若日志格式为级别 时间 内容，可通过--level-col 0指定级别在第0列：
import argparse
parser = argparse.ArgumentParser()
parser.add_argument('--level-col', type=int, default=1, help='日志级别所在的列索引（0-based）')
args = parser.parse_args()
# 在解析时使用args.level_col：
level = parts[args.level_col]
2. 多级日志与颜色区分
扩展颜色映射，为不同级别（如DEBUG、FATAL）分配特定颜色：
color_map = {
'INFO': '#5DA5DA',
'WARN': '#FAA43A',
'ERROR': '#60BD68',
'DEBUG': '#F17CB0',
'FATAL': '#FF2501'
}
# 绘制时按级别取色：
colors = [color_map.get(level, '#CCCCCC') for level in levels]
plt.bar(levels, counts, color=colors)
3. HTML报告生成
使用jinja2模板，将统计结果转为表格，并将matplotlib图表保存为图片（plt.savefig('log_chart.png')）后嵌入HTML：
from jinja2 import Template
# 保存图表
plt.savefig('log_chart.png')
# 渲染HTML模板
template = Template("""
<!DOCTYPE html>
<html>
<head><title>日志分析报告</title></head>
<body>
<h2>日志级别统计</h2>
<table border="1">
<tr><th>级别</th><th>次数</th></tr>
{% for level, count in level_counts.items() %}
<tr><td>{{ level }}</td><td>{{ count }}</td></tr>
{% endfor %}
</table>
<h2>级别分布柱状图</h2>
<img src="log_chart.png" alt="日志级别分布">
</body>
</html>
""")
with open('report.html', 'w') as f:
f.write(template.render(level_counts=level_counts))
总结
本文实现的日志分析工具，通过文件读取、字符串解析、字典统计、matplotlib可视化四个核心步骤，帮助开发者快速掌握系统日志的级别分布。代码结构清晰、易于扩展，适合作为Python文件操作、数据可视化的入门实践。在实际运维中，可根据需求扩展功能（如支持大文件处理、实时日志监控），进一步提升日志分析效率。
如果您在使用中遇到问题（如日志格式不匹配、依赖库安装），可留言交流~
（注：运行代码前需安装matplotlib：pip install matplotlib）