网站流量突然增大:从访问日志找出大文件与热点路径
服务器流量突然上涨,先判断是否来自这个网站,再找出主要消耗路径。访问次数最多的页面不一定占用流量最多;一个大文件被下载几十次,可能超过大量普通页面。本文用Nginx默认combined格式的日志做有限范围统计。
一、先对齐时间、入口和统计口径
- 记录平台流量上涨的具体时间段,并核对服务器日志的时区。
- 确认这是哪个站点、哪台节点的日志,是否经过CDN、代理或负载均衡。
- 保留对应时间段的一份日志副本到受限目录,先分析副本,不清空或截断原日志。
Nginx的响应体字节不等于平台账单流量:它不包含所有协议开销,也不代表上传、其他端口、其他网站或另一方向的流量。CDN直接响应的请求也可能不经过源站。日志统计用于定位来源,不直接用于复算计费。
二、按路径汇总字节和次数
先确认有效log_format确实是默认combined:包含客户端、时间、引号内请求、状态码和响应体字节。自定义JSON或不同字段顺序不能套用下面的解析脚本。
将以下内容保存为traffic_summary.py。它只读取给定日志,最多处理前10万行,去掉查询串后按路径汇总,不输出客户端IP:
import json
import re
import sys
from collections import Counter
pattern = re.compile(r'^\S+ \S+ \S+ \[[^\]]+\] "([^"]*)" (\d{3}) (\d+|-) ')
totals, counts = Counter(), Counter()
matched = skipped = 0
truncated = False
with open(sys.argv[1], encoding="utf-8", errors="replace") as log:
for number, line in enumerate(log, 1):
if number > 100000:
truncated = True
break
m = pattern.match(line)
if not m:
skipped += 1
continue
parts = m.group(1).split(" ")
if len(parts) != 3:
skipped += 1
continue
path = parts[1].split("?", 1)[0]
size = 0 if m.group(3) == "-" else int(m.group(3))
totals[path] += size
counts[path] += 1
matched += 1
print("响应体MiB\t次数\t路径")
for path, size in totals.most_common(20):
print(f"{size / 1048576:.2f}\t{counts[path]}\t"
f"{json.dumps(path, ensure_ascii=False)}")
print(f"已解析={matched},跳过={skipped},截断={truncated}")
用Python 3运行,路径换成刚保存的有限时间段副本:
python3 traffic_summary.py /path/to/incident-window.log
“跳过”很多,先检查日志格式;“截断=True”说明这里只统计了前10万行,需要分成更小的时间段,不能把结果当成全量。路径本身也可能含用户标识或令牌,分享结果前仍需脱敏。
三、根据排名决定下一步
| 排名特征 | 继续核对 |
|---|---|
| 单一路径字节很多、请求少 | 检查大文件大小、是否预期下载,是否应该公开。 |
| 图片或视频请求次数很多 | 核对真实活动流量、页面引用和重复下载;Referer单独不能证明来源身份。 |
| 接口请求多但响应体很小 | 同时看CPU和耗时,问题可能主要是计算负载。 |
| 平台流量高,本站日志很少 | 检查日志遗漏、其他节点、其他网站及进程网络活动。 |
状态码、Range分段请求、失败重试和压缩都会影响数字。需要再按具体时间或状态分析时,保留原始副本继续核对,不仅凭排名就封禁所有访问者。
四、处理后按相同窗口复查
对确认公开的大文件,可评估下载限速、缓存或文件大小优化;对不应公开的备份和配置,先封堵入口并处理泄露。改动后用相同长度时间窗比较字节、次数和业务成功率,确认正常下载未被误伤。