TCP连接状态异常:区分堆积原因
服务器出现很多TCP连接,不能仅凭数量判断遭到攻击,也不能看到TIME_WAIT就认定程序泄漏。连接状态说明它处于哪个阶段,要结合连接对象、持续时间、业务量和资源变化一起看。本文以Linux的ss工具为例,只做观察,不修改内核回收参数。
先数状态,再定位业务
查看整体概况,并按状态统计。下面统计包含监听等状态,重点看同样条件下的变化趋势:
ss -s
ss -Htan | awk '{count[$1]++} END {for (state in count) print state, count[state]}'
在故障时和业务恢复后各记录一次,附上时间。不同服务器的正常规模差异很大,没有一个“超过多少条就一定异常”的通用阈值。先确定是网站入站连接增多,还是应用主动访问数据库、接口的出站连接增多。
| 状态 | 如何理解 |
|---|---|
| ESTABLISHED | 连接已建立。可能是正常长连接或连接池,需看数量是否持续增长以及应用是否正常处理。 |
| TIME_WAIT | 通常是主动关闭一侧保留的协议状态。短连接多时常见,不等于还有一个未退出的业务进程。 |
| CLOSE_WAIT | 本端已收到对方关闭,但本端应用尚未完成关闭。持续堆积时应查对应程序的连接释放。 |
| SYN_RECV | 握手尚未完成。可能是流量高、回程异常或异常请求,不能凭一张状态截图判定攻击。 |
看清本地端口与对端端口
例如查看本机网站443端口的已建立连接,以及等待本端关闭的连接:
sudo ss -ntp state established 'sport = :443'
sudo ss -ntp state close-wait
sport在这里筛选本地端口。若要看本机程序访问远端HTTPS,则通常关注dport = :443,两者不能混用。-p显示进程需要相应权限,容器或不同网络命名空间也会影响能看到的范围;看不到进程名不代表连接没有归属。
TIME_WAIT可能已不对应一个仍持有套接字的进程,不要因此把它当成“隐藏进程”。可以按端口和目标汇总,观察在请求下降后是否逐步减少,而不是寻找每一条的PID来杀掉。
按现象决定下一步
- CLOSE_WAIT持续增长且集中于同一程序:保留PID、对端和时间,检查异常处理、超时路径及连接关闭逻辑。重启只能临时清掉现象,不能替代修复。
- ESTABLISHED稳定但业务变慢:核对连接池上限、实际请求量、应用线程或数据库等待,不要只追求让连接数下降。
- TIME_WAIT多且同时出现新建连接失败:再看本机临时端口、目标分布和连接复用,不能只按状态数量改系统参数。
- SYN_RECV突然上涨:结合单次抓包、访问日志和网络流量判断握手在哪一侧没有完成。
如果同时出现Too many open files,按文件句柄排查核对进程实际限制;不要将所有TCP状态都算成该进程正在占用的文件句柄。未知进程则先用进程定位方法确认归属。
完成检查后,应能说清哪一种状态、哪个进程或端口在增长,与业务量是否对应,并给出后续处理对象。保留同条件前后记录,比只发一张连接总数截图更有用。