TCP连接状态异常:区分堆积原因

服务器出现很多TCP连接,不能仅凭数量判断遭到攻击,也不能看到TIME_WAIT就认定程序泄漏。连接状态说明它处于哪个阶段,要结合连接对象、持续时间、业务量和资源变化一起看。本文以Linux的ss工具为例,只做观察,不修改内核回收参数。

先数状态,再定位业务

查看整体概况,并按状态统计。下面统计包含监听等状态,重点看同样条件下的变化趋势:

ss -s
ss -Htan | awk '{count[$1]++} END {for (state in count) print state, count[state]}'

在故障时和业务恢复后各记录一次,附上时间。不同服务器的正常规模差异很大,没有一个“超过多少条就一定异常”的通用阈值。先确定是网站入站连接增多,还是应用主动访问数据库、接口的出站连接增多。

状态 如何理解
ESTABLISHED 连接已建立。可能是正常长连接或连接池,需看数量是否持续增长以及应用是否正常处理。
TIME_WAIT 通常是主动关闭一侧保留的协议状态。短连接多时常见,不等于还有一个未退出的业务进程。
CLOSE_WAIT 本端已收到对方关闭,但本端应用尚未完成关闭。持续堆积时应查对应程序的连接释放。
SYN_RECV 握手尚未完成。可能是流量高、回程异常或异常请求,不能凭一张状态截图判定攻击。

看清本地端口与对端端口

例如查看本机网站443端口的已建立连接,以及等待本端关闭的连接:

sudo ss -ntp state established 'sport = :443'
sudo ss -ntp state close-wait

sport在这里筛选本地端口。若要看本机程序访问远端HTTPS,则通常关注dport = :443,两者不能混用。-p显示进程需要相应权限,容器或不同网络命名空间也会影响能看到的范围;看不到进程名不代表连接没有归属。

TIME_WAIT可能已不对应一个仍持有套接字的进程,不要因此把它当成“隐藏进程”。可以按端口和目标汇总,观察在请求下降后是否逐步减少,而不是寻找每一条的PID来杀掉。

按现象决定下一步

  1. CLOSE_WAIT持续增长且集中于同一程序:保留PID、对端和时间,检查异常处理、超时路径及连接关闭逻辑。重启只能临时清掉现象,不能替代修复。
  2. ESTABLISHED稳定但业务变慢:核对连接池上限、实际请求量、应用线程或数据库等待,不要只追求让连接数下降。
  3. TIME_WAIT多且同时出现新建连接失败:再看本机临时端口、目标分布和连接复用,不能只按状态数量改系统参数。
  4. SYN_RECV突然上涨:结合单次抓包、访问日志和网络流量判断握手在哪一侧没有完成。

如果同时出现Too many open files,按文件句柄排查核对进程实际限制;不要将所有TCP状态都算成该进程正在占用的文件句柄。未知进程则先用进程定位方法确认归属。

完成检查后,应能说清哪一种状态、哪个进程或端口在增长,与业务量是否对应,并给出后续处理对象。保留同条件前后记录,比只发一张连接总数截图更有用。