服务器流量突然升高:用NetHogs找到占用流量的进程

先区分总流量和进程流量

本文适用于 Ubuntu 24.04 LTS,使用发行版 NetHogs 0.8.7 观察当前流量。它适合回答“此刻哪个进程在上传或下载”,不能补查安装前的进程历史,也不是公网账单对账工具。若异常已经结束,应先保存出现时间,再结合访问日志、备份计划和历史网卡统计。

先确认观察的是哪台机器、哪个网卡。回环、容器桥、内网卡和公网出口承担不同流量,把它们全部相加可能重复计算。不要因为发送量大就直接停止进程,网站下载、备份或正常同步都可能产生高流量。

找到网卡并做短时采样

sudo apt update
sudo apt install nethogs
nethogs -V
ip -br address
ip route
ip -s link

根据实际路由和地址选网卡;下面的 ens3 仅是示例,必须替换。先查看该网卡累计收发字节,再以两秒为间隔观察进程。NetHogs 的 -C 同时捕获 TCP 与 UDP,避免只看 TCP 时漏掉游戏等 UDP 业务。

ip -s link show dev ens3
sudo nethogs -C -d 2 ens3

界面中看进程、PID、用户及发送/接收列。按 s 按发送量排序,按 r 按接收量排序,按 q 退出。默认显示 KB/s;按 m 会切换累计量和速率,比较前先确认单位。速率是这一采样窗口的结果,不能拿一次峰值乘全天时间当作当天总量。

需要保存约一分钟的文字证据时,执行以下有限次数采样。临时文件默认仅当前用户可读;发工单前遮盖真实地址、用户名和不相关的程序路径。

(
  if ! BLY_NET_LOG="$(mktemp)"; then
    echo "无法创建记录文件,已停止采样" >&2
    exit 1
  fi
  date -Is > "$BLY_NET_LOG" || exit 1
  if sudo nethogs -C -t -d 2 -c 30 ens3 >> "$BLY_NET_LOG"; then
    printf '采样完成,记录位置:%s\n' "$BLY_NET_LOG"
  else
    printf '采样失败,请检查错误;部分记录保留在:%s\n' "$BLY_NET_LOG" >&2
    exit 1
  fi
)

把PID对应到真实业务

以下 1234 为采样时看到的 PID,必须替换。先记录进程开始时间、所属用户和服务,再看连接。PID 会被复用,不能凭昨天记录的数字去结束今天的进程。

BLY_PID=1234
ps -p "$BLY_PID" -o pid,ppid,user,lstart,comm
sudo readlink -f "/proc/$BLY_PID/exe"
sudo systemctl status "$BLY_PID" --no-pager
sudo ss -tpn
sudo ss -upn

在 ss 输出中核对相同 PID 的目标地址和端口。连接数量多不代表字节数大,NetHogs 与 ss 应结合看。程序命令行有时包含数据库密码或访问令牌,所以先用 comm 查看程序名;确需检查完整参数时,只在本机查看并脱敏保存。

按证据处理,而不是盲目杀进程

观察结果 建议处理
备份、同步或部署进程持续发送 核对是否处于计划时段,使用该任务支持的并发或速率设置,并选择合适窗口。
Nginx等网站进程发送量大 按同一时段检查访问日志中的文件、状态码和请求来源,判断是否大文件被集中下载。
未知进程连接陌生目标 保存程序路径、开始时间、连接和日志,核对部署来源;按已确认的单个服务控制,不清空全部网络规则。
流量很大却显示unknown或对不上PID 检查是否容器转发、NAT、短连接或进程已退出,不能强行把剩余流量归给某个程序。

Docker 场景可用 docker stats --no-stream 辅助查看容器的 NET I/O,但那里主要是累计量,不能直接当作实时速率;宿主机转发流量也不一定能归到容器内的真实 PID。采样全为零时,先核对选卡、采样时段和权限,不代表服务器没有流量。

调整后用相同网卡、间隔和业务场景再采样,确认流量变化与网站功能。需要停止已确认的进程时参考安全定位和停止进程;流量规则见带宽、流量与限速说明。本文的采样命令结束后不会继续后台记录或发送告警。