Linux负载很高,CPU却不忙:定位等待

面板上CPU不高,uptime里的负载却持续升高,并不矛盾。Linux的load average会计入等待运行的任务,也会计入不可中断等待中的任务;它不是CPU使用百分比。先找到任务在等什么,才知道该优化程序、降低并发,还是检查存储。

以下命令在云服务器的SSH终端执行,不在某个业务容器内部执行。容器内看到的系统负载、可用CPU和业务限额可能不是同一个范围,不能直接与整机面板拼起来比较。

把当前采样和历史平均分开

date -Is
uptime
nproc
vmstat 1 6

uptime最后三个数分别对应过去1、5、15分钟的负载趋势。刚结束重任务时,当前CPU已经降下来,过去几分钟的平均负载仍可能偏高;如果业务也恢复正常,先观察后续趋势,不急着做变更。

nproc显示当前进程可用的处理单元数,只能作为参考,不能代替服务实际的CPU限额。vmstat 1 6每秒采样,共输出六份:第一份的CPU等速率统计通常是开机以来平均,后五份才用于观察这几秒;进程和内存列是当时的状态。

同一时段的现象 优先方向
r持续较高,us/sy也高 有较多任务争用CPU,核对并发、热点计算及CPU限制。
b持续存在,wa升高,业务变慢 有IO等待线索,继续找阻塞任务和存储路径。
si/so持续有活动,内存压力同步升高 核对工作集、并发与换页,不把所有等待归为磁盘性能不足。
st连续偏高 记录多组时间对应数据,再核对虚拟机得到的CPU运行时间,不能凭单次值判断宿主机责任。

这张表用于确定下一步,不是固定故障阈值。尤其是wa,低值不能排除IO问题,高值也不直接证明磁盘损坏。

找持续处于D状态的线程

一个多线程程序可能只有部分线程阻塞。用下面的只读命令列出线程,再筛出当前D状态:

ps -eLo pid,tid,ppid,stat,wchan:28,comm | awk 'NR == 1 || $4 ~ /^D/'

PID标识进程,TID标识线程,STAT以D开头表示不可中断睡眠,通常与IO有关。WCHAN提供内核等待位置线索,显示空值、0或短名称时,不能凭它确定具体设备。

间隔几秒重新查看,记下反复出现的PID,再识别业务。下面的数字要替换为刚确认的实际PID:

ps -p 1234 -o pid,ppid,user,etime,stat,args

如果是数据库、备份或同步进程,先对齐正在执行的任务。D状态也可能涉及远程存储等等待,不一定是本地云盘;仅凭一次快照不能判定“卡死”。不要把筛出的PID批量送给kill,强信号也未必能让不可中断等待立即结束。

看资源压力,而不只看利用率

内核提供PSI接口时,查看三类压力。这个循环只读取文件:

for pressure_kind in cpu io memory; do
    printf '\n%s\n' "$pressure_kind"
    cat "/proc/pressure/$pressure_kind"
done

some表示至少有部分任务因该资源而停顿的时间占比。比如avg10=20.00表示最近10秒的压力时间占比约20%,不是CPU或磁盘用了20%。avg60和avg300可用来观察更长趋势,最好与正常业务时段对照。

IO压力与业务延迟同步上升时,按磁盘IO排查继续看设备等待和读写来源;内存压力明显时,结合可用内存与交换检查判断。接口不存在或读取失败,先记录内核和权限情况,不把它当成零压力。

整机有余量,服务也可能被单独限制

如果业务属于systemd服务,先替换实际单元名,查看它的控制组及本机cgroup类型:

systemctl show myapp.service -p ControlGroup
stat -fc %T /sys/fs/cgroup

第二条输出为cgroup2fs,并且控制组仍存在时,才按实际ControlGroup路径读取。下面只是常见路径示例:

sudo cat /sys/fs/cgroup/system.slice/myapp.service/cpu.max
sudo cat /sys/fs/cgroup/system.slice/myapp.service/cpu.stat

cpu.max是该组的CPU带宽上限;cpu.stat中nr_throttled和throttled_usec可提供节流线索。连续两次读取,比较故障期间是否增长,不能把累计数值当成当前占比。还要核对父级限制,子组显示max也不代表整条层级没有限制;缺少文件时不要套用其他服务的路径。

按等待来源调整,再用同类请求验收

备份与导入撞在一起,可以在业务允许时错开任务或降低并发;应用工作集超过可用内存,应先减少无效占用再评估容量;服务预算过低,应回到原管理配置核对父级和其他业务的资源安排。不要为降低一个load数字清空缓存、重启数据库或直接取消所有限额。

调整后用相近请求量比较响应时间、错误率、D状态线程和压力趋势,并记录采样时间。负载平均值回落有延迟,真正要确认的是业务等待减少、错误不再出现。仍需协助时,提供同一时段的这些证据,比只截一张“负载很高”的面板更容易定位。