Linux负载很高,CPU却不忙:定位等待
面板上CPU不高,uptime里的负载却持续升高,并不矛盾。Linux的load average会计入等待运行的任务,也会计入不可中断等待中的任务;它不是CPU使用百分比。先找到任务在等什么,才知道该优化程序、降低并发,还是检查存储。
以下命令在云服务器的SSH终端执行,不在某个业务容器内部执行。容器内看到的系统负载、可用CPU和业务限额可能不是同一个范围,不能直接与整机面板拼起来比较。
把当前采样和历史平均分开
date -Is
uptime
nproc
vmstat 1 6
uptime最后三个数分别对应过去1、5、15分钟的负载趋势。刚结束重任务时,当前CPU已经降下来,过去几分钟的平均负载仍可能偏高;如果业务也恢复正常,先观察后续趋势,不急着做变更。
nproc显示当前进程可用的处理单元数,只能作为参考,不能代替服务实际的CPU限额。vmstat 1 6每秒采样,共输出六份:第一份的CPU等速率统计通常是开机以来平均,后五份才用于观察这几秒;进程和内存列是当时的状态。
| 同一时段的现象 | 优先方向 |
|---|---|
| r持续较高,us/sy也高 | 有较多任务争用CPU,核对并发、热点计算及CPU限制。 |
| b持续存在,wa升高,业务变慢 | 有IO等待线索,继续找阻塞任务和存储路径。 |
| si/so持续有活动,内存压力同步升高 | 核对工作集、并发与换页,不把所有等待归为磁盘性能不足。 |
| st连续偏高 | 记录多组时间对应数据,再核对虚拟机得到的CPU运行时间,不能凭单次值判断宿主机责任。 |
这张表用于确定下一步,不是固定故障阈值。尤其是wa,低值不能排除IO问题,高值也不直接证明磁盘损坏。
找持续处于D状态的线程
一个多线程程序可能只有部分线程阻塞。用下面的只读命令列出线程,再筛出当前D状态:
ps -eLo pid,tid,ppid,stat,wchan:28,comm | awk 'NR == 1 || $4 ~ /^D/'
PID标识进程,TID标识线程,STAT以D开头表示不可中断睡眠,通常与IO有关。WCHAN提供内核等待位置线索,显示空值、0或短名称时,不能凭它确定具体设备。
间隔几秒重新查看,记下反复出现的PID,再识别业务。下面的数字要替换为刚确认的实际PID:
ps -p 1234 -o pid,ppid,user,etime,stat,args
如果是数据库、备份或同步进程,先对齐正在执行的任务。D状态也可能涉及远程存储等等待,不一定是本地云盘;仅凭一次快照不能判定“卡死”。不要把筛出的PID批量送给kill,强信号也未必能让不可中断等待立即结束。
看资源压力,而不只看利用率
内核提供PSI接口时,查看三类压力。这个循环只读取文件:
for pressure_kind in cpu io memory; do
printf '\n%s\n' "$pressure_kind"
cat "/proc/pressure/$pressure_kind"
done
some表示至少有部分任务因该资源而停顿的时间占比。比如avg10=20.00表示最近10秒的压力时间占比约20%,不是CPU或磁盘用了20%。avg60和avg300可用来观察更长趋势,最好与正常业务时段对照。
IO压力与业务延迟同步上升时,按磁盘IO排查继续看设备等待和读写来源;内存压力明显时,结合可用内存与交换检查判断。接口不存在或读取失败,先记录内核和权限情况,不把它当成零压力。
整机有余量,服务也可能被单独限制
如果业务属于systemd服务,先替换实际单元名,查看它的控制组及本机cgroup类型:
systemctl show myapp.service -p ControlGroup
stat -fc %T /sys/fs/cgroup
第二条输出为cgroup2fs,并且控制组仍存在时,才按实际ControlGroup路径读取。下面只是常见路径示例:
sudo cat /sys/fs/cgroup/system.slice/myapp.service/cpu.max
sudo cat /sys/fs/cgroup/system.slice/myapp.service/cpu.stat
cpu.max是该组的CPU带宽上限;cpu.stat中nr_throttled和throttled_usec可提供节流线索。连续两次读取,比较故障期间是否增长,不能把累计数值当成当前占比。还要核对父级限制,子组显示max也不代表整条层级没有限制;缺少文件时不要套用其他服务的路径。
按等待来源调整,再用同类请求验收
备份与导入撞在一起,可以在业务允许时错开任务或降低并发;应用工作集超过可用内存,应先减少无效占用再评估容量;服务预算过低,应回到原管理配置核对父级和其他业务的资源安排。不要为降低一个load数字清空缓存、重启数据库或直接取消所有限额。
调整后用相近请求量比较响应时间、错误率、D状态线程和压力趋势,并记录采样时间。负载平均值回落有延迟,真正要确认的是业务等待减少、错误不再出现。仍需协助时,提供同一时段的这些证据,比只截一张“负载很高”的面板更容易定位。