磁盘写满前预警:同时检查容量、inode和数据盘挂载

容量与inode都需要检查

本文适用于 Ubuntu 24.04 LTS、systemd 和能报告 inode 使用率的本地文件系统,以 ext4 为例。大文件可能耗尽容量,大量小文件可能先耗尽 inode;只检查 df -h 会漏掉后一种情况。若数据盘没挂载,直接检查 /data 还可能误读根分区,得到错误的正常结果。

示例每分钟检查根分区 / 和独立挂载的 /data,容量或 inode 达到 80% 即上报异常。80% 是起点,不是适合所有业务的标准;根据每天增长量、最大导入文件及处理时间预留空间,增长快的业务应提前报警。脚本不会自动删除文件。

准备外部告警与挂载清单

准备另一台机器上已可经 HTTPS 访问的 Uptime Kuma 2.5.11。新增一个 Push 监控,心跳窗口设为180秒,验收阶段重试设为0,连续失败时重复发送通知的间隔次数设为0,先禁用重复提醒。

Uptime Kuma中文Push监控心跳间隔180秒,重试0,重复通知间隔0

Uptime Kuma 2.5.11 官方临时演示:Push监控的心跳与重试设置区域。示例为180秒、重试0;重复通知间隔0表示禁用重复发送。通知渠道仍需另行绑定并实际测试。

另行绑定已实际收件的通知渠道。把 Push URL 的问号及后续参数去掉,保留带令牌的路径。

findmnt -o TARGET,SOURCE,FSTYPE
df -h / /data
df -i / /data
sudo apt update
sudo apt install curl jq
sudo install -d -m 700 /etc/bly-monitor
sudoedit /etc/bly-monitor/disk.curl

确认 /data 对应预期设备。没有独立数据盘时,从下面脚本的挂载清单删去 /data;其他目录应先找到其真正的挂载点,不要把同一个文件系统重复列入。disk.curl 只保存下列一行,替换域名和令牌:

url = "https://monitor.example.com/api/push/REPLACE_TOKEN"
sudo chown root:root /etc/bly-monitor/disk.curl
sudo chmod 600 /etc/bly-monitor/disk.curl
sudoedit /usr/local/sbin/bly-disk-watch

安装只读检查脚本

保存以下脚本。它先核对精确挂载点,再读取容量和 inode;读取失败、缺少挂载或指标不是数字都会上报异常,避免把“没有检查到”当作零占用。本例挂载路径不含空格,新增目标时应逐个核实。

#!/bin/bash
set -euo pipefail
BLY_BYTES_LIMIT=80
BLY_INODE_LIMIT=80
BLY_STATUS=up
BLY_MESSAGE=""
for BLY_MOUNT in / /data; do
  if ! findmnt -rn --mountpoint "$BLY_MOUNT" >/dev/null; then
    BLY_STATUS=down
    BLY_MESSAGE="$BLY_MESSAGE $BLY_MOUNT not_mounted;"
    continue
  fi
  if ! BLY_ROW="$(LC_ALL=C df --output=pcent,ipcent -- "$BLY_MOUNT" |
    awk 'NR==2{gsub(/%/,""); print $1, $2}')"; then
    BLY_STATUS=down
    BLY_MESSAGE="$BLY_MESSAGE $BLY_MOUNT read_failed;"
    continue
  fi
  read -r BLY_BYTES BLY_INODES <<< "$BLY_ROW"
  if [[ ! "$BLY_BYTES" =~ ^[0-9]+$ || ! "$BLY_INODES" =~ ^[0-9]+$ ]]; then
    BLY_STATUS=down
    BLY_MESSAGE="$BLY_MESSAGE $BLY_MOUNT invalid_metrics;"
    continue
  fi
  BLY_MESSAGE="$BLY_MESSAGE $BLY_MOUNT bytes=$BLY_BYTES% inode=$BLY_INODES%;"
  if (( BLY_BYTES >= BLY_BYTES_LIMIT || BLY_INODES >= BLY_INODE_LIMIT )); then
    BLY_STATUS=down
  fi
done
BLY_REPLY="$(curl -q --fail --silent --show-error \
  --connect-timeout 5 --max-time 15 --proto '=https' \
  --config /etc/bly-monitor/disk.curl --get \
  --data-urlencode "status=$BLY_STATUS" \
  --data-urlencode "msg=$BLY_MESSAGE")"
printf '%s' "$BLY_REPLY" | jq -e '.ok == true' >/dev/null
printf '%s %s %s\n' "$(date -Is)" "$BLY_STATUS" "$BLY_MESSAGE"
sudo chown root:root /usr/local/sbin/bly-disk-watch
sudo chmod 700 /usr/local/sbin/bly-disk-watch
sudo bash -n /usr/local/sbin/bly-disk-watch
sudo /usr/local/sbin/bly-disk-watch

确认监控收到当前状态。若 inode 返回横线等非数字,先核对文件系统是否支持这一指标,不能把它替换成零。遇到外部接口、TLS或JSON验证失败,脚本会以非零状态结束,日志应保留错误。请求可能已经被服务端接受,不能只凭响应校验失败推断心跳未送达;结合最后心跳和systemd日志判断。脚本持续未运行或请求持续无法送达时,外部才会按缺心跳规则处理。

每分钟运行一次

创建 /etc/systemd/system/bly-disk-watch.service:

[Unit]
Description=Check filesystem capacity and inode usage
Wants=network-online.target
After=network-online.target

[Service]
Type=oneshot
ExecStart=/usr/local/sbin/bly-disk-watch
TimeoutStartSec=30s

创建 /etc/systemd/system/bly-disk-watch.timer:

[Unit]
Description=Run disk check every minute

[Timer]
OnBootSec=1min
OnUnitActiveSec=60s
AccuracySec=1s

[Install]
WantedBy=timers.target
sudo systemctl daemon-reload
sudo systemctl enable --now bly-disk-watch.timer
systemctl list-timers --all bly-disk-watch.timer
sudo journalctl -u bly-disk-watch.service -n 30 --no-pager

不用写满磁盘也能验收

  1. 只把容量阈值临时改为 0,运行脚本,确认面板异常并实际收到通知;恢复原值再运行,确认恢复。
  2. 只把 inode 阈值改为 0,重复故障与恢复验收。这样能验证两个条件都参与判断。
  3. 在清单临时加入一个确认不存在的挂载点,运行后应报告 not_mounted;随后恢复清单。不要卸载真实数据盘制造故障。
  4. 只停止 bly-disk-watch.timer,等待超过 180 秒心跳窗口,确认无心跳通知;重新启动 timer,并手动启动 bly-disk-watch.service,确认恢复。

每次验收都要等故障通知实际送达再恢复,保存触发与送达时间。全部完成后核对两个阈值、挂载清单和 timer 启用状态,令牌及通知地址不得留在公开截图中。监控机本身仍须由独立位置检查。

收到告警后先看容量、inode及增长速度,按磁盘空间与inode排查定位目录;日志应按保留规则轮转,业务数据应先确认备份与归属。若挂载丢失,先修复挂载并确认应用写入位置,不能靠删除根分区文件消除表面告警。该检查是分钟级采样,无法保证突然的大量写入一定提前被捕获。