Linux服务停止后自动告警:定时检查服务并监测心跳中断

检查服务状态,也检查监控有没有运行

本文适用于 Ubuntu 24.04 LTS、systemd 管理的长期运行服务。使用另一台机器上的 Uptime Kuma 2.5.11 接收心跳并发通知;它的 HTTPS 入口须能从被监控机访问,证书有效,反向代理不能把 /api/push/ 转到登录页面。

每分钟检查一次目标服务,运行则上报正常,停止或查询失败则上报异常;若整机离线、脚本未能运行或请求持续无法送达,外部监控会因心跳缺失报警。active 只能证明 systemd 认为服务已启动,不能证明网站响应或业务正确,网站仍需单独做 HTTP 检查。本文不适用于正常执行后退出的 oneshot 任务。

创建独立Push监控和凭据文件

在 Uptime Kuma 新增 Push 类型监控,名称写明服务器和服务,心跳间隔设为180秒,初次验收重试设为0,连续失败时重复发送通知的间隔次数设为0,先禁用重复提醒。

Uptime Kuma中文Push监控心跳间隔180秒,重试0,重复通知间隔0

Uptime Kuma 2.5.11 官方临时演示:Push监控的心跳与重试设置区域。示例为180秒、重试0;重复通知间隔0表示禁用重复发送。通知渠道仍需另行绑定并实际测试。

另行绑定已实际收件的通知渠道。复制 Push URL,仅保留 /api/push/ 后的令牌路径,去掉问号及其后的参数。

sudo apt update
sudo apt install curl jq
sudo install -d -m 700 /etc/bly-monitor
sudoedit /etc/bly-monitor/service.curl

文件只填写以下一行,替换域名和令牌。URL相当于该监控的写入凭据,不能放进公开脚本、工单或截图。用配置文件传给 curl,可避免把令牌直接列在命令参数里。

url = "https://monitor.example.com/api/push/REPLACE_TOKEN"
sudo chown root:root /etc/bly-monitor/service.curl
sudo chmod 600 /etc/bly-monitor/service.curl
sudoedit /usr/local/sbin/bly-service-watch

把下面脚本保存到上述路径。首次先使用专门的测试服务;验收完成再替换 BLY_UNIT,不能填写模糊匹配或一组服务。

#!/bin/bash
set -euo pipefail
BLY_UNIT=bly-monitor-demo.service
if BLY_STATE="$(systemctl is-active "$BLY_UNIT" 2>/dev/null)"; then
  BLY_STATUS=up
else
  BLY_STATUS=down
fi
if [[ -z "$BLY_STATE" ]]; then
  BLY_STATE=query_failed
fi
BLY_REPLY="$(curl -q --fail --silent --show-error \
  --connect-timeout 5 --max-time 15 --proto '=https' \
  --config /etc/bly-monitor/service.curl --get \
  --data-urlencode "status=$BLY_STATUS" \
  --data-urlencode "msg=$BLY_UNIT state=$BLY_STATE")"
printf '%s' "$BLY_REPLY" | jq -e '.ok == true' >/dev/null
printf '%s %s %s\n' "$(date -Is)" "$BLY_UNIT" "$BLY_STATE"
sudo chown root:root /usr/local/sbin/bly-service-watch
sudo chmod 700 /usr/local/sbin/bly-service-watch
sudo bash -n /usr/local/sbin/bly-service-watch

curl 失败或返回内容不是成功的 JSON 时,脚本以非零状态结束,表示本轮未确认上报成功。请求可能已经送达、只是响应返回异常,因此还要核对监控的最后心跳与服务日志,不能直接断定外部一定缺心跳。检查程序完成不等于目标服务正常:目标停止时也会成功上报 down,具体结果要看监控状态。

使用专门的测试服务验收

先确认没有同名业务服务,再新建 /etc/systemd/system/bly-monitor-demo.service,仅用于验收:

[Unit]
Description=Disposable monitoring test

[Service]
Type=simple
ExecStart=/usr/bin/sleep infinity
sudo systemctl daemon-reload
sudo systemctl start bly-monitor-demo.service
sudo /usr/local/sbin/bly-service-watch

看到监控正常后,停止这个测试服务并再次执行脚本,确认面板故障且实际收到通知;启动测试服务后再执行一次,验收恢复通知。始终只操作这个测试服务,不停止正式应用。

sudo systemctl stop bly-monitor-demo.service
sudo /usr/local/sbin/bly-service-watch
# 收到故障通知后再恢复测试服务
sudo systemctl start bly-monitor-demo.service
sudo /usr/local/sbin/bly-service-watch

接入定时检查并测试心跳缺失

分别创建下面两个文件。service 使用默认 root 身份读取专用凭据,不需要修改被监控服务的运行用户。

/etc/systemd/system/bly-service-watch.service:

[Unit]
Description=Check one service and send heartbeat
Wants=network-online.target
After=network-online.target

[Service]
Type=oneshot
ExecStart=/usr/local/sbin/bly-service-watch
TimeoutStartSec=30s

/etc/systemd/system/bly-service-watch.timer:

[Unit]
Description=Run service check every minute

[Timer]
OnBootSec=1min
OnUnitActiveSec=60s
AccuracySec=1s

[Install]
WantedBy=timers.target
sudo systemctl daemon-reload
sudo systemctl enable --now bly-service-watch.timer
systemctl list-timers --all bly-service-watch.timer
sudo journalctl -u bly-service-watch.service -n 30 --no-pager

再只停止 bly-service-watch.timer,等待超过心跳窗口,确认收到“没有心跳”的故障通知;随后启动该 timer,并手动启动 bly-service-watch.service,确认恢复。实际通知延迟包括采样、心跳窗口、重试和通道投递时间,应记录实测结果。

自动重启的服务可能在两次采样之间退出又恢复,这种短故障未必触发状态报警,还要查看崩溃日志及重启次数。新增其他服务时,应使用独立脚本配置和独立 Push 监控,不共用一个令牌交替上报多个服务,避免正常服务覆盖异常状态。

全部通过后,将 BLY_UNIT 改为已经核对过的正式服务名,手动运行一次确认,再停止测试服务。维护时只给相关监控安排维护窗口。收到异常后先查看服务状态和系统日志,不要把无条件反复重启当作告警处理。