用flock避免cron任务重叠:上次未结束时跳过本轮

适用:Ubuntu 24.04 LTS上的单机定时任务,例如备份、数据导入或报表生成。任务每五分钟启动一次,但有时十分钟才结束,就可能出现两个进程同时写入。本文让同一任务一次只运行一份;错过的一轮直接跳过,不自动补跑。

一、先确认是否适合跳过

适合使用同一份最新数据重新计算的任务,例如定期备份和状态统计。如果每轮对应独立订单、账单或必须处理的记录,不能用“跳过”替代业务队列和幂等处理。先确保任务本身能识别已处理的数据。

锁文件放在本机文件系统、任务账号可写的专用目录里。所有启动入口必须使用同一个锁,包括人工执行和cron;直接运行原脚本会绕过保护。不同服务器上的同名锁文件也不能形成分布式锁。

二、给现有脚本加一层入口

以下以原本就由root运行的/opt/site-jobs/backup.sh为例,不要把普通用户任务改成root只为使用示例。若原任务使用其他账号,沿用该账号并改为它有权限的专用目录。

command -v flock
sudo install -d -m 700 /var/lib/site-jobs
sudo nano /usr/local/sbin/run-site-backup

将下面内容保存为新入口。原业务脚本路径、锁文件和日志名称都要改成自己的任务;不同任务分别使用不同的锁。

#!/bin/bash
set -u

exec 9>/var/lib/site-jobs/backup.lock || exit 1
/usr/bin/flock -n -E 75 9
BLY_LOCK_RC=$?

if [ "$BLY_LOCK_RC" -eq 75 ]; then
    printf '%s SKIP 上一轮仍在运行\n' "$(date -Is)"
    exit 0
fi
if [ "$BLY_LOCK_RC" -ne 0 ]; then
    printf '%s LOCK_ERROR %s\n' "$(date -Is)" "$BLY_LOCK_RC"
    exit "$BLY_LOCK_RC"
fi

printf '%s START\n' "$(date -Is)"
/usr/bin/bash /opt/site-jobs/backup.sh
BLY_TASK_RC=$?
printf '%s END %s\n' "$(date -Is)" "$BLY_TASK_RC"
exit "$BLY_TASK_RC"

-n表示拿不到锁就立即返回;这里用75区分“已有任务占锁”与其他加锁错误。业务脚本失败时保留它原来的退出码,不把失败记录成成功。任务须在前台执行,脚本内部不要把真正的工作放到后台后立即退出。

三、先检查,再替换原来的cron入口

先检查新入口的语法,并在维护时机用同一账号手动运行一次:

sudo bash -n /usr/local/sbin/run-site-backup
sudo /bin/bash /usr/local/sbin/run-site-backup

这一步会真实执行原业务脚本。涉及扣费、发信、导入等副作用时,先在测试副本验证,不要为了测锁反复运行正式任务。确认无误后编辑原任务所在账号的crontab,替换原行,不额外保留一条重复任务:

*/5 * * * * /bin/bash /usr/local/sbin/run-site-backup >> /var/log/site-backup.log 2>&1

示例表示每五分钟触发一次。若使用/etc/crontab或/etc/cron.d,还需要填写运行用户;不要把账号crontab和系统crontab两种格式混用。

四、检查四种结果

结果 应该看到什么
正常执行 有START和END,END后的退出码为0,并且业务产物正确。
上一轮未完成 新一轮只有SKIP,不出现第二次START。
业务失败 END记录非零退出码,按原任务日志继续排查。
任务结束后再次运行 可以重新获得锁,下一轮正常开始。

锁文件留在目录里是正常现象,是否正在加锁由系统维护,不能靠“文件存在”判断。不要删除锁文件来强行解锁:其他进程可能锁到新文件,反而造成并发。长期只有SKIP时,查旧进程是否卡住和为什么耗时增加,不要直接缩短周期或杀掉正在写数据的程序。

相关教程:Linux定时任务与结果检查、查找进程并安全停止。