systemd日志占满磁盘:控制journal体积
磁盘告警时,发现/var/log/journal很大,不要直接删整个目录。journal是systemd维护的日志文件,有正在写入和已经归档两种状态。先决定需要留下哪些故障证据,再使用它自己的轮转与清理功能。
下面适用于Ubuntu、Debian等使用systemd的服务器,命令在服务器管理员终端执行,处理默认journal命名空间。使用独立日志命名空间的业务,需要单独核对实例和保留策略,不能套用默认实例的结果。
先确认占用究竟在哪里
sudo journalctl --disk-usage
sudo du -sh /var/log/journal /run/log/journal
df -h /var/log /run
--disk-usage统计可访问的活动及归档journal文件。/var/log/journal是持久日志位置,/run/log/journal是运行期日志位置;某个目录不存在,不代表日志服务坏了。对照df看它们所在的文件系统,避免系统盘紧张时却只清理内存文件系统中的日志。
如果journal只占很小一部分,先按磁盘容量与inode排查查其他来源。Nginx独立访问日志、容器日志和数据库文件,不受下面的journal预算直接控制。
需要立即回收空间时,先保存故障窗口
清理会永久删掉最旧的归档记录。正在调查故障时,先按journalctl查询与导出教程把需要的时间窗口保存在有足够空间的位置,并确认导出文件能读取。不要把大批导出文件又写回已经满的系统盘。
确认历史记录可以丢弃后,可将归档日志控制到示例预算500M。这个数字需要按磁盘余量和留存需求调整:
sudo journalctl --rotate --vacuum-size=500M
sudo journalctl --disk-usage
df -h /var/log /run
--rotate先把当前活动文件轮转为归档,再由--vacuum-size删除最旧归档。这是针对journal文件的清理,不是只删除某个服务的消息。仍在使用的活动文件不会被vacuum直接删除,因此最终显示值可能略高于指定预算。
如果输出表示释放了0B,先看是不是本来就没有满足条件的旧归档、占用来自另一个命名空间,或者大头根本不在journal;不要马上转为手动删除文件。一次vacuum只处理现有归档,不会自动给未来增长设上限。
给后续日志设预算,保留原有存储方式
先读配置及其来源,查看是否已有同名限制:
sudo systemd-analyze cat-config systemd/journald.conf
配置片段会按文件名排序,单值选项通常以后出现的设置为准。不要只看主文件里的注释默认值。下面用独立片段记录本次调整;如果文件已存在,先另存原内容再编辑,保留其他已有设置:
sudo install -d -m 0755 /etc/systemd/journald.conf.d
sudo nano /etc/systemd/journald.conf.d/70-size-limits.conf
示例内容如下。它没有修改Storage=,不会主动把临时日志改成持久日志:
[Journal]
SystemMaxUse=500M
SystemKeepFree=1G
RuntimeMaxUse=100M
SystemMaxUse限制持久journal预算,SystemKeepFree要求journald尽量给同一文件系统的其他用途留下余量,两项共同约束;RuntimeMaxUse用于运行期日志。1G是示例余量,不能阻止其他程序继续把磁盘写满,也不会给磁盘自动扩容。
日志高峰越密集,同样的空间能保存的历史就越短。若业务要求保留完整记录,应先安排外部保存和容量,不要把“限制大小”理解成“保证保存若干天”。只缩小预算而不处理刷屏的错误,会更快丢失有用的故障上下文。
让配置生效,并确认新日志仍在写入
确认片段没有被后续配置覆盖后,重启日志服务并检查状态。这里使用一次restart;不要拆成先stop再start,以免破坏业务连接到journal的日志流:
sudo systemctl restart systemd-journald.service
sudo systemctl is-active systemd-journald.service
sudo journalctl -u systemd-journald.service --since '5 minutes ago' --no-pager -n 40
sudo journalctl --disk-usage
active只是第一步,还要确认没有未知配置项等报错,并查看近期业务日志确实继续产生。过一段正常业务流量后再比较占用;若短时间又接近预算,定位不断重复报错的服务。只改journald配置不需要用daemon-reload替代日志服务重启。
需要回退时,恢复原片段;本次新建的片段则移走,再重启同一个日志服务并复查。回退配置只能恢复后续保留策略,已经被vacuum删除的历史不会回来。