本篇要点
- 系统日志用 journalctl,服务日志看各自目录,容器日志用 docker logs。
- 查问题先按时间过滤,再按关键词过滤,别一上来翻全文。
- 不设轮转的日志迟早撑爆磁盘,这是最高频的「磁盘满」原因。
日志在哪
| 来源 | 位置 | 常用命令 |
|---|---|---|
| systemd 服务 | journald | journalctl -u 服务名 -n 100 |
| Nginx / Apache | /var/log/nginx/ 等 | tail -f error.log |
| 应用自定义 | 项目目录下的 logs/ | 按框架约定 |
| 容器 | Docker 的 json 文件 | docker logs --tail 200 容器名 |
三条命令定位
journalctl -u nginx --since "1 hour ago" | grep -i error
tail -f /var/log/nginx/error.log
grep -c " 500 " /var/log/nginx/access.log第一条按时间窗口看服务日志,第二条实时跟,第三条统计某类状态码的次数。排查的顺序通常是:先确认有没有报错,再看错误集中在哪个时间段,最后才去改配置。
轮转与保留
logrotate 的价值是两个上限:单个文件多大就切、切完保留几份。没有这两个上限,日志会一直写进同一个文件,直到磁盘满。容器场景要单独设,Docker 默认不限制日志大小,这是很多人磁盘莫名被占满的原因。
日志级别怎么调
- 平时用 info,排查时临时开 debug,问题定位后立刻改回
- debug 日志量可能是 info 的几十倍,长期开会让磁盘与 IO 都吃紧
- 生产环境不要开 trace,除非你在复现一个具体问题
两个问题
- 日志里混进密钥:请求头、连接串、异常堆栈都可能带出密码,日志文件要当敏感数据处理
- 时区不一致:容器默认 UTC,业务日志按本地时间写,两者对照时差 8 小时,排查容易看错时间线
容器场景还有一层默认行为要注意:Docker 的日志驱动默认把 stdout 写成 json 文件,且不限制大小,几十个容器跑一周就能吃掉几个 GB。要么在 daemon 或 compose 里设 max-size 与 max-file,要么改用把日志送到 stdout 之外的方式。这个坑和系统日志轮转是两套配置,改了一个不代表另一个也生效。
常见问题
日志要留多久?
排查用的原始日志留 7 到 15 天足够;合规要求另算。留太久既占空间也增加泄露风险。
能不能只留错误日志?
不建议。异常前的 info 日志往往是定位关键,只留错误会看不到上下文。
日志能直接发到外部服务吗?
能,但要先脱敏。含用户信息与凭据的日志不要原样外发。
重启后日志没了?
说明日志写在内存或容器的可写层。持久化目录挂载出来即可。