运维 / 日志

日志是入口,也是黑洞

会查日志的人省下的不是时间,是「重启试试」这类盲目操作。

日志位置三条命令轮转与保留
本篇要点
  • 系统日志用 journalctl,服务日志看各自目录,容器日志用 docker logs。
  • 查问题先按时间过滤,再按关键词过滤,别一上来翻全文。
  • 不设轮转的日志迟早撑爆磁盘,这是最高频的「磁盘满」原因。

日志在哪

来源位置常用命令
systemd 服务journaldjournalctl -u 服务名 -n 100
Nginx / Apache/var/log/nginx/ 等tail -f error.log
应用自定义项目目录下的 logs/按框架约定
容器Docker 的 json 文件docker logs --tail 200 容器名

三条命令定位

journalctl -u nginx --since "1 hour ago" | grep -i error
tail -f /var/log/nginx/error.log
grep -c " 500 " /var/log/nginx/access.log

第一条按时间窗口看服务日志,第二条实时跟,第三条统计某类状态码的次数。排查的顺序通常是:先确认有没有报错,再看错误集中在哪个时间段,最后才去改配置。

轮转与保留

logrotate 的价值是两个上限:单个文件多大就切、切完保留几份。没有这两个上限,日志会一直写进同一个文件,直到磁盘满。容器场景要单独设,Docker 默认不限制日志大小,这是很多人磁盘莫名被占满的原因。

日志级别怎么调

  • 平时用 info,排查时临时开 debug,问题定位后立刻改回
  • debug 日志量可能是 info 的几十倍,长期开会让磁盘与 IO 都吃紧
  • 生产环境不要开 trace,除非你在复现一个具体问题

两个问题

  • 日志里混进密钥:请求头、连接串、异常堆栈都可能带出密码,日志文件要当敏感数据处理
  • 时区不一致:容器默认 UTC,业务日志按本地时间写,两者对照时差 8 小时,排查容易看错时间线

容器场景还有一层默认行为要注意:Docker 的日志驱动默认把 stdout 写成 json 文件,且不限制大小,几十个容器跑一周就能吃掉几个 GB。要么在 daemon 或 compose 里设 max-size 与 max-file,要么改用把日志送到 stdout 之外的方式。这个坑和系统日志轮转是两套配置,改了一个不代表另一个也生效。

常见问题

日志要留多久?

排查用的原始日志留 7 到 15 天足够;合规要求另算。留太久既占空间也增加泄露风险。

能不能只留错误日志?

不建议。异常前的 info 日志往往是定位关键,只留错误会看不到上下文。

日志能直接发到外部服务吗?

能,但要先脱敏。含用户信息与凭据的日志不要原样外发。

重启后日志没了?

说明日志写在内存或容器的可写层。持久化目录挂载出来即可。