运维 / 监控

先能看见,才谈得上稳定

监控的价值不在曲线好看,而在你睡觉时它能把人叫醒——且不是天天叫。

三层监控阈值口径告警降噪
本篇要点
  • 三层:可用性(能不能访问)、资源(CPU/内存/磁盘)、业务(接口能不能返回)。
  • 阈值按「可接受的最差情况」定,不按厂商推荐值抄。
  • 告警渠道必须是你每天会看的那一个,否则等于没告警。

三层监控

层看什么漏掉的后果
可用性站点或端口能否访问机器活着但服务挂了,你以为一切正常
资源CPU、内存、磁盘、带宽磁盘悄悄涨到 100%,写入全失败
业务关键接口的返回码与耗时页面能打开,但下单接口一直在 500

三层里最常被跳过的是第三层。原因很实际:可用性探针一条命令就能配,业务探针要写脚本、要知道哪个接口重要。但真正影响用户的失败,多数发生在业务层。

最小组合

  • 外部探针:放在另一家机房,每分钟访问一次首页与关键接口
  • 机器侧采集:系统自带命令加定时脚本,记录 CPU、内存、磁盘、连接数
  • 日志侧:错误日志按小时统计行数,突增就告警
  • 通知:一个你每天会看的渠道,不要只发邮件

外部探针必须在另一家机房,最好在另一个地区。放在同一台机器上的监控,机器挂了它也跟着挂,最后一个告警都发不出来。

阈值怎么定

指标常见误设建议口径
CPU超过 80% 就告警持续 5 分钟超过 90%,单次尖峰不告警
内存看剩余量看可用内存与 swap 使用,swap 持续增长才是问题
磁盘超过 90% 才管85% 提醒、92% 告警,留出清理时间
接口耗时按平均值按 P95,平均值会掩盖长尾

阈值的作用是「让你有时间处理」,不是「精确描述健康状况」。定得太紧会天天响,定得太松等于没有。

告警疲劳

同一个问题连续告警三十次,人会开始忽略所有告警。三条降噪规则:同一指标设冷却时间、把「已知的维护窗口」提前静音、把「通知」与「记录」分开——不是每条都要叫醒你。

两个典型缺口

  • 只监控机器不监控服务:CPU 正常、磁盘正常,但容器挂了三天没人知道
  • 告警发到自己不看的渠道:邮件进了归档,Telegram 群设了免打扰

常见问题

需要装 Prometheus 吗?

单机不必。一套外部探针加几个定时脚本就能覆盖三层,复杂方案在有多个实例时才划算。

监控数据存多久?

原始数据留 15 天够定位问题,长期只看日聚合。留太久占磁盘,反而制造新问题。

要不要监控流量?

要。带宽跑满与流量超额是两种故障,前者影响体验,后者可能直接停服。

告警发到哪里合适?

你手机上会亮屏的那个。邮件适合归档,不适合叫醒。