本篇要点
- 三层:可用性(能不能访问)、资源(CPU/内存/磁盘)、业务(接口能不能返回)。
- 阈值按「可接受的最差情况」定,不按厂商推荐值抄。
- 告警渠道必须是你每天会看的那一个,否则等于没告警。
三层监控
| 层 | 看什么 | 漏掉的后果 |
|---|---|---|
| 可用性 | 站点或端口能否访问 | 机器活着但服务挂了,你以为一切正常 |
| 资源 | CPU、内存、磁盘、带宽 | 磁盘悄悄涨到 100%,写入全失败 |
| 业务 | 关键接口的返回码与耗时 | 页面能打开,但下单接口一直在 500 |
三层里最常被跳过的是第三层。原因很实际:可用性探针一条命令就能配,业务探针要写脚本、要知道哪个接口重要。但真正影响用户的失败,多数发生在业务层。
最小组合
- 外部探针:放在另一家机房,每分钟访问一次首页与关键接口
- 机器侧采集:系统自带命令加定时脚本,记录 CPU、内存、磁盘、连接数
- 日志侧:错误日志按小时统计行数,突增就告警
- 通知:一个你每天会看的渠道,不要只发邮件
外部探针必须在另一家机房,最好在另一个地区。放在同一台机器上的监控,机器挂了它也跟着挂,最后一个告警都发不出来。
阈值怎么定
| 指标 | 常见误设 | 建议口径 |
|---|---|---|
| CPU | 超过 80% 就告警 | 持续 5 分钟超过 90%,单次尖峰不告警 |
| 内存 | 看剩余量 | 看可用内存与 swap 使用,swap 持续增长才是问题 |
| 磁盘 | 超过 90% 才管 | 85% 提醒、92% 告警,留出清理时间 |
| 接口耗时 | 按平均值 | 按 P95,平均值会掩盖长尾 |
阈值的作用是「让你有时间处理」,不是「精确描述健康状况」。定得太紧会天天响,定得太松等于没有。
告警疲劳
同一个问题连续告警三十次,人会开始忽略所有告警。三条降噪规则:同一指标设冷却时间、把「已知的维护窗口」提前静音、把「通知」与「记录」分开——不是每条都要叫醒你。
两个典型缺口
- 只监控机器不监控服务:CPU 正常、磁盘正常,但容器挂了三天没人知道
- 告警发到自己不看的渠道:邮件进了归档,Telegram 群设了免打扰
常见问题
需要装 Prometheus 吗?
单机不必。一套外部探针加几个定时脚本就能覆盖三层,复杂方案在有多个实例时才划算。
监控数据存多久?
原始数据留 15 天够定位问题,长期只看日聚合。留太久占磁盘,反而制造新问题。
要不要监控流量?
要。带宽跑满与流量超额是两种故障,前者影响体验,后者可能直接停服。
告警发到哪里合适?
你手机上会亮屏的那个。邮件适合归档,不适合叫醒。