监控哨兵:出事要第一时间知道
没人盯着的系统,坏掉时是静音的。
服务器不会喊疼。磁盘满了、证书过期、定时任务失败,它都安安静静。
哨兵要盯的四类
- 可用性:HTTP 探活,返回码和响应时间。
- 资源:磁盘、内存、负载、连接数。
- 时效:证书到期、备份是否按点生成。
- 业务:关键接口错误率、订单量是否异常归零。
告警的三条纪律
- 分级别:能用 vs 需要立刻处理。
- 能自愈的先自愈,再通知。
- 同一条告警在恢复前不要重复轰炸。
告警太多等于没有告警。宁可少而准。