证书过期那天:一次真实事故复盘
没有报错,用户只是打不开——最难查的那种故障。
那天早上,站点打不开,但服务器一切正常:进程在、端口在、日志没有 5xx。因为请求根本没进来。
时间线
- 08:10 有人反馈打不开。
- 08:20 服务自检全绿,开始怀疑网络。
- 08:35 浏览器提示证书问题,才发现证书在凌晨过期。
- 08:45 续期并重载,恢复。
为什么没提前发现
- 监控只探活业务端口,没有探 HTTPS 证书链。
- 自动续期失败时,失败通知发到了一个没人看的邮箱。
改了什么
- 证书到期 30 天 前开始告警,7 天 前升级为强提醒。
- 告警走即时消息,不走邮件。
- 把"HTTPS 可访问"加进每日巡检清单。
教训:能自愈的机制,必须有人知道它什么时候没能自愈。