巡检节奏
每天 4 次自动巡检,时间点是 08:00、14:00、20:00、02:00。每次跑 37 个探针点,覆盖登录、播放、支付三条链路,单轮耗时约 90 秒。任一探针连续两次失败,3 分钟内自动拉值班群,不需要等用户反馈。
值班室状态看板 · 每 60 秒自动刷新一次,公告由当班工程师直接发布
含羞草视频每天做 4 次自动巡检,每周三 03:00–04:30 是固定维护窗口。线上问题按 P0 到 P3 分四级:全站不可播 5 分钟内响应、30 分钟内给出恢复方案,单端或单地区异常 15 分钟响应。维护期间 App 会显示倒计时和预计恢复时间,你也可以随时打开状态页核对,不必到群里问。
大多数影视 App 只在不可用的时候发一条“系统维护中”。我们把巡检、分级、窗口和公告这四条运维规则固定在页面上,因为它比任何一张截图都更能说明这个客户端会不会在你需要的时候掉线。
每天 4 次自动巡检,时间点是 08:00、14:00、20:00、02:00。每次跑 37 个探针点,覆盖登录、播放、支付三条链路,单轮耗时约 90 秒。任一探针连续两次失败,3 分钟内自动拉值班群,不需要等用户反馈。
分 P0 到 P3 四级。P0 全站不可播,5 分钟响应、4 小时内恢复;P1 单端或单地区异常,15 分钟响应;P2 部分片源损坏,4 小时内处理;P3 体验问题排进下个版本。任一故障 60 分钟未定位,自动升级到技术负责人。
例行维护固定在每周三 03:00–04:30,共 90 分钟;每月最后一个周三发大版本,窗口延长到 06:00。这个时段并发约为晚高峰的 6%,影响人数最少。窗口之外如需紧急动数据库,每月最多 2 次,且必须提前 48 小时公告。
故障确认后 5 分钟内挂出公告,App 首页横幅同步推送。每条公告必须包含四项:发生时间戳、影响范围(哪一端、哪些地区)、当前处理人、下一次更新时间。只要状态没变,每 30 分钟至少更新一次,不允许挂一条“处理中”就消失。
以上数据取自 2024-09-01 至 2024-11-30 的值班记录:90 天内共发生 P0 故障 1 次(累计不可用 47 分钟)、P1 故障 4 次、P2 故障 23 次。P0 平均响应 4 分 12 秒,平均恢复 41 分钟;P1 平均响应 11 分钟。我们不删记录,也不把维护窗口算进不可用时间里——那 90 分钟本来就在计划内。
下面三条来自用过半年以上、且至少经历过一次线上故障的用户。我们保留了他们吐槽的部分,因为那才是你需要判断的东西。
“11 月 3 号晚上九点多,首页一直转圈。我到状态页看,22:04 挂了 P1 公告,说华东部分节点 CDN 回源异常,22:37 更新了进展,23:12 恢复。整个过程不用去群里问,公告自己会动。唯一想吐槽的是第一次给出的预计恢复时间是 23:30,实际 23:12 就好了——我白等了十几分钟。”
“最烦的是每周三凌晨维护。我上夜班,03:00 正好是下班路上想刷两集的点,那 90 分钟确实打不开。但 App 里会显示倒计时,前一天首页也有提醒,比我以前用过的那些半夜突然白屏、早上起来还不知道发生了什么的强太多。现在我会提前一晚把要看的剧下到本地,维护期间照样能放。”
“有一次某一集片源崩了,点了二十几次都黑屏。提交反馈之后大概 3 小时 20 分钟收到回复,说已经换源,确实能看了。速度可以,但我希望 P2 那种局部问题也能像 P0 一样挂个进度条——现在只能靠 App 里那个小提示,你不主动回去看就不知道修没修好。”
这五个问题来自后台工单里出现频率最高的提问。答不上来的部分我们没写,写了的就是能做到的。