请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
“我们没有维护。”她说,“我们是在容量不足时减少功能。原因不同,用户下一次判断要不要信我们,也会不同。”
两点十七分,平均返回时间下降到五点三秒。两点四十二分,降到三点八秒。硬盘灯仍频繁亮起,却终于出现了肉眼可见的间隔。
兼职学生松了口气:“那我把故障结束时间写两点四十二?”
“不。”马飞说,“这只是止血。故障从什么时候结束,要等我们把摘要重新打开,还能维持指标以后再写。”
他让学生回去睡觉,自己和苏雨桐留下。两人从服务器日志、机房流量记录和邮件时间里,一分钟一分钟拼出零点四十分后的变化。日志缺失的地方一律标成“不知道”,不拿平均值填补。
兼职学生不肯先走,直到马飞在离岗时间上签字才收拾书包。他本想坐首班公交,管理员从抽屉里翻出一张夜班折叠床,让他先睡两个小时。苏雨桐把那张出租车票移到报销页,又给学生补了一份夜班餐,虽然机房里根本没有东西可吃。
清晨五点,窗外还没有完全亮,原因链终于写在白板上:论坛链接带来集中查询;热点词重复读盘;增量索引同时复制;请求没有超时退出;队列持续堆积;内存被等待请求占满;摘要生成进一步放大磁盘压力。
没有哪一项单独足以压垮服务器。它们在同一个小时碰到一起,才让红灯变成一条线。
马飞盯着那串箭头,想起另一条在火焰中闭合的链:氧泵、分离时序、热防护。前世事故后,太多人先寻找一个可以命名、可以更换、可以问责的坏零件。可真正杀死他的,从来不是一个零件。
苏雨桐察觉他握着笔不动,问:“想到什么?”
“想到机器没坏,不代表系统没坏。”
“这不是今晚刚学的吗?”
“以前也学过。”马飞把笔放下,“代价更大。”
她没有追问,只把白板上的最后一个箭头改粗。
上午八点,陈维明打来电话。他昨晚把星辰搜索的网址发给了几个做通信设备的客户,其中一个正是论坛帖子的转发者。
“热闹是好事。”他说,“我看了,网站一直能打开。你们对外完全可以说上线首夜零停机。”
马飞看着故障本:“不能这么说。”
“为什么?进程死了?”
“没有。”
“机房断网了?”
“也没有。”
“那就是零停机。”
“一点零五到两点四十二,大量用户无法在合理时间得到完整结果。我们还关闭了摘要和统计。机器没有停,服务失败了。”
电话另一头沉默几秒。陈维明显然不喜欢这个答案,却没有像过去那样立刻争论控制权。他问:“写进给客户的材料,会不会太难看?”
“可以不拿故障做宣传,但不能把它改名叫成功。”
“那你准备怎么说?”
“上线首夜出现容量故障,降级后恢复基本查询。原因正在复核,改进完成前不承诺峰值能力。”
陈维明叹了口气:“你这人做生意,有时候像给自己拆台。”
“如果客户按假的容量买了服务,下一次才是真的拆台。”
通话结束后,苏雨桐把“零停机”三个字写在便签上,贴到红灯旁边,又在前面画了一道斜线。
上午十点,他们逐步打开摘要功能,每次只放行四分之一请求,并继续观察队列。十一点十三分,全部功能恢复。连续一小时内,百分之九十五的查询在四点二秒内返回,超时请求得到明确提示,同一索引版本的结果保持一致。
马飞这才在故障本上写下结束时间。
持续十小时三十三分,其中严重影响一小时三十七分。
处置不是“重启服务器”,而是五条具体措施:增量索引只在低峰传输;索引发布与查询磁盘分离排队;热门查询缓存必须根据日志自动淘汰;所有请求设置时间上限;降级状态向用户明示。
最后一条是:建立每小时用户失败率,不以进程存活代替服务可用。
午后,新的访问高峰到来。硬盘灯又亮得密集,却没有连成红线。
马飞在值班表上加了夜班,先把自己的名字填进第一格,又在故障本封面写下日期。苏雨桐把外套那颗扣错的纽扣重新系好,拿走报销联,准备回学校上下午的课。
五金店老板托人送来一只铝饭盒,里面是白菜和两只馒头。饭盒在路上漏了点汤,故障本右下角湿了一小块。马飞先把本子挪开,拿纸擦净桌面,再把“严重影响一小时三十七分”誊到封面。
下午两点,下一轮访问高峰过去。硬盘灯仍不停闪,间隔却能数得出来。马飞吃完冷馒头,把夜班联系电话抄在机房墙上,红灯旁那张划掉“零停机”的便签没有揭。