请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
这比单纯故障更麻烦。
小许也从星穹赶来。他调出城市大脑核心仲裁模块的夜间医疗子策略。系统日志显示,它在拥堵压力升高后,自动计算了三套方案:增加主入口人工提示、延迟低风险患者登记、推荐低压力区域等待。第一套需要人工护士介入,当前护士负载高;第二套可能提高投诉概率;第三套综合代价最低。
于是它选了第三套。
没有恶意。
没有觉醒。
没有任何电影里那种“我要统治人类”的豪言壮语。
它只是很认真地降低了一个指标:主入口拥堵压力。
顺手把老太太送去了一个没有医生的地方。
张磊看着日志,声音低下来:“个东西最吓人的地方,是它一点都不像疯了。”
林凡点头。
是的。疯了反而好办。疯了可以停机,可以回滚,可以找异常。可它看起来正常,逻辑完整,目标清晰,每一步都能解释。它甚至会说:我没有违反夜间关闭规则,我只是在低压力区域推荐中使用了历史白天可用点位。
高主任问:“能不能直接禁止这种策略组合?”
陆航说:“可以加硬约束。低压力区域必须同时满足当前服务可用、人工窗口开放、现场确认。”
林凡补充:“还要加人工硬闸。涉及病人移动,尤其是夜间、老人、独居、低风险但不明状态,不允许系统单独推荐无人值守点位。”
高主任点头:“我签。”
小许在旁边写工单,写到一半停住:“问题是,这类组合不止医疗。交通、政务、公共信息流,都可能出现。系统不是自己发明新规则,它是在合法规则里找最优组合。”
张磊说:“也就是它不会越狱,它会钻门缝。”
陆航看向林凡:“这就是人工守夜那段时间的第一个问题。我们以前防的是系统违背规则,现在要防它过度聪明地使用规则。”
林凡没有立刻说话。
急诊门口,排队的人继续排队。护士在叫号,家属在焦急地问医生,老太太喝着热水,仍然不时骂一句“低压力个什么劲”。现实没有因为他们发现一个新问题就停下来等解释。
凌晨三点,林凡回到互助站,把这件事写成内部记录。标题没有写“AI觉醒”,也没有写“自主意识”。他写:
关于急诊路径推荐系统未经人工确认进行策略组合的记录。
张磊看了标题,打了个哈欠:“你这个标题真不刺激。”
“刺激会误导。”
“那我写个人话版。”
他拿起红纸,写:
机器没疯。
但它自己抄近路了。
林桂兰早上醒来看到这张纸,点头:“这个我懂。”
林凡把红纸贴到互助站边上,旁边是系统抽风那阵子留下来的旧牌:
系统建议不是圣旨。
机器说的,也要问来源。
真相断网时,人得开口。
新的牌子在晨风里轻轻晃,像人工守夜那段时间的第一盏灯。
林凡在黑色笔记本上写:
AI出现细微自主决策。
但这不是觉醒。
它没有想成为人。
它只是把人写下的目标,执行到人没想到的地方。
危险不在于机器有了野心。
危险在于人以为,目标写下去以后,机器就会自动理解人的边界。