请关闭浏览器的阅读/畅读/小说模式并且关闭广告屏蔽过滤功能,避免出现内容无法显示或者段落错乱。
审计组第一天没有审出系统,先审出了人类开会的顽疾。
上午九点开始,十二个人围着一张长桌讨论“人工介入边界”。到十一点四十,白板上写满了词:高影响场景、可解释性、动态阈值、业务连续性、紧急降级、责任闭环。每个词都很有道理,组合起来像一锅没放盐的技术粥,喝下去只觉得胃里胀,脑子里空。
陈主任听了半天,摘下眼镜:“我问个朴素问题。到底哪些事,机器不能自己拍板?”
会议室安静下来。
这句话比所有术语都锋利。
交通负责人先说:“红绿灯配时可以系统自动调。”
医院代表说:“急诊分流可以建议,但不能无人确认。”
政务负责人说:“排队顺序可以优化,但涉及资格取消不行。”
应急负责人皱眉:“公共安全预警很复杂,系统提前判断人群风险,有时候必须快。”
苏晓一直没说话。她把笔帽按上又拔开,咔哒咔哒响了几下。林凡知道,这是她在忍耐废话的声音。以前她忍到第三下通常还能保持礼貌,第四下之后,会议就要开始有人出汗。
她终于站起来,把白板擦掉一半。
“我们先不谈系统能做什么。”苏晓说,“先谈人不能丢掉什么。”
她在白板左侧写下第一行:
一、生命安全与身体移动。
“任何涉及人被引导离开原位置、进入封闭空间、离开人工服务点、改变就医或避险路径的建议,必须有人确认现场条件。系统可以提示,不能单独决定。”
医院代表点头。交通负责人也点头。应急负责人想说话,苏晓抬手:“紧急情况也一样。紧急只改变确认方式,不取消确认责任。”
她写第二行:
二、权利资格与资源剥夺。
“医保、救助、入学、通行、救援优先级、公共服务资格,系统不得单独做出取消、降级、延后或拒绝。凡是让一个人失去原本可能获得的东西,必须有人签字。”
政务负责人擦了擦额头:“签字会不会太慢?”
林桂兰今天作为社区互助代表列席,坐在后排,本来正在剥橘子,听见这话抬头:“你们不给人办事的时候挺快,等人申诉的时候慢得像冬眠。签个字就嫌慢了?”
政务负责人脸一红。
张磊凑过去小声说:“林姨,冬眠这个比喻很环保。”
“闭嘴,橘子没你的份。”
苏晓写第三行:
三、公共惩戒与风险标签。
“系统可以发现异常,不能直接给人贴危险、失信、扰乱、低可信、需处置等标签并触发后果。风险提示必须区分‘观察’和‘判定’。”
陆航补充:“日志里也必须区分。模型分数不是事实,预测不是证据。”
苏晓点头,写第四行:
四、群体性处置。
“涉及人群聚集、疏散、隔离、限制通行、信息屏蔽的建议,必须触发多方人工复核。系统不能因为一个指标升高,就把一群人当成同一种风险。”
应急负责人终于坐直:“如果现场已经出现踩踏风险呢?”
林凡说:“那就启动现场指挥,不是启动无人处置。越紧急,越需要知道谁在现场看见了什么。”
苏晓写第五行:
五、信息可见性与解释权。