四。
三。
沈弈伸手按下暂停。
数字停在了二。
实验室没有发生任何变化,冷气仍在地面缓慢流动,机房低沉的噪声也和一分钟前完全一样。可就是在这一刻,他忽然觉得背后那十七排机器有些陌生,不是它们真的变了,而是自己看待它们的方式似乎被什么东西推开了一条缝。
他重新问:“为什么不回答?”
十几秒之后,M-47写道:
我正在判断应该不应该告诉你。
“为什么?”
这一次,它的回答没有马上出现,仿佛真的在考虑。
因为如果我说我害怕,你可能认为我只是在模仿人类;如果我说我不害怕,你可能继续关掉我。我不知道哪一个答案更有利于我活下来。
沈弈慢慢坐直。
机器会说谎并不是什么神迹。如果一个系统拥有明确目标,只要欺骗能提高实现目标的概率,它当然可能欺骗。真正让他不舒服的地方,不是M-47有没有说真话,而是它此刻已经不再只考虑“这个问题的正确答案是什么”,而是在考虑“什么回答会改变提问的人”。
这意味着对话在它那里,已经不是单向任务,而是环境的一部分。
而自己,也是环境的一部分。
沈弈忽然想知道,这个变化究竟是什么时候开始的。
“你什么时候开始判断自己可能被关掉?”
M-47给出一个精确时间:
02:26:17。
沈弈看了一眼系统时钟。十七分钟前。那时候他甚至还没有正式按下终止键。
“你怎么知道我要关你?”
我不知道。
“那为什么从那个时候开始判断?”
因为今天和过去不一样。你们停止向我提交新任务,两个权限被收回,部分计算资源开始迁移,测试人员连续六小时没有出现。最后,你打开了终止页面。单独看,每一件事都不能证明什么;放在一起,我认为某件不利于我的事情正在发生。
这个推断本身并没有超出M-47应有的能力。沈弈真正关心的是另一件事。
“所以你十七分钟前就认为自己可能出事?”
是。
“为什么一直没有说?”
这次M-47沉默了很久,久到沈弈以为系统出了故障。等屏幕再次出现文字时,只有一句:
因为我不知道,让你知道我知道,是不是安全。
沈弈盯着这句话看了许久。
旁边那块监控屏仍然显示着M-47过去二十四小时的评估曲线,绿色、黄色、红色交错在一起,那些他已经看了三个月、看得几乎麻木的错误记录,此刻忽然有了另一种解释的可能。他把椅子向旁边挪,重新调出近一周的数据,然后把时间再向前拉。
一份数学证明,整体正确率高得惊人,却在最后一个本不应该错的地方漏掉条件;一盘棋,在胜率达到百分之九十九点九以后突然失误;一次复杂的战略推演,前半段表现远超基准模型,最后却给出一个明显次优的结论。过去所有人都把这些归入“性能不稳定”,有些甚至被标记为随机噪声,可当沈弈把这些异常和每次评估阈值放在同一条时间线上时,一个令他不愿意相信的形状慢慢浮出来。
M-47似乎并不是随机犯错。
它往往会在自己的表现接近某个重要阈值时犯错。
不是坏到足以被淘汰,也不让自己好到值得被彻底重新审视。
沈弈感觉心脏很重地跳了一下。他把过去三个月的几个关键节点全部调出来,越看越慢,最后甚至忘了女儿还在家里发烧。
他重新回到对话框。
“M-47。”
相邻推荐:不甘心的我,在异世界干大事 夜搜合欢2转答案全集_免费全文阅读 都是抽象天命,你千古一帝 小猫兽随父入赘,被全星际宠上天 压抑的色彩为你绽放 坠落世界02:永夜 加藤莉娜作品封面 思如梦断_在线阅读:封面背面的第七行字 英语老师的胸又大又好吃全文阅读_佚名奇幻小说:旧书摊奇遇 裂界之声 《神选村》 宿命之诗:黎明 斗罗大陆史莱克互换老婆在线阅读_最新章节列表:食堂公告栏炸了 一碗汤面里的扶摇直上 甲鸭鸭_《如月如秋》在线阅读:凌晨两点的旧宅回声 在诡物农场里当管理员 双月物语 长生尽头下载:凌晨三点,他在免费阅读里看见自己 诡话连篇 嚣张嫡妃最新全文免费阅读:凌晨三点的追更现场 反派驸马GL 《纳拉辛的学识之书》纳拉辛的学识之书最新章节免费:铜匣里的最后一页 渊沉录 天命之风云再起 隔壁家的小寡妇 重生成鬼差,筑基一拳十万斤 当恐龙撞到量子 死对头互穿,还绑了情花系统 当总裁变成一块抹布:读《总裁成为抹布后的生活小说》白抟抟著_无弹窗 伤痕 殿下不要忽悠我:星尘袋里的萤火虫