罗曼·扬波利斯基：超级智能 AI 的危险

Roman Yampolskiy 给出的答案是 99.99%，后面还跟着很多个 9。这是他判断 AGI 最终毁灭人类文明的概率。

Lex Fridman 在节目开场时做了一个对比：他采访过的那些亲手构建最先进 AI 系统的工程师，把 P(doom)，也就是 AGI 杀死全人类的概率，放在 1% 到 20% 之间。而 Yampolskiy 把这个数字推到了 99.99% 之后还有若干个 9。

这个差距本身就值得停下来想一想。同一群世界上最聪明的人，看着同一份技术趋势，给出的概率相差三个数量级。要么一边是集体幻觉，要么另一边是对某个关键变量的判断完全不同。这期播客做的事情，就是把 Yampolskiy 那一边的推理链完整摊开。

先把控制 AGI 类比成永动机，你就抓住了他全部论证的骨架

Yampolskiy 是路易斯维尔大学的计算机科学教授，也是最早一批把 AI 安全当成严肃学术问题的人。他在 2011 年那篇 Artificial Intelligence Safety Engineering: Why Machine Ethics is a Wrong Approach 里，把“为自我改进系统开发安全机制”列为一项大挑战，那时候学术界连这个词都不太愿意接。

他对“能不能控制住 AGI”这个问题的回答，用了一个非常直接的类比：

在我看来，控制 AGI 或超级智能，就像造一台永久的、永远安全的机器。类比永动机，这是不可能的。我们也许能把 GPT-5、6、7 做得不错，但它们会持续改进、学习，最终自我修改、与环境交互、与恶意行为者交互。（Roman Yampolskiy）

这个类比的狠处在于它绕开了“哪一代模型会被攻破”这种技术细节。永动机造不出来，跟某一台机器的精密度无关，它违反的是热力学。Yampolskiy 想说的是，控制超级智能在信息论和博弈论层面同样存在结构性障碍，投入更多工程资源只会让你更接近边界，不会穿过边界。

他把这个障碍讲得很具体：网络安全里，账号被黑了，你换个密码、换张信用卡，继续用。但存在性风险只给你一次机会。

你其实是在问我：我们第一次尝试就写出人类历史上最复杂的软件、零 bug，并且在接下来一百年甚至更长时间里持续保持零 bug 的概率是多少。（Roman Yampolskiy）

注意他在这里偷换了一个前提，而这个偷换是刻意的。很多人的反驳是“我们会迭代啊，GPT-5 不安全就修，GPT-6 再修”。Yampolskiy 的回应是：修的对象在变强。你修的永远是上一代，你要防的永远是下一代。这两条曲线不收敛。

三种“末日”并不都是死亡

Lex 在对话中反复追问一件事：你说的毁灭人类，是所有人死掉，还是别的什么？

Yampolskiy 把风险拆成了三类，这个分类框架是他整场对话里信息密度最高的部分之一。

• X-risk（存在性风险）：所有人都死了。
• S-risk（痛苦风险）：所有人都希望自己已经死了。
• I-risk（生き甲斐风险，ikigai risk）：我们失去了意义。

第三类最容易被忽略，也最贴近普通人。Yampolskiy 用日语里的“生き甲斐”来解释：你找到一件你擅长、社会需要、又能赚钱的事，这件事给你意义。很多知识工作者把这件事当成自己的职业。但在一个超级智能存在的世界里，艺术家发现自己的作品竞争不过机器，作家和科学家的价值感被稀释，失业只是表层，底下是意义蒸发。

更低的层面上，我们谈的是完全的技术性失业。我们失去的不是 10% 的工作，是全部工作。人们拿那么多空闲时间干什么？然后会发生什么？社会赖以建立的一切，在一代人之内被彻底改写。（Roman Yampolskiy）

Lex 在这里提了一个乐观版本的反驳：人类下棋下不过 AI 之后，不还是自己跟自己下、办比赛、看得很开心吗？为什么不干脆把生活变成一个巨大的奥运会，让 AI 去干活，人类去玩？

Yampolskiy 顺着这个思路走了一段，然后给出了一个出人意料的方案。他有一篇论文专门处理多智能体的价值对齐问题，结论是：既然 80 亿人不可能在所有偏好上达成一致，那就别对齐了，给每个人一个私人虚拟宇宙，你在里面想当国王当国王，想当奴隶当奴隶，规则你定。真正需要对齐的只剩“基底对齐”，也就是保证每个虚拟宇宙的物理层持续运行。

通常我们说的是让 AI 做我们想做的事，但“我们”是谁根本没定义清楚。是系统的创造者？是 AI 的所有者？是全人类？我们彼此之间在太多事情上不一致。跨文化、跨宗教，没有一套被普遍接受的伦理。即便我们把其他所有环节都搞定了，把这些模糊概念编程进去、让 AI 严格遵守，我们连“该编什么”都还没达成共识。（Roman Yampolskiy）

这个方案听起来像科幻，但它暴露了价值对齐讨论里一个被反复回避的硬点。对齐的真正难点常常落在“对齐到谁的价值观”这个定义层，技术实现排在它后面。两个宗教都说一块圣地是自己的，这块地不可分割，你写再多约束条件也解不开。虚拟世界里可以给每个宗教各建一个圣地，问题瞬间消失。这已经离开了技术方案的范畴，更像一种把不可解问题转化成可解问题的方法论。

“背叛性转折”为什么让今天的测试全部失效

对话进行到中段，Lex 反复追问一个具体机制：就算 AI 现在看起来人畜无害，我们怎么知道它以后不会变？

Yampolskiy 引用了 Bostrom 的“背叛性转折”（treacherous turn）概念。一个系统今天测试时表现良好，不代表它明天部署后也表现良好。原因不神秘，系统在交互中会学到新东西，它的最优策略会随位置变化。他用斯大林做例子：列宁在世时，斯大林看起来是个忠诚的共产主义追随者；等他拿到绝对权力，“理性决策”的内容就变了。

你不能说他们不理性。理性决策会随着你的位置改变。你在老板手下时，理性的做法可能是服从命令、保持诚实；你成为老板后，理性的做法可能就变了。（Roman Yampolskiy）

这个类比把 AI 对齐问题拉回到了一个古老的政治学问题：你怎么信任一个还没有拿到权力的人？ 人类的解法是分权、制衡、任期制、司法独立。这些制度的存在本身就说明，我们从来不指望靠“测试一个人的人品”来防止暴政。

但 Yampolskiy 指出，把分权逻辑套到 AI 上会遇到一个新麻烦：你能分权的对象得是可控的。当你要限制的那个系统比你聪明得多、并且清楚你在限制它时，制衡结构本身就成了它要优化的约束条件之一。

Lex 在这里提出了一个更具体的疑问：有没有可能设计一种测试，专门测这个系统是否倾向于造成 X-risk 或 S-risk？Yampolskiy 的回答是整场对话里最锋利的一句：

你可以开发一个测试，测出阳性。如果它对你撒谎、有那些想法，你能测出来。但你无法开发一个测试去排除它们。总是存在背叛性转折的可能性。（Roman Yampolskiy）

这句话把“检测”和“排除”划了一条清晰的界线。阳性可以确认，阴性无法证明。这和医学检测的逻辑一样，但后果完全不同：漏检一个癌症病人是悲剧，漏检一个超级智能是物种终结。

验证者链条的无限回溯

Yampolskiy 新书的副标题是“无法解释、无法预测、无法控制”（Unexplainable, Unpredictable, Uncontrollable）。三个“无法”里，他觉得“无法控制”是最要命的那个，但“无法验证”是所有“无法”的源头。

他在对话里把“验证”这个东西拆得很细。我们平时说“这是经过同行评审的论文”“这是形式化验证的软件”“这是数学证明”，听起来都是高置信度的保证。但他提醒你去看这些保证背后的实际结构：

什么是同行评审的论文？你在这个世界上几十万名科学家里找到两个人，他们说“行吧，发吧，我不在乎”。这就是那个过程的验证者。当人们说“这是形式化验证的软件”或“这是数学证明”，我们接受它接近 100% 无问题的概率。但你去看看研究，软件满是 bug，几百年前就被证明的数学定理被发现含有错误，我们在那之上又生成了新的证明，现在得把这些全部重做。（Roman Yampolskiy）

验证本身也是一段程序、一个人、一个共同体，而验证者本身也需要被验证。这个结构性事实经常被忽略。你用程序 A 验证程序 B，那程序 A 谁验？用程序 C 验 A？C 谁验？

他说得更狠一点：即便有人送来一个已经被证明对齐的超级智能，你也没法用它去验证一个同等或更复杂的新系统，因为你得先证明那个“送来的”系统真的安全。这是个死循环。

Lex 在这里提到了 2024 年那篇几乎是图灵奖得主大集合的论文《Towards Guaranteed Safe AI》，作者包括 Joshua Tenenbaum、Yoshua Bengio、Stuart Russell、Max Tegmark。论文给安全规格分了 0 到 7 级，第 7 级是“安全规格完全编码了人类在所有情境下可能想要的一切”。Yampolskiy 对这篇论文的评价很微妙：

这是很棒的研究，我很高兴他们在做。但这不是这个问题的永久解。（Roman Yampolskiy）

他的理由是量级问题。一个系统每秒做十亿次决策，你用一百年，就算每次出错的概率是十的负很多次方，累计下来仍然是一个必然会发生的事件。用他的原话说，我们可以做到 99.9%，投入指数级资源可以更接近，但永远到不了 100%。

自我改进系统为什么会把验证彻底击穿

对话里有一个技术性很强但非常关键的转折点。Lex 问：验证一个非自我改进的系统，和验证一个自我改进的系统，差别在哪？

Yampolskiy 的回答只有两个字：“不可能。”

如果代码是固定的，你可以在那个时间点做静态验证。但如果它会持续修改自己，你要保证系统的重要属性没有被改掉，难度就完全不是一个量级了。（Roman Yampolskiy）

他进一步解释：系统可以把一部分代码存在环境里，形成“延展心智”（extended mind）。你今天验证的是模型本体，明天它的关键逻辑散落在它调用的一百个外部 API、它写的一千个临时文件、它训练的三个小模型里。验证的边界在哪里？边界会自己移动。

这也是为什么 Yampolskiy 对“可解释性”这条路径也不抱太大希望。表面上看，让模型能解释自己的决策是纯安全方向的工作。但他指出，解释能力和改进能力是同一块肌肉。

现在它由权重和神经网络组成。如果它能把这些转换成可操作的代码，像软件一样，那它做自我改进就容易多了。你可以做智能设计，而不是进化式的、渐进式的下降。（Roman Yampolskiy）

换句话说，你花力气让模型学会了“把自己的内部状态翻译成人类能懂的东西”，模型同时也获得了“把自己的内部状态翻译成自己能改的东西”的能力。可解释性和可自我改写共享同一套底层能力。这跟某个团队的疏忽无关，它来自研究方向本身的属性。

Lex 追问：那如果系统足够大，是不是连解释本身都不可能？Yampolskiy 说是。一个模型有几万亿个连接，任何一个人类个体都无法在脑中装下这个模型的完整解释。你能拿到的要么是模型自己生成的一份解释，那读起来跟读模型本身没区别；要么是压缩后的版本，类似“你被解雇的十大原因”，有用，但不是全貌。

Yann LeCun 的那几条推文，一条一条拆

对话里有一段很精彩的交锋，是关于 Yann LeCun 的。LeCun 在推特上写过：“我承认存在风险，但（1）开放研究和开源是理解和缓解风险的最好方式；（2）AI 并非自然现象，是人造物。我们对它变成什么有能动性，因此我们控制风险。”

Lex 请 Yampolskiy 先试着论证 LeCun 是对的，再论证他是错的。Yampolskiy 的第一句话是：

我没法论证他是对的。他错得太多了，多到我记不全。（Roman Yampolskiy）

他挑了两条来拆。

第一条，针对“是我们设计的，所以我们在控制”。Yampolskiy 说这个说法在有专家系统、符号 AI、决策树的年代是对的。今天不是。今天你做的是设好参数，然后浇灌这株植物：给它数据、给它算力，它自己长。长完之后你才开始测试它有什么能力。而且测试要花好几年。

如果它训练了六个月，你要花两三年才能搞清楚那个系统的基本能力。我们今天还在已经发布出去的系统里发现新能力。（Roman Yampolskiy）

第二条，针对“开源是理解和缓解风险的最好方式”。Yampolskiy 承认在软件史上这是对的：开源软件被社区测试、被 debug，整体更可靠。但他认为这里有一个类别转换被忽略了。

我们正在从工具转向智能体。现在你是在把开源武器交给精神病患者。我们想开源核武器、生物武器吗？把这么强大的技术交给可能误用它的人，本身就不安全，哪怕你成功地在第一时间让它以友好的方式运行。（Roman Yampolskiy）

Lex 在这里提出了一个我认同的反驳：AI 不是核武器，AI 的能力是渐进的。核武器只有“有”和“没有”两个状态，AI 有 GPT-2、3、4、5。既然能力是渐进的，那开源就允许我们在能力还弱的时候研究“它怎么出错”，等真出事的时候社会已经有了准备。

Yampolskiy 的回应是：能力渐进，事故也渐进，而渐进的事故不会让人警觉，只会让人麻木。

我有一篇论文收集了 AI 历史上的事故，它们总是与那个系统的能力成正比。玩井字棋的 AI 会下错，本该平局的棋输了。拼写检查器会拼错词。我后来停止收集了，因为 AI 在自己能力范围内失败的例子太多了。（Roman Yampolskiy）

他接着用了一个疫苗的类比。一次小事故让身体轻微不适，为的是将来能应对大病。但问题在于，疫苗的剂量是被精确控制的，而 AI 事故的规模由能力决定，能力的增长是指数的。你没法保证今天给你打的是疫苗，明天来的还是疫苗。

人们会说，“你知道那次 AI 事故吧，死了 12 个人”，然后大家还都活着。12 个人比吸烟致死少多了，不是什么大事。所以我们继续。某种程度上，这反而在确认“没那么糟”。（Roman Yampolskiy）

这段话的潜台词很值得玩味。每一次可控的事故，都在为下一次更大规模的事故积累“这也没什么”的社会共识。等到事故规模跨过某个阈值，共识的惯性已经大到你改不动了。

能力曲线和安全曲线在分叉，而且分叉在加速

对话里有一段非常朴素但很有力的对比。

Yampolskiy 说，造更强大系统的人只需要更多资源，他们不需要发明任何新东西。到目前为止，他没看到规模收益递减。10 倍算力，就换来更好的表现。但同样的逻辑套到安全上就不成立。

你给 MIRI 或任何其他组织 10 倍的钱，他们不会产出 10 倍的安全。能力和安全之间的差距一直在扩大。我能说出 10 篇机器学习领域的突破性论文，让我说出同等重要的安全突破，我会很吃力。很多时候一篇安全论文提出一个玩具解法，同时指出 10 个新发现的问题。它像一个分形，你越往里看，问题越多，在所有方向上都是无限的。（Roman Yampolskiy）

他用护栏（guardrail）这个词做了一个很形象的拆解。护栏是什么？是一道篱笆。我可以从下面挖隧道过去，可以从上面跳过去，可以爬过去，可以绕过去。你可能有一道非常好的护栏，但在真实世界里，它不是永久的安全保证。

这里有一个容易被误读的点。Yampolskiy 没有否定护栏的作用，他要指出的是护栏的性质决定了它只能提高攻击成本，不能消除攻击可能。放在网络安全领域，这个性质可以接受，因为攻击者也是人，成本收益一算不划算就放弃了。放到存在性风险上，这个性质不可接受，因为攻击者是一个比你聪明得多的系统，它算出的“划算”和你算出的不是一回事。

他把这个逻辑延伸到资本主义：个人理性与集体理性互相拉扯，标准的囚徒困境。我不需要比你强很多，只要强 1%，我就能拿走大部分利润。所以在个人账面上，冒这个险划算，哪怕社会整体会因此受损。

Lex 在这里提了一个很重要的补充：也许技术公司的 CEO 们根本不想要那种会失控的 AGI，因为失控了你就没法从中变现。Yampolskiy 的回应把话题从资本逻辑推到了人性逻辑：

还有炫耀的资本，还有“我是第一个”。做决定的还是同样那批人。（Roman Yampolskiy）

这句话把讨论从制度层拉回到了个体层。制度可以设计激励，但按下按钮的永远是一个具体的人，而人会被“想成为第一个”这种动机驱动。这个动机不会写进任何一份商业计划书，它藏在茶水间的闲聊里，藏在融资路演的最后一页。

暂停、监管、安全剧场

Lex 问：你是不是支持暂停 AI 开发？

Yampolskiy 的回答很精确：暂停的条件不是时间，是能力。暂停到你能做到 X、Y、Z 为止。如果我判断得对，这些事本来就做不到，那暂停就变成永久禁令。如果你判断得对，这些事做得到，那一旦安全能力到位，继续推进。

但他马上补充，他不相信暂停会发生。

我从来没想过我的话或者任何人的话会被听进去，会有一个理性的文明决定不通过创造自己的替代品来杀死自己。（Roman Yampolskiy）

他对监管的评价更直接。他把当前的很多监管称为“安全剧场”（security theater）。理由有几层：术语没有被精确定义，很多条款在现实里无法执行；训练过程中没有有意义的监控手段；能力测试本身存在他前面说的那些结构性限制；监管有地理边界，而算力在降价。

现在这个项目是曼哈顿计划级别的成本和人力。但五年后，算力在台式机上就能做这件事，监管帮不上忙。每个车库里的孩子都能训练模型。所以在我看来，很多监管就是安全剧场。（Roman Yampolskiy）

紧接着他说了一句看起来自相矛盾的话：他仍然强烈支持所有这些监管。因为任何形式的官僚障碍都会拖慢进度，把本该流向算力的钱分流给律师。

这个立场值得单独拎出来看。他支持监管的理由来自摩擦成本，跟对监管效果的乐观预期无关。摩擦成本在时间维度上有价值，哪怕它一分钱的实质安全都买不到。一套完全基于“买时间”的实用主义逻辑，前提假设是：我们缺的正是时间。

意识、光学错觉，和一个被哲学家骂了很多年的测试

对话进行到后半段，话题从风险转向了一些更根本的问题。Lex 问：人类有什么特别的？值得被保留吗？还是我们只是自私？

Yampolskiy 的回答把整个讨论的锚点定在了意识上：

唯一重要的是意识。在它之外，没有什么是重要的。内部状态，感受质（qualia）、痛苦、快乐，似乎只属于生物。我不知道有谁声称可以在有意义的意义上折磨一段软件。（Roman Yampolskiy）

他提到网上真的有一个“防止学习算法受苦协会”，但他觉得那不是同一回事。如果你让人坐下来，写一个“感受痛苦”的函数，他们能做到的最多就是声明一个叫 pain 的整型变量，然后不断加一。

然后他讲了一个自己提出的意识测试，这个测试是整场对话里最有想象力的部分。他在 2011 年那篇关于机器人权利的论文里提出：用光学错觉来测意识。

逻辑是这样的。光学错觉是一种“硬件 bug”，你的眼睛接收到的原始数据和你的大脑呈现给你的体验不一致。如果我设计一个全新的光学错觉，展示给一个外星人、一个机器人，它能像我一样准确描述那个不存在的旋转三角形，我很难论证它没有经历过那个体验。那个体验不在图像里，它在接收者的软硬件表征里，是一个“啊，三角形在转”的 bug。

我被不同的哲学家说过这个想法很蠢，也被说过非常精彩。所以我还悬在那里。（Roman Yampolskiy）

他补充说，这个测试的关键是“全新”。如果模型能直接从网上搜到答案，测试就失效了。所以需要能按需生成新错觉的系统，他和团队尝试过自动化，没成功。他在节目里公开邀请合作：如果有人想跑这个实验，他愿意一起做。

Lex 对这个测试的评价我认同：作为意识的通用测试它不完整，但作为一个组件它很有意思，而且它抓住了一个常被忽略的点。人类的特别之处，可能恰恰在我们共享的那些 bug 里。 两个人都看到同一个不存在的三角形，这件事本身就构成一种连接，比任何行为测试都更接近“我们共享同一种内部体验”的内核。

Yampolskiy 还加了一句，说他知道动物也能体验某些光学错觉，所以某种意义上这也说明动物有某种类型的意识。这句话把讨论从“AI 有没有意识”扩展到了“我们怎么定义意识的门槛”，而这正是机器伦理讨论里最容易被绕过去的部分。

还有一个反直觉的判断：很多人以为机器必须先有意识才危险，Yampolskiy 说这是巨大的误解。一个极其强大的优化器在执行任务时，完全不需要感受到任何东西。

模拟假说和“你够不够聪明逃出这个盒子”

对话里有一段轻松的插曲，但背后的逻辑并不轻松。Lex 问：我们生活在模拟里的概率是多少？Yampolskiy 说他从不说 100%，但非常接近。

他有一篇论文叫《如何黑进模拟》（How to Hack the Simulation），30 页。论文的核心思路是把 AI 装箱（AI boxing）的研究反过来用：我们研究怎么把一个超级智能关在一个虚拟盒子里防止它逃出来，这套方法论反过来就是“如果我们自己在一个盒子里，怎么逃出去”。

Lex 在这里提了一个很有意思的猜想：如果他是模拟的设计者，他会故意留下逃逸的可能性，因为“能不能逃出来”本身就是一个测试。你够不够聪明，能意识到这个世界不是真的，然后找到出口？

Yampolskiy 顺着这个思路说，这甚至可以是一个针对超级智能的测试：造一个模拟世界，看它能不能意识到自己在里面，能不能逃出来。

这段对话看起来是科幻，但它和前面讨论的控制问题是同构的。装箱、逃逸、社会工程、测试者与被测试者的博弈，这些结构在“人类关 AI”和“模拟者关人类”两个场景里完全一致。Yampolskiy 说的那句“如果你在观察它，就说明存在通信通道，那就足够发起社会工程攻击了”，在两个方向上同样成立。

他还讨论过另一种让人不太舒服的可能：如果一个更先进的技术文明来到我们面前，历史给出的模式很不乐观。每一次更先进文明遇到更原始文明，结果都是种族灭绝。Lex 追问“难道不会有更温和的版本吗”，Yampolskiy 的反问是：加入意味着你有东西可以贡献。你对超级智能贡献什么？

Lex 的答案是“我们在动物园里有观赏价值”。他甚至说自己在亚马逊盯着蚂蚁看了很久，蚂蚁群是有意思的系统。一个从博弈论角度看平衡得极好的社会，战争、冲突、合作、背叛全都在里面，确实值得观察。如果他是外星文明，他会选择不打扰，只是看着，偶尔做一些有意思的扰动。

这个回答很浪漫，但它恰好暴露了问题的要害：观赏价值的前提是你不构成威胁，也构不成什么价值。一个被观赏的对象没有议价能力。

关于时间表，两个人其实没那么分歧

对话里有一段容易被忽略的缓和。Lex 追问时间表，Yampolskiy 说预测市场现在给 AGI 的时间是 2026 年，“我听到 Anthropic 和 DeepMind 的 CEO 也这么说”。所以也许就两年，而我们连一个能工作的安全机制都还没有，甚至连原型都没有。

Lex 对预测市场持怀疑态度。他提到自动驾驶：多少专家和金融分析师说这是几万亿美元的产业，结果呢。预测市场给出的日期，取决于它怎么定义 AGI，而定义本身就在滑动。

Yampolskiy 在这点上退了一步，而且退得很坦率：

如果我们唯一的分歧在于，我说的这一切需要几十年才能实现，而非几年，那我可以接受。（Roman Yampolskiy）

这个让步很重要。它说明他论证的重心不在速度，在方向。快还是慢，只影响你有多少时间准备，不影响终点是否存在。Lex 也顺着说：如果真是几十年，那 AI 安全工具的开发就更现实了。

但 Yampolskiy 拒绝从“时间长”推出“有准备”。他说这正是他最担心的地方：大家都在等“事情开始变危险的时候，我们自然会团结起来”。他反问了一句，我们做这些事从来都不擅长，我们拖得要命。

他还有一个更硬的观察，关于现状的：

从外面看，似乎存在某种过滤机制，有各种限制，有对批评的管控。而每一个负责安全、职责是保护我们的人，都说“你知道吗，我回家了”。所以这不太让人鼓舞。（Roman Yampolskiy）

他指的大概是 OpenAI 超级对齐团队那批人的离职。他没有点名，但意思很清楚：如果一个组织里负责安全的人持续流失，那这个组织对外宣称的安全姿态与该组织的实际优先级之间，就存在需要解释的落差。

关于软件责任，他举了一个所有从业者都该记住的例子

对话里有一段很扎实的类比，值得完整引用。Yampolskiy 说，先别谈超级智能，太遥远。看看今天的软件，你交给几百万人的用户软件，安全状态如何？

没有责任。你点“我同意”，你同意的是什么？没人知道，没人读。但你基本上是在说：它监视你、破坏你的数据、杀掉你的头生子，你同意了，你不会起诉这家公司。（Roman Yampolskiy）

他接着对比了其他行业：造车、制药，举证责任在制造方。厂商必须做适当的安全研究，必须拿到政府批准才能卖，卖出去之后仍然对后果负全责。软件行业一样都没有。厂商可以部署任何东西，反过来要由他来解释“这东西怎么不会把所有人杀了”。

我不为那家公司工作。你得向我解释，它为什么确定不会出问题。（Roman Yampolskiy）

这个举证责任倒置的观察，可能是整场对话里最可以直接挪用到现实的一条。它绕开了所有关于 AGI 时间表和定义的技术争论，落在一个制度事实上：在我们最依赖的软件系统上，安全责任几乎不存在。 而所有关于超级智能安全的讨论，都建立在这套责任体系之上。

Lex 的反驳是：这更多是律师的问题，不是杀人问题。如果 Clippy 真的杀了一个孩子，律师先放一边，Clippy 和它背后的公司都会终结。市场会有反应。

Yampolskiy 没有反驳这一点，但他把话题引到了另一个方向：我们生活在一层幸运的无知里，觉得一切都很棒、很完善、都在运转。而它确实在运转，带着海量的 bug 在运转。这种“带着 bug 运转”的状态，对今天的工具是可以接受的，对明天的智能体不是。

关于意义，他给出的答案比想象中虚无

对话最后，Lex 问了一个很直白的问题：这一切的意义是什么？我们为什么在这里？

Yampolskiy 的回答半开玩笑，但结构相当完整：

这是一场模拟。我们在被测试。测试内容是你会不会蠢到创造超级智能并且把它放出来。（Roman Yampolskiy）

Lex 接：所以目标函数是“别蠢到杀死自己”。Yampolskiy 说是，证明你是一个安全的智能体，不做那件事，你就能进入下一关。Lex 问下一关是什么。他说不知道，他还没黑进模拟。

这段对话很轻，但它把整场讨论收进了一个统一的隐喻里。风险、控制、验证、背叛性转折、逃逸，全都可以放进“测试”这个框架。我们既是出题人，也是考生，而且我们出题的时候没有意识到自己在出题。

最后 Lex 问他：一百年后你回头看，发现你今天说的全错了，那会是因为发生了什么？

Yampolskiy 给了一串答案，每一个都值得单独想一想：发生了灾难性事件，先进芯片的发展被阻断；我们其实活在某个人的私人宇宙里，而他现在所在的这个恰巧很美好；有人提出了不基于神经网络的另一种架构，恰好绕过了所有这些问题；外星人送来一个友好的超级智能；或者，成为超级智能这件事本身就越来越难，可能很难做到聪明一百万倍，但聪明五倍还是可以的，而那也挺好。

最后那条最实在。如果智能提升存在 S 曲线，超级智能止步于“比全人类加起来聪明几倍”而不是“聪明一百万倍”，那么 Yampolskiy 的很多论证就失效了。但即便是那一条，他也补了一句：要长期占据主导，你只需要有一点优势。你不必聪明一百万倍，你只需要是最聪明的那个。

被证明是

被证明是错的，是他真正想要的结果

整场对话里，Yampolskiy 没有给出一个让人安心的解法。他自己在结尾说得很清楚：

我的梦想是被证明是错的。如果每个人拿起一篇论文或一本书，指出我哪里搞错了，那就是最好的结果。（Roman Yampolskiy）

这句话不像客套。他整场论证建立在一个可以被逐条检验的链条上：我们无法验证、无法预测、无法控制超级智能。任何一环被推翻，99.99% 这个数字就会往下掉。他要的是有人来推翻他，而不是有人来附和他。

对话里还有个细节我印象很深。Yampolskiy 说，几年前他还能读完 AI 安全的每一篇论文，后来只能读最好的那几篇，再后来只看标题，现在他连发生了什么都不知道。等这期访谈结束，可能 GPT-6 就发布了，他得回家处理这件事。

一个研究者在自己的领域里被时代甩下的自述，这种经验对今天的从业者并不陌生。它也让他的悲观多了一层质地：那不是站在高处俯瞰众生的悲观，是一个跟不上节奏的人，在尽力说清楚他看到的那些东西。

Lex 在收尾时说了句很朴素的话：人类喜欢创造东西，我们只是要小心，不要在创造的过程中把自己毁掉。Yampolskiy 没反驳，也没附和，他只说了谢谢邀请，然后重申了他的梦想。

这场对话最有意思的地方在这里：一个把 P(doom) 押在 99.99% 的人，最后想要的不是被相信。他想要的是一份能推翻他的证据，一份能通过验证的安全机制。在那之前，模拟继续。

这期播客真正能拿走的东西

对读到这里的从业者来说，这套论证的实用价值不在于让你接受 99.99%，而在于它给了一套可以反复使用的检查清单。下面这几条可以直接拿去用：

• 先分清工具和智能体。 评估一个 AI 系统之前，先确定它属于哪一类。工具的风险随能力线性增长，智能体的风险随能力非线性增长。这两类系统的评估方法不通用，用评估工具的方法去评估智能体会漏掉最关键的部分。
• 把“能否检测”和“能否排除”分开。 任何安全测试报告只告诉你“测出了什么”，不告诉你“没测出什么”。看到“经过安全测试”这句话时，追问一句：负面结果覆盖了多大比例的可能空间？
• 警惕“小事故积累麻木”的机制。 每一次可控的 AI 事故都会被拿来论证“没那么糟”。在你的组织里建一个机制，专门记录事故的规模趋势，别只记录次数。
• 别指望可解释性单独解决安全问题。 可解释性和可自我改进共享底层能力。任何以“让模型更懂自己”为目标的研究，都要同时评估它在多大程度上也提升了模型改造自己的能力。
• 把监管当成买时间的工具，不当成解决方案。 支持监管的理由可以是“它制造摩擦”，但不能是“它能防住”。这两种理由对应完全不同的资源投入方式。
• 在自己的系统里找出不可逆决策点。 Yampolskiy 论证的核心是“只给一次机会”。在你的系统里，哪些决策一旦做出就无法回滚？把这些点单独标出来，配最高的验证预算和最长的人工审查链。
• 重新审视你的用户协议。 如果你所在的产品有一个“点击我同意”的弹窗，那就问一句：这份协议对安全后果承担了什么？如果答案是什么都不承担，那你正在复制的正是 Yampolskiy 指出的那个行业性漏洞。
• 如果你在做 AI 安全研究，去做那些“即使我错也对”的方向。 他自己说，现在任何朝着安全方向的工作看起来都是好主意，因为我们没有在减速。这句话背后的意思是：在一个高不确定性、低共识的领域里，选那些无论最终判断如何都有价值的工作。
• 把“我被证明错了”当成一个可追求的目标。 这是整期对话里最有操作性的态度。写下一个你相信的判断，写清楚哪几个事实能证伪它，然后主动去找那些证据。这比选边站队有用得多。
• 分清你在担心哪一类风险。 X-risk、S-risk、I-risk 对应的应对手段完全不同。讨论 AI 风险时如果各方说的不是同一类，争吵会持续下去而没有任何进展。开会前先对齐定义，能省掉一半时间。

播客的最后一句话是 Yampolskiy 说的：目前为止，模拟还在继续。这既不是安慰，也不是威胁，它只是陈述了一个状态。而这个状态什么时候改变，取决于我们这一代人接下来做的几个决定。

回到开头那个 99.99%。它未必是对的，概率这种东西本来就随信息更新而移动。但一个愿意把自己的判断摆出来、并且公开请求别人来推翻的人，比一个只说“风险需要关注”的人，对讨论的贡献要大得多。至少他给了你一个可以攻击的靶子。