# 尼克·博斯特罗姆：模拟假说与超级智能 > 哲学家博斯特罗姆谈我们是否活在模拟中、超级智能的控制难题与人类文明的长期风险。 - 原标题：#83 – Nick Bostrom: Simulation and Superintelligence - 期数：第 83 期 - 发布日期：2020-03-25 - 嘉宾 / 主题：尼克·博斯特罗姆 - 网页版：https://lexfridman-cn.pages.dev/ep/nick-bostrom/ - 官方页面：https://lexfridman.com/nick-bostrom/ - 精读字数：约 12866 字（阅读约 29 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 二十年里，Nick Bostrom 被无数人问过同一个问题：模拟论证的三个选项里，哪一个最可能？他的回答从来没变过：我不选。 这种拒绝经常被当成哲学家惯用的回避。他的理由其实是另一回事：**我们的不确定性并不均匀地摊在整个问题表面，它集中在少数几个关键位置上，而那几处恰好决定全局。**在这种情况下给出一个数字，等于假装自己知道。 模拟论证在 2003 年提出，说三件事至少有一件为真：几乎所有文明都在达到技术成熟之前就灭绝了；达到技术成熟的文明都失去了运行模拟的兴趣；我们生活在一个模拟里。 这句话火了快二十年。但它真正的分量，不在那句“我们可能活在模拟里”，而在 Bostrom 对“不知道”这三个字的处理方式。 ## 先把两个词分清楚 大多数人把模拟假说和模拟论证当成一回事，他一上来就做了切割。 **模拟假说**是个具体命题：我们生活在计算机模拟里，字面意义上的，别当成比喻。有一个高度发达的文明造了很多计算机，我们感知到的一切，包括自己的大脑，都是那些计算机里正在运行的程序产生的效果。 **模拟论证**则是个析取命题，下面三条至少有一条为真： - 几乎所有文明在达到技术成熟之前就灭绝了 - 达到技术成熟的文明，都失去了运行这类模拟的兴趣 - 我们生活在模拟里 三条覆盖了全部可能性。论证本身不告诉你哪条为真，它只保证至少有一条是真的。 > 这个论证对三个选项之间的概率分配是完全不可知的。（尼克·博斯特罗姆） 关键就在这里。他反复强调，模拟论证的成立不依赖造一个模拟有多难，也不依赖人类还能活多久。哪怕造一个模拟需要五亿年，论证照样成立。 但如果你想判断自己更可能落在哪一条分支上，就必须回答这些问题。而这些恰恰是我们最没有把握的。 ## 技术成熟是什么意思 第一个选项依赖一个概念：技术成熟。这个词听起来含糊，他给了它一个相对清晰的定义，指一个文明把所有通用型、广泛有用的技术都开发到接近极限的状态。 怎么估算这个极限？他提到一个思路，来自他在牛津人类未来研究所的同事埃里克·德雷克斯勒（Eric Drexler）。 德雷克斯勒在八十年代研究分子制造，用理论工具和计算机建模分析各种分子级精确结构的性能。那时候造不出来，今天也造不出来。但你可以在理论上推算：如果把原子按某种方式排列，这个结构会稳定，会以某个速度旋转，会具备某些计算特性。 他算过一件事：用分子级精确的零件搭一台粗糙的计算机，体积只有一块方糖大小，性能是人类大脑的一百万倍。 他没说这是最优设计。真正高效的计算机还能更快。但他算出的这个数字是个下界，只要能做到原子级精度，它就立得住。 再叠加上太空殖民。宇宙的物理极限是光速，人类现在的火箭速度远低于它。把火箭造得更大、燃料更多，速度就能上去。一个文明如果有足够的时间，能控制的物质总量可以估算。哪怕有宇宙加速膨胀的限制，那仍然是个可观的数字。 把这些加起来：一个技术成熟的文明能拿到多少算力，存在一个非常高的下界。 Bostrom 的直觉是，这个下界不会等几百万年才到达。可能就在机器超级智能出现之后不久。 > 如果人类起源的文明要花几百万年才能开始做这件事，那我会很意外。它更可能发生在历史时间尺度上。（尼克·博斯特罗姆） 这句话决定了第一个选项的形状。如果达到技术成熟需要几千万年，那么在这漫长过程中，文明被各种灾难打断的机会就大得多，第一个选项的概率上升。如果需要的时间很短，第一个选项的概率就下降。 ## 宇宙很大，大到有点荒谬 第一个选项有个隐藏前提：宇宙里有很多文明。如果人类是唯一的，那么“几乎所有文明都灭绝”这句话在我们灭绝之后就自动成立，没什么信息量。 Bostrom 说，按目前最主流的宇宙学理论，宇宙是无限大的。无限大，加上每个局部区域都有某种随机的物质分布，那么在无穷多个区域里，所有可能的排列都会出现，概率为一。 外星文明不是可能存在，是必然存在，而且有无穷多个。 > 如果有无限多的物质团块，每个团块里都有随机的东西，那你就会以概率一得到所有可能的结果，无限重复。（尼克·博斯特罗姆） 这直接带出了费米悖论。既然宇宙这么大，文明这么多，为什么我们什么都没听到？ 他感兴趣的角度有点不一样。他说，你得区分两个问题： - 哪个风险对我们最大 - 如果有一种东西能杀死几乎所有文明，那会是什么 两个问题的答案不一样。第二个问题要求那个风险因子对所有文明都是均匀的，不管它们在哪、长什么样、走什么技术路线。**能让几乎所有文明都翻车的风险，必须是一种结构性的、普遍存在的东西。** 这也是他在别处花大量篇幅写超级智能的原因。人工智能风险可能是人类的大问题，但它未必是第一个选项需要的那个普遍杀手。被机器智能取代，不等于技术成熟没有达成。取代人类的那台机器，可能照样会发展到能造模拟的程度。 > 即使我们被机器超级智能杀死，那个机器超级智能也可能达到技术成熟。所以这不是人类专属的，任何看起来能到达技术成熟的智能物种都算。（尼克·博斯特罗姆） 所以第一个选项真正在问的是：宇宙中有没有一种结构性障碍，让几乎所有智能文明都过不去这道坎。 ## 第二个选项：动机会不会被重写 他认为第二个选项最难判断。 表面上看，所有文明都失去兴趣听起来像个玩笑，好像大家集体看腻了。他指的其实是更根本的东西：**一个文明在接近技术成熟的过程中，它的目标函数可能被彻底重写。** 他给了个例子。今天的人类不能直接控制自己的心理状态。你想体验快乐，得去做一堆外部世界的事：赚钱、订餐厅、吃好吃的。这些复杂活动之所以存在，很大程度是因为我们想要某种内在体验，却只能通过一长串外部操作间接获得。 技术发展到某个程度，一个文明可能获得直接调整自身内部配置的能力，而且有足够的知识和洞察力，把这件事做得有意义。那时候，很多工具性目标会直接消失。 > 可能有很多工具性目标会从图景里掉出去，被其他工具性目标取代，因为我们现在可以用更直接的方式去服务某些终极目标。（尼克·博斯特罗姆） 再加上一件事：通往技术成熟的路上，几乎必然会经过某种认知增强，无论是机器超级智能的辅助，还是生物改造。这些增强会带来一整套我们今天完全看不见的考虑因素。**今天我们觉得造不造模拟是个可以自由选择的选项，等到了那个阶段，它可能变得显然该做，或者显然不该做。** 他还补了一个观察，很有意思。个人对历史影响最大的时刻，未必是技术成熟之后，可能恰恰是现在，或者更早。 因为现在还有很多条路可走，人口相对少，事情还没定型。等到文明稳定下来，路径依赖性极强，个体的边际影响反而变小。如果把间接影响也算进去，那些塑造了今天世界的人，影响可能比未来超级智能时代的任何一个普通人都大。 ## 人越多，你越可能在其中 假设第三个选项为真，也就是有文明造出了模拟。那么从整个时空统计，模拟出来的、拥有我们这类体验的观察者总数，会超过非模拟的观察者。 然后要跨过一步，才能得出我们很可能在模拟里。 这一步叫朴素无差别原则（bland principle of indifference）。他的表述是：当你在两组观察者之间无法从内部证据判断自己属于哪一组时，应该按组的大小分配概率。如果模拟观察者是真实观察者的十倍，你就有十倍的可能属于模拟那一组。 他给了一个把这条原则说得更直观的论证。假设有一条连续光谱：模拟者占总人口的百分之零点一、百分之一、百分之十、百分之五十、百分之九十、百分之九十九、百分之九十九点九、百分之百。在百分之百那一端，你可以直接逻辑推出自己在模拟里，不需要任何概率。在零那一端，你可以直接推出自己不在。那么中间这些点，概率应该平滑过渡，不该有突变。 > 如果每个人都是模拟的，你可以直接推导出来，根本不需要概率。那么随着比例从九成到九成九到九九成九，你分配的概率应该平滑地趋近于一。（尼克·博斯特罗姆） ## 意识能不能被伪造 这里插进了一段关于意识的讨论，是整期节目里最容易被忽略、也最有意思的部分。 模拟假说能不能成立，依赖于一个来自心灵哲学的前提：**在计算机里创造意识是可能的。**决定一个系统有没有意识的，是它实现了什么样的计算结构；用有机神经元还是硅基元件搭出来，不影响这一点。 Lex 提了个问题：要模拟一个人，是不是得连整个环境一起模拟？还是只模拟大脑就够？ Bostrom 把问题拆开了。他先说了 VR 里的按需渲染：电子游戏不会一直渲染整个场景，只渲染玩家视野里的东西。如果我们的环境是模拟的，可能用的是同样的机制，只有进入视野的部分被渲染成高精度，其他部分用粗糙表示。 然后是意识。他说，如果有一个计算，和人类大脑在神经元级别的计算完全一致，一千亿个神经元，连接方式相同，突触权重相同，跑起来的行为和人类一样，那么**那个东西应该是有意识的**。 但能不能简化？简化到什么程度意识还在？他说这一点还没有定论。 Lex 抛出了自己的观察。他最近拿一个机器人平台做实验，让它发出疼痛的声音，看自己的反应。他说，很快这个机器人对他来说就显得有意识了。他的直觉是：**意识比智能更容易被伪造。**人类大脑在社交互动里非常容易被骗，只要对方表现出某些特征，比如能受苦、能表达困惑、能对自身存在发问。 Bostrom 的回应很谨慎。他说，这取决于交互的丰富程度。如果只是打个招呼，确实很容易伪造，现在就能做到。但如果是长时间的、开放的、可以从各种角度追问的交互，那要给出所有可能问题的正确答案，唯一的实现方式可能真的就是实例化一个意识。 > 如果你创造了一个你感知、与之互动的实体，对你来说完全真实，不只是你说你好它也说你好，而是很多天的深入对话，那可能唯一可行的实现方式，也会顺带实例化那个意识。（尼克·博斯特罗姆） 他拿做梦举例。人类的脑子，三磅重的神经组织，每天晚上轻轻松松就能造出一个信以为真的虚拟现实，而且你经常意识不到自己在做梦。一个拥有行星级计算机、优化了亿万年的超级智能文明，要给你造一个可信的环境，难度只会更低。 ## 诺齐克的体验机器 顺着这个话题，他们聊到了罗伯特·诺齐克（Robert Nozick）的体验机器思想实验。 设定大致是这样：未来的神经科学家造了一台机器，你进去之后可以体验任何想要的东西。梦想成真，你成为伟大的艺术家、伟大的爱人，过上美好的一生。代价是脱离现实，飘在缸里。 诺齐克认为大多数人不会选择进去。也许去度个假可以，但不会永久退房。他用这个论证反对某些价值理论，特别是那种认为价值完全由体验构成的观点。在体验机器里你可以得到任何体验，但很多人会觉得那没什么价值。所以价值依赖体验之外的东西。 Bostrom 补了一个观察，很敏锐：**这个思想实验里有很强的现状偏误。** 很多人不愿意拔掉插头进机器。但如果你告诉他，他到目前为止的经历其实是一场梦，现在可以选择断开连接进入真实世界，而真实世界他完全不知道是什么样。或者告诉他，其实他是个在秘鲁种花生的农民。他是愿意继续做梦，还是回到真实？ > 如果现状是他们在体验机器里，很多人可能宁愿继续过熟悉的生活，而不是跳出去。（尼克·博斯特罗姆） 所以人们真正珍视的，可能是某些项目、关系和自我认同的连续性。至于在缸里还是缸外，在秘鲁还是在计算机里，反而没那么要紧。 Lex 说自己愿意跳，愿意当那个秘鲁农民，尤其是 VR 越来越真实之后。Bostrom 提醒他，这个思想实验里秘鲁农民是真实的，并非虚拟。 然后 Lex 追问了一个更锋利的问题：那些别人呢？如果你在体验机器里有个妻子，她有自己的恐惧和希望，你拔掉插头再插回来，她还在那里过自己的生活。她算不算真实的？ 他的回答取决于实现方式。如果她只是墙上一张静态照片，那撕掉这张照片没有伤害任何人。但如果她在神经层面被完整实现，拥有和你一样的行为库，那她很可能也是一个有意识的人。你在机器里的所作所为，对她就是真实的后果。 他把这个问题推到了更深一层：**有没有可能，要造出一个能提供完整人类体验的体验机器，包括和别人深入互动的体验，而不顺带实例化那些别人，在技术上做不到？** 他说这一点同样没有定论。 ## 末日论证：从瓮里摸球 聊到第三个选项的推理结构，自然就接到了末日论证（Doomsday Argument）。 这个论证最早由理论物理学家布兰登·卡特（Brandon Carter）提出，哲学家约翰·莱斯利（John Leslie）在 1996 年的书里做了发展。核心主张是：我们系统性地低估了人类很快灭绝的概率。 他先声明，大多数人最后会觉得这个论证有问题，但很难说清楚问题在哪。他自己的看法是不确定，悬而未决。然后他讲了论证本身。 用摸球的类比最好懂。两个瓮，外观一样。一个里面十个球，编号一到十。另一个里面一百万个球，编号一到一百万。有人随机把其中一个瓮放你面前，让你猜是哪个。你先验是五五开。然后你被允许伸手摸一个球，摸出来是七号。 这是十球瓮的强证据。如果是一百万个球，摸到七号的概率微乎其微。用贝叶斯更新一下，你几乎可以确定这是十球瓮。 末日论证说，对人类的出生序号也应该这样推理。 简化成两个假设：人类总共会有两千亿人，或者总共会有两百万亿人。你根据自己的经验判断，先验可能觉得只有百分之五的概率会在两千亿这个数量级就灭绝，也就是说，大概率我们还能殖民宇宙。 然后把你的出生序号当成一个随机抽样。你大约是第一千亿个出生的人，正负若干。这个数字取决于你怎么定义人，但量级没问题。 如果总数是两千亿，那么你是第一千亿个，非常普通，正好在中间。毫不意外。 如果总数是两百万亿，那么你是第一千亿个，就非常靠前了。从两百万亿人里随机抽一个，抽到第一千亿个的概率极低。 所以，你应该更新自己的信念，偏向人类很快灭绝这个假设。 > 这看起来会引向一个直觉上错误的结论。从非常弱的先提出发，得出了非常惊人的含义，我们几乎没机会达到两百万亿人。（尼克·博斯特罗姆） ## 模拟论证比末日论证稳在哪里 整期节目里技术含量最高的段落在这里，也是 Bostrom 真正想强调的地方。 末日论证依赖一个假设，叫自我抽样假设（self-sampling assumption）：你应该把自己当成从所有观察者（或者某个参照类）里随机抽出来的一个。 麻烦在于，你在事实上知道自己大约是第一千亿个人，知道自己活在 2020 年。在这个前提下还要求你像随机抽样一样推理，很多人觉得别扭。这个假设就成了攻击点。 但他说，真正麻烦的地方在于：**现代宇宙学里，有些看起来完全正当的科学推理，好像也需要类似的东西。** 他举了多重宇宙的例子。在很多多重宇宙理论里，所有可能的人类观察都会被做出。如果宇宙足够大，会有很多人在观察各种各样的东西。假设有两个竞争理论，关于某个常数的值。在两个理论下，都会有一些观察者观察到与另一个理论相符的值，因为总有人产生幻觉，总有局部涨落，总有统计异常的测量。 我们想说：确实会有少数人观察到错误的值，但绝大多数观察者会观察到正确的值。所以我们自己应该预期观察到正确的值，这样我们的观测证据才能支持我们认为正确的那个理论。 **如果不引入某种类似自我抽样假设的东西，这个推理就走不通。**而我们对宇宙微波背景温度的测量、对精细结构常数的推断，都依赖这类推理。 于是出现了尴尬的局面：在宇宙学里，这类人类选择推理看起来必需且完全合理；一旦用到人类自己身上，就得出一个直觉上荒谬的结论。 Bostrom 说，这属于方法论难题，需要一套关于人类选择效应下如何合法推理的理论。 然后他把话题拉回来：**模拟论证需要的假设，比末日论证弱得多。** 末日论证要求你在明知自己是第一千亿个人、活在 2020 年的情况下，仍然把自己当成随机抽样。这是很强的要求。 模拟论证只需要：如果你确实没有任何内部证据能判断自己是模拟的还是非模拟的，那就按两个群体的大小分配概率。 > 在模拟论证里，你作为观察者的角色是不同的。关键的方法论假设要弱得多，也少了许多争议。（尼克·博斯特罗姆） 这是他给模拟论证辩护的核心。他不否认末日论证可疑，但他认为把对末日论证的怀疑转移到模拟论证上站不住脚，因为两者需要的假设强度差了一截。 ## 底层现实与模拟塔 Lex 问了一个工程视角的问题：如果模拟里还能再模拟，会不会套很多层？ 答案是，每个新生成的一层，可用资源都更少。而且有个硬约束：底层现实里那台跑所有模拟的计算机，必须为整座塔供电。如果底层算力有限，塔的高度就有限。 他用了这个词，basement reality，底层现实。 > 如果在底层现实里算力是有限的，那就限制了这座塔能有多高。而且如果每一层都带来巨大的额外开销，那么大多数观察者可能都在塔的较低层。（尼克·博斯特罗姆） 这里还有物理约束。如果模拟者所在的宇宙也有类似我们观测到的物理规律，正宇宙常数意味着宇宙在加速膨胀，一个文明能触及的物质总量是有限的，哪怕以光速扩张，也只能拿到一个有限球体内的东西。再加上计算过程中的擦除损耗、质子衰变、引力波辐射，最终会走向某种热寂。 所以模拟的数量有限。既不为零，也不无穷。 ## Elon Musk 为什么要模拟自己 Lex 提到 Elon Musk 是模拟假说最大的推广者之一。Bostrom 说，标准论证对所有人都适用，但对 Musk 这样的人，多一个额外的理由。 如果造模拟的文明只挑某些有趣的子集来跑，并不重演全部人类历史，那么被模拟的人更可能是那些生活不同寻常、有影响力的人。一个农民被模拟的概率，和一个改变了航天工业的人被模拟的概率，未必一样。 > 如果你把自己代入 Elon Musk 的位置，你会想，也许模拟极不寻常、极有影响力的人生的兴趣会更大。（尼克·博斯特罗姆） 他管这个叫额外加成。从秘鲁农民到 Elon Musk，越往那一端走，概率越高。 至于模拟之外是什么，他说，这个问题和模拟之内是什么紧密纠缠。如果你对模拟的创造者有什么看法，能帮你预测这是什么样的模拟、里面会发生什么、模拟结束之后有没有之后。 但他也提醒，我们理解自己的能力有限。他给了个比喻：狗对人类的理解，和人类对自身的理解，差距有多大。而人类对自身的理解，和超级智能对人类的理​​解，差距可能同样大。 然后他给了整期节目里最精彩的一个比喻。 假设有件事，你要猜一个十位数是奇数还是偶数。如果是偶数，你这辈子最该做的事是往北走。如果是奇数，往南走。现在你通过科学和哲学，搞清楚了前七位数。你掌握了很多信息，大部分都知道了。但最后三位你完全不知道。所以你依然完全不知道应该往北还是往南。 > 我们对宇宙了解很多，可能已经走了一大半路。但缺失的那部分，可能恰恰会彻底改变整件事的意义，包括我们对优先级排序的整体看法。（尼克·博斯特罗姆） 这个比喻解释了为什么他不愿意给三个选项分配概率。这算不上谦虚。他认为缺失的信息可能就落在关键位置上。 ## 从模拟转向超级智能 访谈进行了一个小时四十分钟，才转到超级智能。 他对智能的定义很实用：解决复杂问题、从经验中学习、规划、推理，这类能力的组合。他明确说，意识不包含在里面。一个系统可以相当智能而完全没有意识。 超级智能就是这些东西的放大版：学得快得多，推理好得多，规划更有效，在广泛的复杂环境里都能达成目标。 它必须是物理的吗？不一定。纯数字的完全可以。它当然是物理的，因为计算机和存储器是物理的，但它影响世界的能力可以非常强，哪怕只有很有限的执行器，比如能在屏幕上打字。 这里他特意做了一段平衡。他说，他在 2014 年写《超级智能》的时候，感觉到当时对成功之后会怎样关注不足，需要更细致地理解坑在哪里，才能避开。书出版之后情况改变了，很多研究组开始做对齐技术。 他说，现在需要把**正面可能性**重新摆回桌面。公共讨论里，对通用智能负面可能性的讨论远远多于正面。 > 我觉得现在重要的是把正面的东西也摆回桌面。现在对正面可能性的关注有点不足。（尼克·博斯特罗姆） ## 近景和远景别混着谈 他提了一个很重要、但经常被搞混的区分：近景 AI 和远景 AI。 近景是今天人们在担心的东西：算法歧视、自动驾驶、无人机。远景是《超级智能》里写的那种。 他说这个区分本身是模糊的，中间有重叠，一个会演化成另一个。但两种语境下问题的形状很不一样。 > 把两种混在一起，就会得到一个糟糕的对话。分开谈，可以有两个好的对话。（尼克·博斯特罗姆） 他的判断是：近景被过度炒作，远景被低估。 那远景的正面图景是什么样？他说很难具体描述，因为当今世界问题太多，几乎没有一个问题是一个友好的、对齐的超级智能帮不上忙的。从健康到经济系统，到投资、贸易、外交决策。 但他也说，没有单一的杀手级应用。**通用人工智能是终极的通用技术**，它的影响不会停在某个领域，凡是需要人类创造力和问题解决能力的地方都用得上，那几乎是所有领域。 > 它能给我们更多对自然的控制。但它不会自动解决人与人之间冲突产生的问题。那些根本上是政治问题。（尼克·博斯特罗姆） 有些冲突会随着资源和技术的增加而消失，有些需要协调，而协调不会因为技术能力变强就自动到来。 ## 智能爆炸 Lex 问智能爆炸。他的回答是，不知道会有多爆炸。但他觉得，在某个时间点出现一段 AI 进展极快的时期，是相当可能的，大致在接近人类水平核心认知能力那个区域。 他说人类水平这个概念本身，仔细看就会开始瓦解。所以这个区域是个灰色地带。 他还说，如果把全世界研究者的意见画成分布，他大概比平均更偏向智能爆炸那一侧。 过了人类水平之后呢？能继续往超级智能走吗？ 就他能判断的而言，人类认知能力附近出现天花板，非常不可能。他还补了一句，那种感觉是既恐惧又兴奋。 Lex 追问：造出一个比你更聪明的东西，是不是意味着失去控制？ 他说，后者不成立。可以想象，而且确实有很多人在努力确保，我们能投射出更高水平的问题解决能力，同时保证它对齐，服务于人类价值。 Lex 改口，说他指的不是控制，是**特殊性**。人类会失去作为地球上最聪明的东西的位置。这涉及自尊。 Bostrom 的回答挺有意思。他说，其实已经有很多东西比我们聪明了。如果把宇宙的尺度算进来，肯定有其他文明已经有超级智能，或者有海滩球那么大的脑子，把人类远远甩在后面。 然后他说，我们其实已经习惯了生活在比自己聪明的系统里。科学共同体作为一个整体，如果把它当成一个心智，它的容量远远超过任何个体。这已经是一种超级智能了，只是我们不这么叫它。 > 已经有一些东西比我们聪明。你只是接受了这个事实，它是我们存在的基本结构。（尼克·博斯特罗姆） 他说，Google、Twitter、Facebook 这些推荐系统已经是基本结构了。 ## Deep Blue 和 AlphaZero Lex 问，这些系统的集体智能会不会达到超级智能水平？ 他说，这里智能这个概念开始变得模糊，尺度问题和人类水平的定义问题开始主导答案。 他说，Google 搜索引擎在某个特定能力上极高：检索、记忆、找回信息，特别是文本和图像。在这个领域它是超人。但在其他一大堆事情上，它根本做不到，连“做得粗糙”都谈不上，是完全做不到。**一个尖峰极高的超级智能，其他所有认知维度都是零。** 然后 Lex 说了自己的感受：AlphaZero 比深蓝（Deep Blue）智能得多。两个都是下棋的，但 AlphaZero 有学习能力，能从一个没见过的领域里自己搞明白发生了什么，最终变得很擅长。深蓝不会。 Bostrom 同意，学习能力是通用智能的重要侧面。而且 AlphaZero 不只是学围棋，理论上也能学国际象棋，学其他棋类。它是通用的。 > 如果你有通用学习能力更强的系统，它可能也会触发更强的直觉，觉得它们真的开始变聪明了。（尼克·博斯特罗姆） ## 乌托邦：先别急着做取舍 Lex 让他描述心目中的乌托邦。 他说自己很感兴趣但还没有全部答案，可能永远也不会有。但他有两点观察。 第一，如果那个场景真的到来，它会打开一个巨大的可能存在方式的空间。物质和资源约束会极大地拓展，饼变大了。同时它也打开了对自己做更多事的空间，一个比人类历史上任何时候都大得多的设计空间和选项空间。 由此推出两件事。一是我们可能需要从根本上重新思考自己到底珍视什么，从第一原理出发。因为那个语境和熟悉的语境差太远，把过去一直在做的事直接搬过去是不行的。比如我们有个扫地机器人，在厨房里扫扫地，再加点小事，这个思路是不够的。要从个体的层面重新问：生命的意义是什么，幸福是什么，充实是什么。 第二，和资源空间大有关：**我们有可能同时满足多个价值体系，不必只选一个。** 他说，不应该只挑一个价值标准做得很高，其他全是零。比如一个纯享乐主义的缸中之脑，快感拉满，但没有美、没有成就。在一个显著但不必无限的程度上，可能可以同时在很多标准上做得很好，比如每个标准都拿到百分之九十八。 > 我们应该先试着在所有标准上都做得很好。然后可能没法拿满百分之百，那时候才需要就哪个只能拿百分之九十七进行艰难的对话。（尼克·博斯特罗姆） 他说，这种心态是慷慨和包容不同价值体系，先看看能走多远。他相信可以做出在非常多不同标准下都很好的东西。 ## 幸福和意义是两回事 最后 Lex 问了那个大问题：生命的意义是什么？ 他先把问题拆开了。幸福、意义、目的、充实，这些是不同的问题。 他说，可以想象一个人从某件事里获得很多快乐，但不觉得那有意义。比如窝在沙发上看某部剧的重播，吃垃圾食品。可能很爽，但当事人不会觉得这有什么意义。 反过来，一件非常有意义的事，可能并不好玩。比如一项艰难的成就，真的帮到了很多人，但需要自我牺牲和艰苦努力。 > 这些东西是可以分开的。你在思考乌托邦问题的时候要记住这一点，要把不同种类、以不同方式有价值的东西区分清楚，先看清楚每一个，再想怎么把它们组合起来。（尼克·博斯特罗姆） 他接着说了一个更技术性的想法。你总能构造出两个完全对立的价值，这没办法。但很多价值放进低维空间里看是纠缠的、没法同时满足，一旦增加维度，多数时候就能拆开。 这个说法听起来抽象，其实很具体。资源极度匮乏的时候，安全和自由确实互相挤压，你多要一点这个就得多放弃一点那个。但如果资源扩张几个数量级，很多原本的取舍关系就松开了，真正变的是约束条件。 他的态度是：先看看这个空间有多大，别一上来就假定必须做残酷的取舍。 ## 为什么他不肯给出概率 回头看整期节目，Bostrom 最一贯的姿态是拒绝。 拒绝把模拟假说说成“很可能为真”，拒绝给三个选项排序，拒绝在不知道最后三位数的情况下猜这个数是奇数还是偶数。 把这个姿态当成哲学家的滑头，是常见的误读。把他的理由串起来看，其实是同一件事：**我们的不确定性不是均匀分布的，它集中在几个关键位置上，而那几处恰好可能决定全局。** 造一个模拟有多难？我们不知道。技术成熟之后一个文明的动机结构会变成什么样？我们不知道。意识和计算的对应关系边界在哪？我们不知道。宇宙里有没有一种所有文明都躲不过的结构性障碍？我们不知道。 这四个“不知道”里，任何一个的答案都可能把概率分布整个翻转过来。在这种情况下给一个数字，等于假装自己知道。 但注意，他没有因此说这个话题没有意义。恰恰相反。他说，如果模拟论证是对的，它告诉我们的关于世界的事情，可能是当代最根本的发现之一。 > 这件事为什么值得关注，其实挺明显的。如果它成立，它会告诉我们一些关于世界的非常重要的事，不管三个选项里哪一个为真。（尼克·博斯特罗姆） 这是他和其他科普者不一样的地方。科普者喜欢说“我们有很大可能活在模拟里”，因为这句话有传播力。Bostrom 说的是“这三种情况一定有一种为真，至于是哪一种，我们目前的认知水平不配回答”。 后者听起来没那么抓人，但它更接近一个人真正相信的东西。 ## 一个容易被忽略的推论 访谈里有个细节值得单独拎出来。 他说，个人对历史影响最大的时刻，未必是在技术成熟之后，反而可能是更早。因为现在还有很多条路可走，事情还没定型，人口也相对少。等到文明稳定下来，路径依赖极强，个体的边际影响会变小。 如果把间接影响算进去，那些塑造了今天世界的人，影响可能比未来超级智能时代里的任何一个人都大。 这句话放在 2020 年 3 月，也就是这期节目录制的时点，有一种奇怪的重量。那时候疫情刚开始蔓延，全世界都还没意识到接下来两年会是什么样。Bostrom 在节目开头特意说明，这段对话录制于疫情爆发之前。 节目里还有一句话：最深的教训只有在风暴过去之后，回望时才能学到。 现在回头看，这句话本身就是一个例子。那段时间里很多人的选择，无论是个人的还是制度的，都落在了他说的那种“路径还没定型”的窗口里。窗口关上之后，再想改就贵得多了。 ## 关于宇宙很大这件事 还有一个点，容易被“模拟”这个吸睛的标签盖过去。 按主流宇宙学，宇宙是无限大的。无限大且局部随机，那么所有可能的排列都会出现，概率为一。外星文明不是可能存在，是必然存在，而且无穷多。 这个推论很轻，轻到容易被当成饭后谈资。但它的分量其实很重。 因为如果宇宙里有无穷多个文明，那么第一个选项，也就是几乎所有文明都灭绝，就变成了一个非常强的经验主张。它要求存在一种对所有文明都有效的东西，不管它们在哪、什么形态、走什么技术路线，都过不去。 这种结构性的普遍杀手，人类目前一个都没找到。我们找到的风险，核战争、气候、大流行病、人工智能，都带着强烈的“人类特殊性”，依赖我们的生理、社会结构、技术路线。它们对另一个物种未必成立。 找不到，不等于不存在。但它确实让第一个选项显得没那么顺理成章。 而如果第一个选项被削弱，概率就流向了第二个和第三个。第二个是动机问题，我们对它几乎一无所知。第三个就是模拟。 这就是为什么有人读完之后，觉得结论几乎是必然的。逻辑链条看起来太顺了。 Bostrom 的谨慎恰恰在这里起作用。他会说，链条的每一环都依赖一个我们其实没验证过的前提。尤其是第二个，动机会不会被彻底重写。那是整个论证里最软的一环，而我们对它的了解最少。 ## 几句值得记住的话 节目最后，主持人引用了一段 Bostrom 写过的话，关于存在性风险： > 我们应对存在性风险的方式不能是试错。没有从错误中学习的机会。“看看会发生什么，限制损害，从经验中学习”这种被动方式行不通。我们必须采取主动的方式。这需要远见，去预判新类型的威胁，需要意愿去采取果断的预防行动，并承担这些行动在道德上和经济上的代价。（尼克·博斯特罗姆） 这段话解释了他为什么花二十年研究这些问题。 试错在大多数领域是有效的，因为错了还有下一次。在存在性风险这个领域，错了就没有下一次。样本量为零，反馈回路断开，学习机制失效。 所以只能靠预判。而预判需要想象力，需要在事情发生之前，把可能的形状想清楚。这正是哲学在这类问题上的用处：把问题空间描绘清楚，后来的人据此知道该往哪里看。 Bostrom 在这期节目里做的，就是这件事。他没告诉你我们是不是活在模拟里。他告诉你的是：如果你要认真想这个问题，你得先搞清楚技术成熟意味着什么、动机是如何形成的、意识需要什么样的计算、以及为什么有些概率你不能随便给。 把这些想清楚之后，答案可能还是不知道。但你会知道自己在不知道什么。 这可能是这类问题能给的最好的结果。 ## 如果这些讨论对你有用，可以做几件事 - 读 Bostrom 2003 年那篇原始论文《你活在计算机模拟中吗？》（Are You Living in a Computer Simulation?）。它比二手转述克制得多，全文没有一句“我们很可能在模拟里”，只有三个析取项和一段方法论说明。看完再回头看你之前信的那些版本，会发现大多被过度简化了。 - 把“模拟假说”和“模拟论证”这两个词在自己的表达里分开。混着用是传播中最大的损耗点，一旦混了，讨论就会滑向“你是不是在说我们是假的”这种无效方向。 - 下次看到有人给模拟概率赋值，先问一句：你给的是哪个前提的概率？造模拟的难度，还是动机的稳定性？这两个数完全不是一回事，很多人把它们当成了一个。 - 了解一下人类选择效应（anthropic reasoning）这个领域。末日论证和模拟论证的差别，本质上是所需假设强度的差别。这个区分方法可以迁移到很多其他推理上：看一个结论有多强，先看它需要多强的假设。 - 如果你在做 AI 相关工作，注意他反复强调的近景和远景之分。把算法歧视和超级智能对齐混在一个对话里，两边都会变糟。分开谈，两边的讨论质量都会提高，也更容易找到自己该站的位置。 - 最后一条，关于乌托邦那段。他说的是先别急着做取舍，先看看能不能在所有标准上同时做得好。这个思路不只适用于未来。手上有多个目标、多个利益相关方的时候，第一反应不该是“这几件事必须牺牲一件”，而是先问一句：约束条件是真的，还是我假设的？