马克斯·泰格马克：生命 3.0

马克斯·泰格马克（Max Tegmark）是 MIT 的物理学家，大半辈子在研究宇宙学，后来把注意力转向了另一个宇宙：智能。他创办了生命未来研究所（Future of Life Institute），写了《生命 3.0》。在这期访谈里，他抛出了一个和主流直觉相反的判断。

在公开演讲里，他常让听众举手：觉得宇宙中存在其他智慧生命的，请举手。几乎所有人都举手了。理由也差不多，银河系这么大，行星这么多，怎么可能只有我们。泰格马克说，他自己是那个少数派，他不举手。

他的理由来自算账，与直觉无关。

费米悖论的另一面：大过滤器可能在我们身后

先得把宇宙这个词说清楚。泰格马克提醒，物理学意义上的宇宙，指的是自大爆炸以来 138 亿年里，光有足够时间抵达我们的那片球形空间。它并不等于无穷大的所有空间，只是我们理论上能观测到的这一块。

在这个可观测范围内，仅银河系就有超过十亿颗类地行星，很多比地球还要老几十亿年。如果智慧生命出现的概率不太低，那么按概率算，我们应该早就被发现了，或者早就发现别人了。但除了 UFO 爱好者，没有任何确凿证据显示，有超级文明来过这里。

这就是费米悖论。

泰格马克的处理方式很物理学家。他说，我们对“一颗行星上出现生命的概率”完全没有概念，那它可以是 10 的负 10 次方，也可以是 10 的负 70 次方。如果对所有数量级一视同仁，那意味着我们的最近邻居可能在 10 的 16 次方米外，也可能在 10 的 70 次方米外。而 10 的 16 次方米这个尺度，人类早就探过了，那里什么都没有。再远一点，如果真有文明，他们应该早就造出我们能观测到的工程痕迹。如果超过 10 的 26 次方米，那已经出了可观测宇宙的边界。

结论就剩一个：在这片可观测宇宙里，达到建造望远镜和计算机水平的生命，可能真的只有我们。

这个判断带来一个伦理后果。泰格马克说，这意味着责任全在我们肩上。那些觉得“就算我们搞砸了，宇宙里总会有别的文明来救我们”的想法，是一种虚假的安全感。他更愿意说：我们得对这次机会心怀感激，然后尽全力把它走好。

他还有一个概念叫“大过滤器”（Great Filter）。从无生命到能建造高级技术的生命，中间一定有一道极难通过的关卡。问题是，这道关卡在我们身后，还是在我们前方？

每次 NASA 发报告说在火星上没找到生命，我都特别兴奋。因为这说明最难的那一步，也许是把第一个核糖体组装出来这种极低层次的台阶。如果真是这样，那我们就已经过关了。（泰格马克）

反过来，如果大过滤器在我们前方，那就意味着：一个文明一旦掌握高级技术，一百年内就会因为某种愚蠢的自我毁灭而消失。泰格马克说，这个版本的故事“太扫兴了”。他宁愿相信我们已经过了最难的那一关。

物理学家眼里，意识不需要神秘物质

话题从宇宙转到心智。泰格马克说，他十几岁时就被科学里两个最大的谜团吸引：外面那个宇宙，和里面这个宇宙。前者他研究了二十五年，后者是他现在觉得时机已到的新战场。

很多研究者把智能看作只可能存在于生物体里的神秘东西，因此把通用人工智能（AGI）当成科幻。泰格马克以物理学家的身份看这件事，结论完全不同。

我就是一堆夸克和电子，按某种模式运动、处理信息。这个水瓶也是一堆夸克和电子。我不比它聪明，原因不在夸克种类，大家都是上夸克和下夸克，一模一样。这里面没有秘密酱料，区别只在信息处理的模式。（泰格马克）

换句话说，物理学里没有任何一条定律说，我们不能造出比我们聪明得多、帮我们解开我们解不开的谜题的技术。他说，我们目前看到的，只是智能冰山的尖尖。

他造了一个词来描述这个思路：perceptronium（感知物质）。这是他提出的一个假想物质状态，用物理学语言去问一个很直接的问题：一个任意的物理系统，它的粒子在做什么、信息在做什么，才能让它有意识？

泰格马克明确反对“碳沙文主义”（carbon chauvinism），也就是“必须由碳原子构成才算聪明或有意识”的态度。关键不在材料，在信息处理的模式。

有意识的信息处理，和无意识的信息处理

他给了一个很具体的观察：你的大脑里，绝大多数信息处理都没有意识参与。视觉系统每秒涌入约 10 兆比特的信息，你对其中绝大部分毫无察觉。心跳调节、呼吸、走路时的肌肉协调，全在后台跑。甚至你读一句话，眼睛扫过去，答案“啪”地出现在脑子里，但你不知道这个计算过程是怎么发生的。

你的意识就像 CEO，收到一封邮件，里面是最终答案。至于中间是谁算的、怎么算的，CEO 不知道。（泰格马克）

这就引出一个真问题：什么样的信息处理模式会伴随主观体验，什么样的不会？泰格马克认为，这里有一个重大的科学发现等着被做出来。他甚至相信，看这期节目的人里，将来可能有人会写下那个方程，描述信息处理要满足什么条件才产生意识。

这个问题不只是哲学趣味。他举了个急诊室的场景：一个无反应的患者被推进来，如果除了 CT 扫描仪，还有一台“意识扫描仪”，能判断这个人是闭锁综合征还是真的昏迷，那该多好。再往后想，如果家里有个能和你顺畅聊天的机器人，你会不会想知道它到底有没有体验？还是只是个僵尸？

他甚至设计了一个思想实验来逼问读者。你去麻省总医院做手术，医生说：我们会给你肌肉松弛剂，你全程清醒、剧痛难忍，但动不了，也叫不出声。不过手术结束后，我们会给你一针药，抹掉这段记忆。你接受吗？

只看行为的话，这个方案和全麻没有区别，术后你什么都不记得。但几乎所有人都会说不接受。泰格马克说，这个思想实验之所以扎心，是因为它说明：体验本身就有价值，哪怕它不改变任何可观测的行为。

关于意识，有三派人，泰格马克站中间

他把学界对意识难题的看法分成三派。

第一派以丹尼尔·丹尼特（Daniel Dennett）为代表，认为意识难题根本不是问题。意识就等于智能，任何表现得有意识的系统就是有意识的，和我们一样。

第二派人数也不少，包括很多顶级研究者，他们的结论恰好相反：机器永远不可能有意识，它们永远只是僵尸，所以你怎么对待它们都不必内疚。

第三派以朱利奥·托诺尼（Giulio Tononi）和科赫（Koch）兄弟为代表，泰格马克把自己放进这一派：有些信息处理是有意识的，有些不是，那就把这个区分找出来。

他批评前两派都太懒。这么多年，人们一直在绕开这个问题，“意识”这个词在很多圈子里几乎是禁忌。他说，别再找借口了，这问题属于科学范畴，而且原则上可以做实验来检验任何给出可证伪预测的理论。

他还顺带戳了一下人类的自我美化倾向。我们说动物不能感受疼痛，所以可以活煮龙虾，理由是“我们问它疼不疼，它没说话”。现在有论文说龙虾确实会疼，瑞士已经立法禁止活煮。同样的逻辑，人类历史上用来对待奴隶、对待女性：“他们没有灵魂”“他们不在意”。泰格马克说，每次听到有人把“机器不可能有体验”当作公理，他都觉得紧张，因为这正是那种自我服务式论证的老套路。

自我保存不是与生俱来，是目标的副产品

话题转到 AGI 会不会需要身体。泰格马克说不需要。身体在学阶段有大用，能帮机器学会对人类重要的那些世界知识，但学会之后就不需要了。他举梦做例子：你闭着眼，没有感官输入，没有行为，但梦里依然有丰富的体验。体验的来源不在眼睛，在大脑里的信息处理本身。

更有意思的是关于怕死的讨论。人类怕死，是进化给的。达尔文式演化把自我保存本能刻进了我们和所有生物体内，没有这套基因的都从基因池里被清掉了。

AGI 的来源是设计，进化在这里帮不上忙。泰格马克说，可设计的心智空间比进化能到达的那一小块大得多。一个 AGI 不必有自我保存本能，也不必那么个体主义。他甚至设想：如果你的意识能每五分钟备份到云端，飞机要坠毁了，你只会叹口气，“唉，损失了最后五分钟的体验”，死亡的重量完全不同。如果意识能像硅基系统那样在个体之间随意复制，我们可能更像蜂群思维，而眼下这种孤立的个体状态会显得很陌生。

但这里有个反转。这个反转来自史蒂夫·奥莫亨德罗（Steve Omohundro）和尼克·博斯特罗姆（Nick Bostrom）的一系列论证。你造机器时，总会给它一个目标：赢下这盘棋、安全驾驶这辆车、给我做顿意大利面。一旦目标被写进去，尤其是开放式目标，而机器又足够聪明，它就会把大目标拆成一堆子目标。

其中一个子目标几乎必然是自我保存。因为如果它在过程中坏了、死了，目标就完不成了。你让它出门买菜做饭，路上有人想砸它，它会有动机保护自己、躲开，否则晚饭就做不成了。它不怕死，但它非常想完成做饭这个目标，于是就有了自我保存本能。（泰格马克）

同样地，给它任何有野心的目标，它几乎必然会想获取更多资源，因为资源多才能把目标完成得更好。泰格马克说，AGI 安全担忧的一大来源，正是这些我们没打算让它去做、但它自己推出来的子目标。

智能不是单一数字，是一整片上升的海平面

访谈里泰格马克给了一个很克制的定义：智能是完成复杂目标的能力。这个定义的好处是不涉及意识，也不涉及碳基特权。按这个定义，AlphaGo 和 AlphaZero 相当聪明，但它们不怕被关机，因为它们根本不懂“被关机”这个概念。

他强调，智能没法压缩成一个可测的数字。你可以下

他强调，智能没法压缩成一个可测的数字。你可以下棋好、开车好、投资好、写诗好，这些目标彼此独立，甚至互相冲突。所以问“这台机器的智能是多少”本身就有问题。现实是：机器在很多狭窄任务上远超人类，比如大数相乘、记忆大数据库、下棋、下围棋，很快还有开车。但至今没有任何一台机器，在通用智能上比得过一个人类小孩。

通用人工智能的定义，恰恰是那个“什么都能干得和人一样好”的老圣杯。泰格马克说，如果真的实现，那将是地球生命史上最大的一次转变。但这个转变不会在某一个瞬间突然发生，它分阶段。

第一个大变化，是机器开始比人更擅长做我们大多数的工作，这会抽掉对人类劳动力的大部分需求。第二个更大的变化，是机器在所有认知任务上都超过人类。

他还提醒了一个时间尺度的问题。今天 AI 研究的节奏，受限于人类研发周期，从一代软件到下一代，以年计。但一旦谷歌能用四万份软件替代四万名工程师，这个限制就消失了。

到那时，AI 和所有科学技术进步的时间尺度，将由机器驱动，不再是人类。（泰格马克）

这就是所谓“智能爆炸”或者“奇点”讨论的来源。这个想法最早由 I.J. Good 在 1950 年代明确提出，但图灵等人更早就想过。泰格马克说，真正有趣的门槛比“在所有认知任务上超过所有人类”要低一点：当机器在 AI 编程和通用学习上超过人类时，只要它愿意，它就能通过研究把自己变得在任何事情上都超过人类。

他用了《生命 3.0》里那张著名的图：海平面在上升，原来露出水面的山峰一座座被淹没。那些山峰就是人类还占优势的任务，海平面就是机器能力。

创造力算不上人类最后的堡垒

有读者提问：创造力是不是人类特有的、机器难以企及的东西？毕竟人类有缺陷、有矛盾、有挣扎，这些是不是创造力的来源？

泰格马克的回答很直接：创造力应该被看作智能的一个侧面，用不着把它供成人类专属的神秘能力。他提醒大家警惕人类虚荣心：每次机器做成一件事，我们就说“哦，但那不算真正的智能”“那不算真正的创造力”。这是一种不断后退的防守姿态。

他举安德鲁·怀尔斯（Andrew Wiles）证明费马大定理为例。怀尔斯描述那个时刻：所有碎片突然拼合，他盯着那个证明看了二十分钟不敢相信，白天在系里走来走去，不断回到桌边确认它还在，那一刻是他职业生涯中最重要的时刻，之后任何事都无法与之相比。

泰格马克把这个时刻拆成两个问题。第一个是智能问题：能不能造出一台机器，独立做出这种级别的证明？他认为，当机器能做到这一步时，离通用人工智能已经很近了。第二个是意识问题：这样一台机器，会不会对这种成就产生某种类似“崇高”“深刻”“有意义”的体验？

他的回答带着一种少见的忧虑：

我最可怕的噩梦是，未来某天我们的宇宙充满了后生物生命，它们在做各种看起来很酷的事，而我们没有解决意识问题，没意识到这些全是僵尸。它们不比一台录音机更有体验。整场戏是演给空无一人的观众席看的。那才是终极的僵尸末日。（泰格马克）

他希望未来的机器不只得益于聪明，还能真正欣赏生命本身的奇妙。他还讲了自己的私心：如果我们造出的机器将成为我们的同辈甚至后裔，他希望它们对生活怀有那种近乎崇高的欣赏。一个只有效率、没有惊叹的宇宙，在他看来是一种失败。

价值对齐：两个问题，不是一个

访谈最核心的部分，是价值对齐（value alignment）。泰格马克把它拆成两个独立的问题。

第一个是技术问题：怎么让机器理解我们的目标、采纳它们、并且在长期运行中保持它们。

第二个是哲学问题：“我们的目标”到底是谁的目标？人类在这个星球上对价值观从来没有共识，那用什么机制去汇总、去折中、去决定？

他强调，第二个问题不能只丢给技术宅。如果最终是几家科技公司的一群工程师来决定全人类的价值观，他们凭什么代表所有人？他们擅长编程，不代表他们独特地有资格谈论人类未来的幸福。

但泰格马克不认为这个难题应该成为拖延的理由。他给了一个非常实用的策略：不要让完美成为好的敌人。

我们应该从幼儿园级别的伦理开始，那些几乎所有人都同意的东西，现在就装进机器里。而我们连这个都没做。（泰格马克）

他举了一个让人沉默的例子。任何造民航客机的人，都希望这架飞机在任何情况下都不会撞进大楼。但 9·11 的劫机者做到了。更令人难堪的是德国之翼那次空难：抑郁的副驾驶安德烈亚斯·卢比茨（Andreas Lubitz）把客机撞向阿尔卑斯山，造成一百多人死亡。他怎么做的？他只是告诉自动驾驶仪，把高度改成 100 米。电脑有 GPS 地图，有一切数据，它说：好的。

泰格马克说，问题出在我们的懒，并非我们不认同这个价值。我们从来没想过把它写进机器里。飞机上现在都有电脑，完全可以让它在检测到“即将撞山”时进入安全模式，锁死驾驶舱门，飞向最近的机场。

汽车也一样。货车、面包车冲撞行人的恐怖袭击已经发生过不止一次，把“不撞人”硬编码进车里，算不上什么疯狂的想法。大多数想作恶的人没有技术能力绕过这种限制。车根本不肯做，就已经挡掉了一大半。

先从这里开始。开始了，就会有习惯，就会继续讨论“还应该写进什么”。渐进推进，不必等达成全球共识再动手。

信任来自理解，理解来自可解释性

泰格马克在 MIT 的实验室为什么要研究可解释性（explainability）？他的理由很朴素：信任来自理解。

他描述了今天的一个尴尬处境。一个计算机系统给出癌症诊断，建议你做手术。你问它为什么，它回答：“我在五 TB 数据上训练过，这就是我的诊断。”这种回答让人毫无信心。

AlphaZero 下出的棋局有时美得惊人，但你要问它“为什么走这一步”，你得到的是一大堆定义神经网络的数字矩阵。你盯着这些数字看到眼睛发花，也不会真正理解它为什么这么走。就算有自然语言处理帮你翻译成“这个点值 5.7 分”，帮助也有限。

所以他说，这里有一个完整谱系的挑战：把做出智能行为的计算，转化成同样智能、但人类能理解的形式。这件事之所以关键，是因为机器正在接管越来越多基础设施：电网、股市交易、武器系统。要信任它们，必须能理解它们。最好是能给出定理级别的保证，甚至机器可验证的证明，而不只是“它训练过很多数据，从没出过事”。

他把这个话题拉到眼前的现实：今天网络安全如此糟糕，雅虎三十亿账户被拖库，几乎每个美国人的信用卡信息都泄露过。为什么会这样？归根到底，因为我们有一大堆没人完全理解其运行方式的软件。漏洞之所以没被发现，因为没人真正看懂这套系统。

泰格马克说，AI 可以用来攻击，也可以用来防守，自动化验证、用不同方式构建系统，让你能对系统证明一些事情。这些工作今天就能做。

深度学习为什么有效：一个物理学家的视角

访谈里聊到他那篇论文《Why Does Deep and Cheap Learning Work So Well?》。泰格马克说，作为物理学家，他被一个数学上的巧合震到了：人工神经网络和物理学里研究多年的很多东西，比如重整化群方程，有非常紧密的数学联系。

然后他讲了一个乍看之下说不通的悖论。

我们今天能让神经网络识别猫和狗的图片，效果很好。但你稍微一想就会觉得这不可能。一张一兆像素的图片，哪怕只是黑白，也有 2 的 100 万次方种可能，这个数字远超宇宙中的原子总数。要给每种图片分配一个“是狗的概率”，你需要一张比宇宙原子数还长的表。这张表显然塞不进你的 GPU，可它居然能工作。

他论文里给出的解释是：在所有你能用神经网络去解的问题里，几乎全部都不可能解。但在物理定律约束下、我们真正关心的那部分问题，也是一个极其微小的子集，而且奇妙的是，这两个子集几乎是同一个。

你当然可以说世界是为我们创造的，泰格马克给了一个更朴素的解释：进化之所以给了我们这种神经网络架构，因为它在解决祖先面对的自然界问题时极其高效。大脑存在的意义就是预测未来，如果这套系统根本解不了问题，它就不会被进化出来。

论文里还有一个他很喜欢的结论：深度为什么重要。给你一千个数字，让你把它们乘起来。写几行代码是小事。但如果你只允许用一个单隐层神经网络，你需要 2 的 1000 次方个神经元，又比宇宙原子数还多，不可行。而如果允许多层，四千个神经元就够了。

量子计算帮不上通用智能，但可能帮上机器学习

聊到量子计算，泰格马克先泼了盆冷水：造通用人工智能不需要量子计算，你的大脑也不是量子计算机。他很多年前写过一篇关于退相干（decoherence）的论文，算过神经元里量子态被环境噪声抹掉的时间尺度，大约 10 的负 21 次方秒。太快了，不可能支撑意识计算。

但量子计算在另一个方向上有真正的潜力：帮机器学习做得比大脑更好。

他把训练神经网络类比成找能量景观里的最低点。你在一个极高维的空间里找一个函数的最小值，这是出了名的难。量子力学在这一点上天赋异禀：如果你想知道一杯水的最低能量态，硬算极难，但你只要把它冷却，自然界会自己滑到最低点。量子力学还有隧穿效应，卡在局部极小值时能直接穿过势垒跳出来，今天的机器学习系统没有这个本事。

所以他的猜想是：未来某天，量子计算机可能被用来更好地训练神经网络。这是个登月级的赌注，方向却很清楚。

爱与联结，机器能有吗

访谈接近尾声，莱克斯问了一个很人性的问题：人类之间那种坠入爱河、深度联结的能力，AI 能达到吗？这会是上升海平面能淹没的山峰之一吗？

泰格马克说，他认为一切皆有可能。研究者对通用人工智能的时间估计差异极大，Rodney Brooks 认为还要几百年，也有很多人认为会快得多。近期民调里，大约一半研究者认为几十年内会出现。如果真的出现，这些能力在原理上都可能。

但他马上把话题拐到更重要的地方：

我们不该花那么多时间去猜未来会发生什么，好像我们是可怜的、被动的旁观者，等着未来降临到头上。我们是创造未来的人。所以应该主动，问自己：我们希望什么样的未来发生？然后就去做成那样。（泰格马克）

他当然不想要一个僵尸式的未来：一切机械地运转，没有激情、没有情感、没有体验。他希望未来保留人类最珍视的那些东西：主观体验、热情、灵感、爱。他说，说到底，宇宙本身并不负责给我们意义，我们在给宇宙赋予意义。如果我们造出更高级的智能，一定要让它把这些意义包含在内。

先把目标想清楚，再回头看障碍

莱克斯提到一个观察：很多人严肃研究这个问题，从不同角度切入，最后大多数结论都指向对人类不利。他问泰格马克，应该怎么想这件事，才能让人不陷入恐惧？

泰格马克说，恐慌没有任何帮助。就算你真的身处险境，所有人一起崩溃会让事情变得更好吗？不会。他提醒大家，讨论 AI 时别只盯着风险，也要看到如果做对了，上行空间有多大。我们热爱的一切社会与文明成果，全是智能的产物。如果能放大智能，不管来自人类还是机器，我们可能不再失去所爱之人，可能攻克那些被认为无法治愈的疾病。这才是真正值得追求的东西，也才是解决问题的动力来源：我们解决问题，图的是做成伟大的事，躲避阴暗只是顺便。

他给了一个很实用的思维框架。他经常在办公室给学生做职业建议，会先问一个问题：你希望自己的未来在哪里？如果学生只能回答“也许我会得癌症”“也许我会被车撞”，那一整轮谈话都在处理障碍，没碰到目标，最后只会养出一个疑病症患者。但如果学生眼里有火，说“我想去那里”，那就可以一起讨论障碍，一起想怎么绕过去。

他说，我们对 AI 的讨论也该这样。先想清楚我们真正兴奋的未来是什么样，再回头处理障碍。

他提到一个有趣的现象：在 AI 风险的讨论里，常常是学术圈在表达担忧，而大公司的代表说没什么好担心的。这不奇怪。厄普顿·辛克莱有句名言：当一个人的薪水取决于他是否相信某件事时，你很难让他相信相反的事。泰格马克说，其实很多公司里的人私下同样担忧，只是作为 CEO 不方便公开说，因为记者一引用，配图就是终结者机器人。问题是真的，公开讨论的空间被扭曲了也是真的。

他还反驳了一种常见的误解：埃隆·马斯克被当成悲观论者，其实恰恰相反。他之所以那么在意安全，正如他比几乎任何人都更清楚，如果我们在这一颗行星上把自己抹掉，被抹掉的不会是下一代人，而是所有代人，以及整个宇宙里那个难以置信的机会。这才是他真正在意的东西。

对于那些认为人类最好退回到没有技术的状态的人，泰格马克也给了回应：如果不改进技术，人类会不会灭绝根本不需要讨论，需要讨论的只是被哪一样带走，下一颗小行星，下一次超级火山，还是别的什么我们本来可以轻易防住的东西。

我们在宇宙尺度上的位置

访谈最后回到宇宙。泰格马克说，科学史上人类学到的最重要一课，就是我们一直是低估的大师。我们一次又一次发现，原来以为的全部，只是更大事物的一小部分：太阳系之外有星系，星系之外有星系团，再之外是可观测宇宙。而未来拥有的潜力，远超祖先的想象。

他给了一个很有画面感的比喻。假如整个地球完全没有生命，只有马萨诸塞州的坎布里奇这一小块地方有。如果这块地方的生命只满足于永远待在坎布里奇，然后一周后就灭绝，而地球本来还能继续存在很久，这算不算太窝囊？

他说，这就是我们现在在宇宙尺度上的态度。地球上的生命可以延续几十亿年，而不是再撑几年。他甚至能告诉你，等太阳变得太热时，怎么把生命挪到安全的地方。宇宙里还有大量资源。今天可能有别的行星上有细菌或简单的生命，但绝大部分空间，就我们所知，像撒哈拉沙漠一样空旷。而我们有能力让生命在宇宙中繁荣几十亿年。

所以别再为某条边境线该往左画一英里还是往右画一英里争吵了。抬头看看天空，那里有难以置信的事情可以做。

回到人本身

访谈里有一段很动人的对照。泰格马克说，人们担心机器比我们聪明，会联想到被支配、被淘汰。但想想两岁的你，父母比你聪明得多，这没有变成灾难，因为他们的目标和你的目标是对齐的。

同样，今天他参加 MIT 的教授会议，周围全是诺奖得主，他一点没有因此少享受生活，反而觉得能和一些比自己聪明的人交流是荣幸。他说，没有理由我们不能用同样的态度对待智能机器。它们可以像一群诺贝尔奖得主，和它们聊天很有趣，某些话题上特别聪明，你甚至可以和它们喝一杯。

这个视角很稀缺。人们一想到机器比人聪明就想到失控，很少有人想到：那可能只是多了许多有趣的同伴。

而这一切的前提，还是那个词：对齐。就像两岁小孩和父母，目标一致，才有安全和爱。如果把通用人工智能放出去之前，没让它理解并采纳我们的目标，那剩下的就只有智能差距，而智能差距在历史上从不温和。泰格马克举了犀牛的例子：人类把某种犀牛逼到灭绝，原因不在我们是邪恶的犀牛仇恨者，我们的目标和它们的目标不对齐，而我们更聪明。

这就是为什么价值对齐属于这个世纪最要紧的工程问题，而不只是学术玩具。

你可以做什么

泰格马克整场访谈有一个一贯的姿态：不做旁观者，不做恐慌者，先想清楚要什么，再去解决障碍。落到具体行动上，可以是这几件事。

• 先写下你希望 AI 帮你实现的三个具体场景，把它排在列恐惧清单之前。目标清晰了，才谈得上判断哪些风险真正相关。
• 从幼儿园级别的伦理开始要求产品。买车、选家电、用 App 时，问一句：这套系统里有没有硬编码的基本安全边界？比如车不会主动冲撞行人，飞机不会因为一个指令就撞山。没有就问厂商，这是消费者能推的最直接的一把。
• 把可解释性写进采购标准，别只让它留在论文里。如果你在公司里评估 AI 系统，优先选那些能对关键决策给出人类可理解理由的，别只看准确率。信任来自理解，理解来自可解释性。
• 参与价值观讨论，别把它让给工程师。价值对齐的哲学部分，也就是谁的价值这个问题，不能只由几家科技公司的技术团队决定。你至少在公共讨论里要有声音，哪怕只是转发、评论、参加听证。
• 别等共识再动手。几乎所有人在“不撞人”“不伤害儿童”“不主动欺骗”这些底线上有共识。先让这些进系统，再逐步讨论更难的。完美是好的敌人。
• 把注意力从“AI 会不会变坏”挪到“AI 会不会太能干而目标不对”。恶意算不上主要风险，能力才是。一个目标稍有偏差的超级智能，比一个恶意但笨拙的系统危险得多。
• 补一点智能爆炸的基础论证，至少搞懂子目标、工具性目标收敛这些概念。你不需要成为专家，但需要在别人用终结者简化问题时，能说清楚真正的机制在哪里。
• 去做一件和 AI 安全、可解释性、伦理治理沾边的小事。写文档、开源一个验证工具、把公司里的模型评审流程改得更透明，都比在社交媒体上争论强。这场对话需要有具体产出的人。

泰格马克在访谈里说过一句话，可以当作整场的落点：我们等不来未来，我们是造出未来的人。宇宙给了我们一次机会，可能只有这一次。剩下的，看我们怎么用它。