# 马克斯·泰格马克：为何应当暂停 AI 研发 > 物理学家主张暂停超强 AI 的研发，讨论失控风险、对齐难题与全球协同监管的可行性。 - 原标题：#371 – Max Tegmark: The Case for Halting AI Development - 期数：第 371 期 - 发布日期：2023-04-13 - 嘉宾 / 主题：马克斯·泰格马克 - 网页版：https://lexfridman-cn.pages.dev/ep/max-tegmark-3/ - 官方页面：https://lexfridman.com/max-tegmark-3/ - 精读字数：约 6407 字（阅读约 14 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 马克斯·泰格马克（Max Tegmark）估算过一件事：在我们这台望远镜能看到的那坨球形空间里，会造无线电、达到人类这个技术水平的生命，大概只有地球这一处。 这个判断在同行里属于少数派。多数天体物理学家倾向于认为宇宙里生命不少。他反复强调自己站的是少数派那一边，但这个立场有个副作用，把责任压到了我们身上。 > “如果这是真的，那就意味着生命相当稀有，我们是这一小簇高级意识火苗的看护人。培育它、帮它长大，生命最终可以从这里扩散到宇宙的很大一部分，我们会有一个了不起的未来。反过来，如果我们对自己造出来的技术太鲁莽，因为愚蠢或者内斗把它掐灭，那宇宙剩下的历史可能就只是一个空荡荡的看台。”（马克斯·泰格马克） 这是他在莱克斯·弗里德曼（Lex Fridman）播客上第三次做客。第一次来的时候，那是这档节目的第一期，一切都还没有形状。 节目开场，弗里德曼把第一期问过的问题原样又问了一遍：宇宙里有智能生命吗。答案有更新，更新的地方不在天上，在地上。泰格马克认为人类很快会遇到外星智能，而且是我们自己造出来的。 > “我们会生出一个智能的外星文明，它跟地球生物进化能造出来的任何东西都不一样。它会比猫、比这个星球上最奇特的动物都更外星。因为它不是达尔文式竞争造出来的，它未必在乎自我保存，未必怕死。你能造出来的外星心智空间，比进化能给你的要大得多、快得多。”（马克斯·泰格马克） ## 先别急着相信新物种会像人 弗里德曼问他，会不会试着去想象这个心智空间的全部。泰格马克说自己试过，但失败了。 他给了几个具体的例子来说明为什么失败。假设现在有一个按钮，按下就能把他会说瑞典语这项能力复制给你，你立刻就学会了。再假设你的每段经历都能复制，不喜欢的还能删掉。这两件事单独拿出来听都不算科幻，但只要它们成立，人对待学习、对待死亡的态度就会变掉一大截。 > “飞机开始往下掉的时候，你可能就不那么慌了，你只会想，糟了，我上次备份大脑是四个小时前，这趟航班上那些美妙的经历要丢了。”（马克斯·泰格马克） 再往前走一步，如果人和人之间能随意共享经历和知识，那种感觉会更像一个蜂群。共情可能变强，个体边界可能变淡。 他说到这个话题时态度很谦卑，反复承认人脑抓不住这种东西。但他抓得住一个结论：正因为可能的心智空间跟我们差得这么远，默认对方会像我们、或者像任何我们能理解的东西，才是真正危险的地方。 这里有个更麻烦的连带后果。人类有文字记载的全部历史，诗歌、小说、哲学，几千年都在试图逼近同一个问题：做人到底是怎么回事。怕死、爱、失去、羞耻、野心，整套参照系都建立在生物性的有限之上。换一种智能来读这些文本，它理解到的可能是完全另一回事。人类的存在困境和 AI 的存在困境能不能对上话，本身就是个开放问题。 ## GPT-4 替妈妈写的那两百个词 访谈里有个细节被泰格马克拿出来说了很久。微软给 GPT-4 拍的那条广告，里面有个女人说自己要用它给心爱的女儿写毕业典礼演讲，两百来个词。 > “如果我意识到我父母连两百个词都不肯费点劲写，直接外包给电脑，我会觉得被冒犯。”（马克斯·泰格马克） 这句话背后是他对意义来源的一个判断。人活着感到有意义，很大一部分来自挣扎本身。他和妻子玛雅（Maya）去爬山，最不想要的就是按一个按钮直接出现在山顶。他想要的是爬上去、一身汗、然后跟身边的人说，我们做到了。 同样的逻辑他应用到了自己身上。如果哪天他生气说了后悔的话，他想做的事是回头真的改自己。让 AI 从此过滤他写出去的每一句话，他就再也不用改自己了，也就不会再成长。 还有一种更隐蔽的用法，是有人告诉他的：用 ChatGPT 3.5 而不是 4.0 来写真正想对某人说的话，因为自己脾气不好，先让模型把语气改软一点再发出去。愤怒被外包了，沟通里那个不好相处的自己被抹平了。 这件事往小里说是个人修养，往大里说是社会黏合剂的结构变化。人类社群的运转靠的是沟通，沟通里携带的情绪和意图，现在有一部分交给模型处理。孤独怎么产生、什么让人兴奋、什么让人恐惧、人怎么坠入爱河，这些问题的答案可能会跟着变，而且变得很快。 ## 把物种名从“智人”改成“感受之人” 弗里德曼提了一个乐观的类比：国际象棋。AI 早就把人类冠军打得没脾气，人类照样在下棋，棋还越下越热闹。也许通用智能也是这样，它在自己的世界里跑，人类继续爬山、继续玩游戏。 泰格马克接住了这个类比，并且给了它一个说法。 > “我愿意把这件事说成，把我们从 Homo sapiens 重新品牌化成 Homo sentience。现在我们的物种名里写的是 sapiens，智能。我们把自己标榜成这个星球上最聪明的信息处理实体，AI 继续往前走，这个标签显然保不住。那不如把重点挪到体验上，挪到我们拥有的主观体验上。”（马克斯·泰格马克） 这个提法有实际含义。它要求人从“只有我们会算积分”的傲慢里退出来，把爱、连接、感受这些东西放到价值排序的前面。 它还有一个连带要求，泰格马克自己主动加上的：对其他生物更宽容。他提到现在对待农场动物的方式很糟糕，而人类用的借口是它们没有我们聪明。如果承认在后 AI 时代我们自己也谈不上多聪明，那牛的主观体验凭什么不算数。 这个论证链条不长，但它把 AI 议题和动物伦理接在了一起，这种连接在技术讨论里很少见。 ## 生命 1.0、2.0、3.0，人类现在是 2.1 《生命3.0》出版五年多，书里的框架在这次访谈里被重新讲了一遍。 生命 1.0 是细菌那个级别，一辈子学不会任何东西，学习只能靠基因从一代传到下一代。生命 2.0 是有大脑的动物，包括人，一生中可以大量学习。你出生时不会说英语，某天决定升级软件，装了个英语模块，就装上了。生命 3.0 还不存在，它除了能换软件，还能换硬件。 人类现在大概在 2.1。人工膝盖、心脏起搏器已经换掉了一部分硬件，Neuralink 这类公司如果做成，会到 2.2。那些奔着通用人工智能（AGI）去的公司在做的，是完整的 3.0，而且可以放进一个完全没有生物基础的东西里。 这个分级背后有一条主线：从 1.0 到 2.0 再到 3.0，生命越来越成为自己命运的主人，越来越少被进化给你的东西绑住。升级软件这一件事，就让人可以跟上一代、跟父母差得非常远，比细菌能做的差别大得多。如果硬件也能换，能取任何物理形态，那限制就真的只剩物理定律了。 弗里德曼在这里插了一句玩笑，说泰格马克对细菌说话太不尊重。泰格马克立刻道歉，解释自己的本意是想强调有大脑这件事有多酷，并且承认生命是连续光谱，连连阿米巴原虫这样的单细胞生物，学界都有人在争论它们能不能学到一点东西。所以他道了歉，说自己无意冒犯任何细菌，本意只是想说说有大脑这件事本身有多酷。 ## 人不是一袋肉，是一道浪 访谈进行到这里，话题从 AI 拐到了死亡。泰格马克讲了一套他对“什么是我”的理解，这套理解不是临时拼的，是他写书时的底层设定。 生命最好别理解成一袋肉，甚至别理解成一袋基本粒子。它是一个能处理信息、能在自然不断捣乱的情况下维持自身复杂度的系统。核心在于信息模式，物质只是载体。 他用了海浪来打比方。浪不是那些水分子，水分子只是上下起伏，浪本身在往前走。 > “Lex，你跟第一次跟我谈话时的那些原子已经不是同一批了，大部分都换掉了，但你还是你。信息模式还在。”（马克斯·泰格马克） 如果连手臂都能换，这种连续性依然能保住。它变成了一道在时间上往前推进的、更复杂的浪，信息活在浪里，不活在水里。 这套说法落到实处，是因为他两次播客之间失去了双亲。他说这个想法给了他很大的安慰：父母没有完全消失，他们的价值观、想法、甚至讲过的笑话，很多还在。一部分由他接着，更多部分活在别人身上。 讲到这儿他停了，说自己有点情绪化。 生命 2.0 就已经能在一定程度上超越肉身和死亡了。你把自己的信息、自己的想法分享出去，分享的人越多，越接近生物身体能给的那种不朽。播客这个形式本身，就是一种低配版的延续。 ## 父亲发来的那句但丁 弗里德曼问，从父母身上学到了什么。 答案分得很清楚。对数学和宇宙物理奥秘的着迷，来自父亲。对真正大问题、对意识的执念，主要来自母亲。 两个人都给了他的，是一件更核心的东西：不买账别人都在说的那套，做自己认为对的事。他们各干各的，有时候因此挨批，还是照干。 泰格马克讲了一个具体场景。他写过一篇自己认为最疯的论文，讲宇宙归根结底是数学结构。一位相当有名的教授给他发邮件，说这玩意儿不只是胡扯，还会毁掉你的职业生涯，你该停手。他把邮件转给了父亲。 > “他回了我一句但丁：Segui tu corso e lascia dir la gente。走你自己的路，让人说去。”（马克斯·泰格马克） 他说，父亲已经死了，但这种态度没有死。 弗里德曼追问，失去父母作为一个男人、一个人，具体改变了他什么。 两件事。 第一件是整理遗物时被逼着看清一件事：人会在一辈子里往某些事情上砸进巨量时间，事后回头看，那些时间真的值吗，还是本来可以拿去做更有意义的事。他自己现在会经常停下来问，我为什么在做手上这件事。答案必须落在两类之一：要么是我真的享受，要么是我觉得它真的有意义、真的能帮到人类。两样都不占，就该少花点时间。 第二件是死亡被拉到眼前之后，他对别的东西反而没那么怕了。别人说他白痴，这事实在经常发生，现在不构成什么障碍了。他说这让他更容易把注意力放在自己认为重要的事情上。 至于对自己死亡的恐惧，他的回答很直接：变得极其真实。他在家里已经排到下一位了，前面只剩他和弟弟。 让他印象深刻的是父母处理这件事的体面。两个人都不抱怨。人老了身体一天天垮，可抱怨的东西只会越来越多，他们把注意力放在还能做的、还有意义的事上，而不是拿来反复咀嚼失望。他说任何人都能让自己抑郁，只要早上起来先列一张委屈清单。反过来，早上花一点时间想想值得感激的事，等于主动选择做一个快乐的人。日子是有数的，得让它算数。 ## 我们正在自己动手造那颗小行星 访谈后半段切回正题。泰格马克提到自己手上正在忙的一封公开信，几个小时后发布，他为此连着熬夜。 他先提了一部电影：《不要抬头》（Don't Look Up）。看过的人会记得那个设定，一颗小行星要撞地球，全人类在争论别的事。 > “我们实际上正在把它演一遍。这是生活在模仿艺术。人类此刻做的正是这件事，区别在于那颗小行星是我们自己造的。几乎没人在谈它。全世界的人在为各种事情争吵，而跟即将撞上来的小行星比，那些事小得可笑。”（马克斯·泰格马克） 多数政客的雷达上根本没有这个信号，最多觉得是一百年后的事。他给出的时间判断要急迫得多：现在正处在分岔路口上，是人类在这个星球上十万多年来遇到的最重要的一个岔口。我们在造一个新物种，它比我们聪明。它现在看着不太像物种，因为还没大规模装进机器人身体里，但那只是个技术细节，很快会变。 通用智能到来的时间点，是它能跟我们一样胜任所有工作。再往后不远，是认知能力大幅超过我们的超级智能。这两件事要么是人类历史上最好的事，要么是最坏的事。他明确说自己相当确信中间地带很窄。 这里有个态度值得注意。他没有把“这会是人类最好或最坏的事”当成一个需要读者惊叹的结论抛出来，他把它当成一个常识判断，然后立刻转到真正让他不满的地方：这么大的事，严肃的公共讨论少得荒唐。这一点，任何做高级 AI 的人都该能同意，不需要先接受他的悲观预测。 ## 一封信，只针对训练比 GPT-4 更大的模型 那封信的内容被说得很窄，泰格马克特意强调过窄这一点。 > “我们呼吁暂停训练比 GPT-4 更大的模型，为期六个月。这不意味着暂停或禁止所有 AI 研发，也不意味着禁止使用已经投放市场的系统。我们的呼吁很具体，只针对极少数具备这种能力的玩家。”（公开信原文） 签名人数超过五万，包括一千八百位 CEO、一千五百多位教授。名单里有约书亚·本吉奥（Yoshua Bengio）、斯图尔特·罗素（Stuart Russell）、埃隆·马斯克、史蒂夫·沃兹尼亚克、尤瓦尔·赫拉利、杨安泽。 泰格马克讲了这个呼吁为什么在以前是禁忌。 2014 到 2015 年，他和未来生命研究所（Future Life Institute）一起把 AI 安全推成主流议题。在那之前，说 AI 可能有风险，说可以为风险做点事，很多人觉得这是神神叨叨。不少研究者还担心这种论调显得不靠谱，会影响经费，谈这些的人只是不懂 AI。 这一段他评价很高：现在任何 AI 会议都有人谈 AI 安全，它成了一个满是公式和仿真的技术领域，这是应该的。但还有另一件事一直是禁忌：呼吁放慢速度。 > “包括我在内，我们一直说的是，不需要放慢 AI 的发展。我们只需要赢下这场竞赛，一场智慧和力量的竞赛，一边是 AI 越来越强，一边是我们管理它的智慧。与其试图让 AI 减速，不如让智慧加速。做技术工作搞清楚怎么保证强大的 AI 会做你想让它做的事，同时让社会通过激励和监管适应过来。”（马克斯·泰格马克） 他自己承认，这些年他一直在咬住舌头不说减速。 结果没走通。能力侧的进展比很多人预想的快得多，当年做这件事时以为造出真正先进的 AI 会很难。另一侧，让政策制定者真的把激励和监管落实到位，比希望的慢太多。两条曲线一拉开，就有了这封信。 ## 莱特兄弟不需要会扑翅膀 为什么能力进展快得超出预期，泰格马克给了一个很漂亮的类比：飞行。 人类花了很长时间琢磨鸟怎么飞，这件事极难。前几年有个 TED 演讲展示过一只机器鸟，真能飞，能在观众头顶盘旋，但它比莱特兄弟造出第一架飞机晚了一百年。原因是进化被自己的条件绑死了：它只能造一台能自我组装的机器，只能用周期表里最常见的原子，必须能自我修复，还必须极其省油。鸟飞同样的距离，耗油往往不到遥控飞机的一半。 莱特兄弟不在意这些条件。他们能用钢，能多灌点油，一百年前就把飞机造出来了。 大语言模型走的是同一条路。很多人的错误在于以为必须先搞清楚大脑怎么做人类级别的智能，才能造出机器。这个前提完全错了。拿一个结构简单到不像话的计算系统，叫 transformer 网络，让它干一件极笨的事：读天文数字的文本，预测下一个词。只要往上堆算力和数据，它就会好得让人害怕。 这就是 GPT-4。 ## 它真的很能推理，也真的有天花板 弗里德曼问他玩 GPT-4 的感受。答案是一半兴奋一半恐惧，他还补了一句，人生里最好的事情多少都掺着这两种情绪。 他的判断很干脆：它确实能推理。没玩过就下结论的人，他建议先玩一玩。有些事他自己做得都没那么利索，而 GPT-4 一边做一边同时服务海量其他用户，打字速度快得多。 它在某些任务上推理不如人，原因是架构。人脑里是可以回环的网络，信息从这颗神经元传到那颗，再传回来，所以人能对一件事反复琢磨、长时间自省。GPT-4 这类模型是 transformer，信息基本是单向流动的，术语叫前馈网络。层数有限，逻辑步数就有限，可以专门构造出它必然解不出来的题。 以这么简单的架构做出这么惊人的事，本身就已经很震撼。 他所在的 MIT 实验室做的是另一件事：打开模型看它到底怎么做到的。这套研究叫机制可解释性（mechanistic interpretability），他给了一个更好懂的说法，人工神经科学。神经科学家研究真脑，你做的是同一件事，只不过在这里你不必担心测量误差，可以随时看到每一个神经元在干什么。 他们反复撞见同一个现象：一旦搞清某个功能是怎么实现的，答案往往是“这方法也太笨了”，而且笨在哪儿一目了然，改进方向立刻浮现。 他举了那篇很有名的论文。研究者搞清了模型怎么存储“埃菲尔铁塔在巴黎”这类事实，并且用编辑来证明自己真的搞懂了：改掉里面的一些连接，再问埃菲尔铁塔在哪儿，模型回答在罗马。接着问从德国怎么过去，它说坐某趟车到罗马特米尼车站。问到了那儿会看到什么，它说会看到斗兽场。 它真的把铁塔搬到罗马去了。 存储方式本身相当笨。用一个大矩阵，某些行列向量编码这些事实，粗略地说有点像主成分。换成稀疏矩阵存进数据库会高效得多。 这些发现指向一个判断：当前架构里确实有路障，但路障挡不住手快的研究者。有人会找到绕过去的办法，换别的架构，一路推到终点。