# 安德烈·卡帕西：特斯拉 AI、自动驾驶、Optimus、外星人与 AGI > 前特斯拉 AI 负责人谈自动驾驶的技术路线、人形机器人与通用人工智能。 - 原标题：#333 – Andrej Karpathy: Tesla AI, Self-Driving, Optimus, Aliens, and AGI - 期数：第 333 期 - 发布日期：2022-10-29 - 嘉宾 / 主题：安德烈·卡帕西 - 网页版：https://lexfridman-cn.pages.dev/ep/andrej-karpathy/ - 官方页面：https://lexfridman.com/andrej-karpathy/ - 精读字数：约 6067 字（阅读约 13 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 安德烈·卡帕西（Andrej Karpathy）把训练好的人工神经网络称为**复杂的外星人造物**。他刻意不拿它跟大脑做类比。 说这话的人是当事人。他在OpenAI做过研究员，在特斯拉做过AI总监，Stanford博士，深度学习领域最顶尖的实践者之一。他每天的工作就是训练这些东西，可他用“外星人造物”来形容它们。 这个选择透露了一种态度：对大脑保持敬畏，对人工网络保持清醒。也正因为这种清醒，他后面谈生命起源、外星文明、宇宙模拟这些大问题时，给出的判断才格外耐琢磨。 ## 矩阵乘法加旋钮，为什么能涌现魔法 卡帕西先讲了一件容易让人失望的事。神经网络是什么？一个数学表达式。具体点，一串矩阵乘法，数学上就是一堆点积，中间塞几个非线性函数，就这样。表达式里有很多旋钮，也就是参数，这些旋钮的设定决定了网络能不能把图像分对类、能不能把下一个词预测准。 到这里都很朴素。他自己也承认，这么讲是在“严重低估”神经网络。 另一面是，这些简单的数学表达式一旦足够大、训练在足够复杂的问题上，就会表现出让人意外的涌现行为。用海量互联网数据做下一个词预测，网络会发展出相当惊人的能力，可以回答问题，可以续写解题过程，而且经常看起来很连贯。 他用的词是“魔法般的属性”。 这两件事摆在一起有点矛盾：数学上如此简单，行为上如此复杂。他的解释是，我们其实很擅长优化这些网络。当你把一个足够难的问题丢给它，优化过程会强迫它学到非常有趣的解，这些解就带着涌现性质。 > 旋钮里装着智慧和知识。这个表征就凝固在旋钮的取值里。（安德烈·卡帕西） 这句话值得多琢磨一会儿。一个几百亿参数的矩阵集合，经过梯度下降，最后在参数空间里压成某种对数据的表征。没人设计过这个表征，它由优化过程硬压出来。它包含了数据里反复出现的规律，也包含了某种被压缩过的“理解”。 所以卡帕西说自己同时在做两件事：一边低估神经网络，一边高估神经网络。低估，是因为它们确实有惊人的涌现能力；高估，是因为数学形式明明这么简单，却能涌现出这么多东西，这件事本身就不太正常。 ## GPT就是下一个词预测，可它不只会预测 他拿GPT举例。GPT本质上就是一个下一个词预测网络：喂进去互联网上的一段词序列，让它猜下一个词是什么。训练数据足够大之后，你可以用各种方式去提示它，让它解题，它会接着往下写。写出来的东西经常看起来相当一致，甚至可能是对的。 容易被忽略的一点在这里。我们习惯把“预测下一个词”当成一个很笨的任务，觉得这跟“理解”差着十万八千里。可当数据量足够大、模型足够大，为了把下一个词预测准，网络被迫在内部建起某种对世界结构的表征。你不让它理解，它就预测不准。预测的压力反过来逼出了理解。 卡帕西没有把话说满，他用的词是“看起来相当一致”“可能是对的”。这种克制贯穿整场对话。他谈的是自己亲手做出来的东西，却始终留着一层怀疑。 ## 训练出来的东西，跟大脑走的是两条路 对话里最有意思的一段，是他对大脑类比的警惕。 神经网络的灵感确实来自大脑，这一点没人否认。可卡帕西强调，训练结束之后你拿到的那件东西，跟大脑是两套完全不同的优化过程造出来的。大脑是进化加多智能体自博弈的产物，在一个资源受限的环境里跑了非常非常久，参与者互相竞争、合作、欺骗、结盟。人工神经网络是在海量数据上做压缩目标的优化，没有多智能体自博弈，没有生存压力，没有几十亿年的筛选。 > 我倾向于把它看成一个非常复杂的外星人造物。它是另一种东西。我不拿它跟大脑做类比，因为产生它的优化过程，跟产生大脑的优化过程非常不一样。（安德烈·卡帕西） 他把这个区分讲得很清楚：进化找到了“预测”这件事很有用，所以大脑里大概率也有类似预测模型的东西。但大脑除此之外还有一大堆零件，有价值函数，有古老的核团，有胚胎发育过程从一个细胞长出整个生物体的编码。这些东西在人工网络里根本不存在。 他提到胚胎发育时语气明显变了。“整个生物体从一个细胞长出来，编码就在DNA里，它就这么建起来了。这太疯狂了。”一个做AI的人，被生物学震住的地方，恰恰是生物体自己把自己组装起来这件事。 这也是他反复回到生命起源话题的原因。他想搞明白，宇宙里出现一个能造技术的文明，到底有多难。 ## 生命可能不罕见，这才是费米悖论更麻烦的地方 卡帕西说，他最近被费米悖论缠得挺厉害。费米悖论问的是：如果宇宙里应该有那么多文明，为什么我们一个都没听到？ 他的结论是，外面应该有不少。 这个判断来自他对生命起源的重新认识。他以前觉得生命起源是一个魔法般的稀有事件，后来读了Nick Lane的书，比如《The Vital Question》和《Life Ascending》，想法变了。碱性热泉、碱性水和海水混合、质子梯度、多孔结构把化学物质浓缩起来，Lane一步一步把这些环节拆开，让你觉得从地质到原始生命这条路其实挺顺。 > 你几乎得从地球的形成讲起，从太阳系的安排、木星和月球、宜居带讲起，然后才有活跃的地球、物质的循环，然后才是生命起源。（安德烈·卡帕西） 更关键的是时间。地球形成之后没几亿年，生命就出现了。这个速度说明生命起源可能不构成瓶颈。瓶颈不在这里，那生命就应该挺普遍。 卡帕西提到一个分歧。他聊过的很多生物学家认为，从细菌到复杂生物的那一跃，也就是真核生命的出现，才是最难的。他不太买账。 理由是数量和时间。单细胞生物那么多，在资源受限的环境里互相厮杀了那么久，给足时间，它们应该能折腾出更复杂的东西。“这就像从Hello World走到能定义一个函数，我不觉得有那么难。”他用程序员的类比把这个直觉讲得很直白。 所以他目前的判断是：没有什么大的断点，外面应该有很多生命。 ## 无线电波传不远，星际旅行像穿过弹雨 那问题就来了。既然生命应该很普遍，为什么我们什么都没看到？ 卡帕西给了两个方向，都挺朴素，也都挺有说服力。 第一个是探测能力。他说自己很怀疑我们找外星文明的手段。地球向外广播的无线电波，功率随距离按平方反比衰减，用我们今天的设备，根本测不到多远之外的信号。想让信号在星际尺度上被接收到，需要定向发射、巨大功率，还得刚好对准。我们现在的“听诊器”其实非常弱。 第二个更硬：星际旅行太难了。 他讲得很具体。如果你想让飞船接近光速，路上的星际介质就是问题。哪怕是一个氢原子、一粒尘埃，在接近光速时都带着巨大的动能，撞上来跟子弹没区别。再加上宇宙辐射，整个环境非常残酷。所以他的猜测是，星际旅行可能难到文明也跨不过去，或者只能以非常慢的速度进行。 > 我怀疑我们探测生命的能力，也怀疑文明能轻易铺满整个星系。这是我目前能想到的绕开费米悖论的办法。（安德烈·卡帕西） 这两个怀疑叠在一起，就解释了我们为什么安静。外面可能有人。我们听不见，他们也过不来。 他还补了一句挺有意思的话。如果真有那么多文明，总有一些碰巧离得近，能互相看见。而一旦看见对方是确凿的复杂生命，大概率会极度兴奋地想去搞清楚那到底是什么。 ## 外星人看地球，可能像我们看蚂蚁 Lex问了一个很具体的问题：如果你是科学家，同时也是美国总统，发现外星文明，第一反应是接触还是防御？ 卡帕西的回答绕开了这个二选一。他说看看我们怎么对待地球上的原始生命就知道了。我们身边全是蚂蚁和各种生物，我们跟它们共享空间，默认是尽量不打扰、尽量保护。因为这些是演化了很多年的复杂动力系统，稀有、有趣、值得留着。 他希望银河尺度上的文明也是这个逻辑。地球这套东西跑了几十亿年才跑出这么个结果，你不会无缘无故把它毁掉。 但他也承认，从科学角度看，外星人可能会来“戳一下”。就像我们研究蚁穴一样，不一定有恶意，就是想看看会发生什么。甚至更进一步，如果他们有本事，完全可能挑一颗条件合适的类地行星，播下生命，然后坐在旁边看。 > 如果我有能力这么做，我至少会挑一颗满足化学前提的类地行星，播下生命，然后观察它。你不会想这么做吗？百分之百会。（安德烈·卡帕西） 这个想法让人有点不舒服。我们可能只是别人实验里的一组变量。卡帕西自己也说，意识到这一点感觉怪怪的。不过他很快补了一句：如果一切都是实验，那对我们来说也没什么改变。NPC不知道自己在游戏里，日子照样过。 他对“定向泛种论”这类解释保持怀疑。他说自己在历史记录里看不到刻意的、神性的干预痕迹。Nick Lane那套从地质到生命的叙述已经够顺了，暂时不需要更离奇的解释。但他也留了余地：NPC在游戏里也观察不到神性干预，我们可能只是还没聪明到能看出来。 ## 地球是一根爆竹，人类是AI的引导程序 对话里有一段特别出圈。卡帕西说过一句被反复引用的话：对着地球轰击光子，过一阵子它会发射出一只公鸡。意思是，地球这套系统在能量输入下会演化出越来越复杂的东西，最后复杂到能自己造火箭、发信号。 Lex问他，地球这个故事最后会怎么收尾。 卡帕西说，这套自我复制的系统从动力学里冒出来，然后不断变复杂，最后产生意识、建起社会，某种意义上有一种必然性，像一道波，在任何条件合适的系统上都会推过去。很美，但总会有终止条件。 他把人类称为AI的“生物引导程序”（biological bootloader）。这个比喻很扎心。人类是很了不起的生物系统，会计算，会爱，但从效率角度看又相当糟糕。我们靠声带振动、靠七个符号串行地交流，信息传输要花好几秒。放到计算机能跑的频率上比，这确实有点难为情。 所以合成智能像是发展的下一站。再往后会怎样，他说不清。他猜宇宙本身可能是一道谜题，这些合成智能最终会把它解开，然后呢？没人知道“然后”。 他还讲了一个动画。地球和生命的演化史，如果按时间压缩播放，前面很长很长一段几乎什么都没发生，最后两秒钟突然城市亮起来，近地轨道挤满卫星。整个故事看起来像一场爆炸。 > 我们正走在一场爆炸里，只是日子一天天过，感觉不出来。（安德烈·卡帕西） 他希望这是一场建设性的爆炸，不是毁灭性的。 ## 强化学习小狗教会我们找宇宙的bug 接下来这段是整场对话里思路最跳的地方，也最值得细读。 卡帕西说，物理可能有漏洞，我们应该试着去找。 他的类比来自强化学习。你在物理仿真里训练一个智能体，让它学着在平地上快跑。训练出来的结果经常很怪：它可能仰面躺下，用后腿在地面上滑行，速度飞快。它压根没学会跑。优化过程发现了仿真器摩擦力实现里的一个bug，找到了提取无限能量的办法。 智能体没有按设计者的意图行事，它找到了物理引擎的裂缝。 把这个类比推到宇宙上：我们会不会就是那只小狗？宇宙的物理规则是别人写的，里面可能有实现上的漏洞，有浮点误差，有可以钻的空子。找到它，就能提取无限能量，或者做出设计者完全没预料到的事。 现实问题在于，第一个发现漏洞的人会疯狂利用它，然后所有人都会跟着用。“回形针最大化”听起来很荒唐，但真到了那一步，可能所有人都会切过去，因为太爽了。 谁来找这个漏洞？卡帕西的答案是第三代AGI。我们现在建的是第一代，第一代是第三代AI的引导程序。中间那层超级智能会做什么，我们根本没法内省。 他提到一类科幻设定：超级智能是完全“惰性”的（inert）。它们不跟任何东西互动，安安静静。他觉得这种设定很美。因为这些智能可能已经看穿了宇宙的元游戏，在做完全超出我们想象的事，没有理由去搭理简单的化学生命。 “你为什么要跟蚂蚁说话呢？” ## 他不喜欢随机，自由意志是事后编的故事 Lex问了一个很基础的问题：宇宙是决定论的吗，有没有真正的随机？ 卡帕西明显不太舒服。他说自己倾向决定论，觉得那些看起来随机的东西，比如波函数坍缩，背后其实是确定性的纠缠，可能牵扯到多世界之类的解释。他对“随机”这个词有本能的反感。 > 我觉得随机性让人不安。我认为这套系统是决定论的。（安德烈·卡帕西） 然后Lex追问自由意志。你举起手，你觉得自己是“选择”了这么做，这不像决定论。 卡帕西的回答很干脆：那只是感觉。你是在为已经做出的选择编一个叙事。就像强化学习智能体做选择，选项其实早就摆在那里了，它只是挑了一个，然后事后讲了个故事。 这场对话有意思的地方在于，两个人一边讨论自由意志是不是幻觉，一边正在实时地生成叙事。 ## Transformer是一台通用的可微计算机 聊到深度学习里最漂亮的想法，卡帕西选了Transformer。 他给出的理由跟“效果好”无关：架构正在收敛。以前不同模态用不同网络：视觉一套，音频一套，文本一套。现在大家越来越往同一个架构上靠，视频、图像、语音、文本，全塞进Transformer，它都能吃下去。它像一台通用的、可训练的计算机，而且在我们现有硬件上跑得很高效。 他特别强调那篇2016年的论文《Attention is all you need》。标题起得很狂，内容也确实撑得起。但他觉得作者当时未必预见到影响会这么大。他们应该清楚自己设计里的某些动机和取舍，只是没在那篇论文里展开。 > Transformer是一套宏伟的神经网络架构，因为它是一台通用的可微计算机。它在正向传播中表达力强，能通过反向传播和梯度下降优化，还能高效地并行计算。（安德烈·卡帕西） 这句话其实把三件事同时说了：表达力、可优化性、硬件效率。三者凑齐，才有了今天的大模型时代。缺一个，这套东西都跑不起来。 Lex开玩笑说，这标题本身就像个梗，“Attention is all you need”，换成一个严肃的标题，影响力可能还没这么大。卡帕西居然同意了。他说自己某种程度上更喜欢现在这样。如果标题太宏大，容易过度承诺，然后交付不足。 用梗的方式把一件大事做成，这本身也挺值得玩味。 ## 把这场对话拆开看，能带走什么 整场对话跨度很大，从矩阵乘法聊到外星文明，再聊回Transformer。但有一条线是贯穿的：卡帕西对“我们其实没搞懂”这件事始终保持诚实。 他说神经网络是外星人造物，是因为他真不觉得它像大脑。他说生命可能很普遍，是因为他读了书、改了想法。他说物理可能有漏洞，是因为他在仿真里亲眼见过智能体钻空子。他说自由意志是叙事，是因为他实在找不到随机性在哪里。 这些判断不一定都对，但每一个都有具体的来源。 对做技术的人来说，最实用的部分可能是他对Transformer的拆解，以及他对“优化压力逼出理解”的解释。对普通读者来说，最有冲击力的可能是那根爆竹的比喻：我们正活在一场爆炸的最后两秒里。 下面几条，是可以直接拿去用的： - 下次想用大脑类比神经网络时，先停一下，问自己：产生它的优化过程是什么？数据压缩和多智能体进化，造出来的东西不是一回事。 - 读一读Nick Lane的《The Vital Question》或《Life Ascending》，你会对“生命有多稀有”这个判断有全新的坐标系。 - 把一个难题丢给模型时，别只盯着它答得对不对，想想优化压力在参数里压出了什么表征。那才是它真正学到的东西。 - 如果你在做仿真或强化学习，留意智能体有没有在钻环境的空子。它找到的bug，往往比它学会的技能更有信息量。 - 看待Transformer时，用“通用可微计算机”这个视角，而不是“一个更好的翻译模型”。表达力、可优化性、并行效率，三者缺一不可。 - 对“我们没搞懂”保持诚实。卡帕西每个判断都能追溯到具体的书、具体的实验、具体的观察，这种习惯比结论本身更值得学。