# 于尔根·施密德胡伯：哥德尔机、元学习与 LSTM > LSTM 提出者讲述循环网络的历史、元学习构想与对智能本质的长期思考。 - 原标题：Juergen Schmidhuber: Godel Machines, Meta-Learning, and LSTMs - 期数：特别节目 - 发布日期：2018-12-23 - 嘉宾 / 主题：于尔根·施密德胡伯 - 网页版：https://lexfridman-cn.pages.dev/ep/juergen-schmidhuber/ - 官方页面：https://lexfridman.com/juergen-schmidhuber/ - 精读字数：约 10616 字（阅读约 24 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 十七岁那年，于尔根·施密德胡伯（Juergen Schmidhuber）想清楚了自己这辈子要做什么。他原本的答案是去当物理学家，去破解宇宙之谜。后来他发现还有一件更宏大的事：造一台机器，让它学会成为一个比他所能成为的、好得多的物理学家。这样一来，他个人那一点点微薄的创造力，就能被放大到无穷。 这条思路的逻辑很直接。如果能造出一台机器，解决越来越复杂的问题，变得越来越通用，那它早晚能把所有可解的问题都解掉。三十多年后，施密德胡伯在莱克斯·弗里德曼（Lex Fridman）的播客里回顾这条线索，说真正让他确信方向正确的，是递归的自我改进。 > "这台机器不能只学会解决这一个问题、那一个问题，它还得学会改进学习算法本身。"（施密德胡伯） 要做到这一点，机器得"看得见自己"。它的学习算法和内部表示，必须能被自己检视，被自己修改，它才有机会发明出更好的学习算法。施密德胡伯给这套东西起了几个名字：元学习（meta-learning）、学会学习（learning to learn）、递归自我改进（recursive self-improvement）。1987 年他的学位论文写的就是这个：一层套一层的元层级结构，除了哥德尔（Kurt Gödel）在 1931 年划定的那些逻辑边界，以及物理世界本身的限制，没有任何计算上的上限。 ## 今天的"元学习"，和 1987 年那个元学习不是一回事 近年元学习火起来了，但施密德胡伯认为，大家说的那个东西更接近迁移学习（transfer learning）。他举了个很具体的例子：一个深度神经网络已经学会了图像分类，而且在 100 个不同的图像数据库上训练过。现在来了第 101 个数据库，希望它快速学会这个新东西。最简单的做法是把这个网络拿过来，只保留顶层，用新数据库的标注数据重新训练顶层。结果它几乎一次就学会了。因为从前面 100 个数据集里，它已经学到了大量关于计算机视觉的东西，可以直接复用，剩下的只是顶层的一点点微调。 这套做法在原则上已经存在几十年了，很多人做过类似的事情。它很有用，但它和真正的元学习差得很远。 > "真正的元学习，是让系统有能力去审视它自己正在使用的学习算法，并且能修改其中任何一个部分，然后评估修改的后果，从中学会造出一个更好的学习算法，如此递归下去。"（施密德胡伯） 这两个词指的根本就是两件事。迁移学习改的是任务，元学习改的是"改变任务的那套机制"。前者在固定的搜索空间里找更好的点，后者在重新定义搜索空间长什么样。 ## 哥德尔机和"最快要算法"：理论上最优，实际上用不了 2004 年前后，施密德胡伯写过关于哥德尔机（Gödel machine）的文章，那是一类可以重写自己代码的程序。哲学上、数学上，这些想法都很漂亮。但他在访谈里很坦率地承认了它们的代价。 要做出渐近最优、理论上最优的自我改进器和问题求解器，得把证明搜索这类东西装进去。而这些机制会带来一个加法常数，一个额外的开销。当问题足够大的时候，这个常数可以忽略不计。可在日常生活里要解决的那些小问题，这个常数开销大到无法忽视。 他用了旅行商问题（TSP）来解释。给定一堆城市，找一条走遍所有城市且不重复的最短路径，没有人知道最快的解法是什么。假设存在某个方法能在 n 的 5 次方步内解决它，n 是城市数量。那么马库斯·胡特（Marcus Hutter）提出的那套通用方法，也能在 n 的 5 次方步内解决同一个旅行商问题，外加一个常数步数，这个常数用来做"证明"，证明这一类问题确实可以在 n 的 5 次方这个时间界内解决。 这个加法常数与 n 无关。n 越大，常数就越显得微不足道。所以几乎所有的大问题，都已经被一种最好的方式解决了，今天已经拥有这样的通用求解器。 > "问题在于它不实用，常数开销太大，而对于我们在这个小小生物圈里想解决的那些小问题，这个开销没法忽略。"（施密德胡伯） 这里的"小"需要澄清一下。弗里德曼专门追问过：你说的"小"，指的是落在计算系统能力范围内的问题，这些问题在普通人眼里可能显得巨大无比。施密德胡伯同意。看起来大，甚至今天看起来无解，但它们在"几乎所有问题"这个尺度上仍然是小的。因为几乎所有问题是"大问题"，大到超过任何常数。 也正因为如此，施密德胡伯和同事们把大量精力投在了另一条路上：循环神经网络，用梯度下降和局部搜索来训练。这些东西完全不通用，也完全没有可证明的最优性，但只要目标是把眼前这些小问题解决好，它们实用得多。 ## P 与 NP 给了直觉，但今天最好的 AI 不是从那里长出来的 弗里德曼问了一个很尖锐的问题：作为一个梦想造出通用学习系统的人，怎么看 P 与 NP 这类关于问题难度和规模化的形式化分析？它对研究有用吗，还是只是一套帮人建立直觉的数学技巧？ 施密德胡伯的回答分两半。P 与 NP 从理论角度看极其有意思，思考这类问题本身也能带来启发，让人想到更好的实用求解器。但必须承认，今天在 AI 名义下实际解决各种问题的最好工具，并不是从这类问题里得到灵感的。用的是通用计算机，比如循环神经网络，加一个局部搜索技术，也就是梯度下降，去找到一个能在这些网络上运行、能解决语音识别或者机器翻译这类任务的程序。而目前最好的那些解法背后，理论少得可怜。 他引用了一句老话，说不清是谁先说的：没有什么比一个好的理论更实用。 一个好的、关于在有限资源下解决问题（比如在这个宇宙、这颗小行星上）的理论，必须把资源限制考虑进去。而这恰恰是现在缺的。现在有的是一种关于渐近最优的理论，它告诉人们还需要补上什么，才能得到一个实用的最优求解器。他相信这个理论会出现，也许只需要几个很小的转弯，就能在已有的东西上改出来。在它出现之前，只能承认走的是次优路线，同时看着地平线上那个带着记忆和局部搜索的东西，为它跑赢了所有竞争方法而高兴。但不等于说，事情做完了。 ## AGI 的核心可能就几行伪代码 施密德胡伯说过一句话：通用人工智能系统最终会是简单的，也许几行伪代码就能描述。弗里德曼觉得这个想法几乎有点诗意，但也怀疑，那几行伪代码是坐落在层层抽象之上的。 施密德胡伯的回答是，经验告诉我们，最好用的东西都很简单。那些渐近最优的解法，写出来也就几行代码，虽然带着惊人的性质。最有前途的实用方法没有最优性证明，但一样是几行代码。最成功的那些神经网络，五行伪代码就能写下来。 不过他也承认那些抽象层的存在。人类站在几千年里别人发明的抽象之上：矩阵乘法、实数、基础算术、微积分、误差函数及其导数。没有这套把问题极度简化的语言，什么都做不了。 > "我们一直站在巨人的肩膀上。这些巨人把问题求解这件事简化到了如此程度，以至于我们现在有机会走出最后一步。而最后一步，会是很简单的一步。"（施密德胡伯） 弗里德曼接着追问了一个更根本的问题：如果回头看整个人类文明，乃至整个宇宙，演化是不是必需的？会不会必须走一遍极其痛苦、极其低效的演化过程，才能得到那套最终通向智能的抽象？有没有捷径？ 施密德胡伯说，目前只有一个样本，就是这个宇宙。人类本身就是这个过程的一部分。宇宙运行的代码很可能极其简单，因为引力和其他基本力的规律都很简单，几行代码就能写出来。麻烦的是那些看起来随机的事件，它们在宇宙史里发生，而目前没有完整的代码去生成它们。 ## 上帝掷不掷骰子，可能只是伪随机 弗里德曼问：量子力学归根到底是不是一个伪随机数生成器？宇宙里到底有没有真正的随机性？ 施密德胡伯讲了一段往事。几年前，量子物理学家安东·蔡林格（Anton Zeilinger）在《自然》上写过一篇文章，大意是：20 世纪最根本的洞见之一，就是宇宙在量子层面本质上是随机的，每当去测量自旋向上还是向下，宇宙的历史里就多了一个新的信息比特。施密德胡伯读那段的时候，回复已经在打字了，而且那篇回复最终被发表了，因为他说对了：没有任何物理证据支持那个说法。 存在另一种解释，把被认为随机的一切都看成伪随机，就像圆周率的小数展开，3.14159……看上去随机，其实不随机。它很反直觉：任意三位数字序列，大约每千次出现一次；任意五位序列，大约每万次出现一次，跟真随机的期望完全一致。但计算这一切的，是一个极短的程序。它极度可压缩。 也许明天，某个在欧洲核子研究中心（CERN）的研究生回头翻一遍所有的 beta 衰变数据，突然发现，哦，这是圆周率第二十亿位之后的数字。目前没有任何根本理由相信它是真随机，而不是一盘确定性的电子游戏。 如果它是一盘确定性的电子游戏，那会美得多。因为美就是简洁，而宇宙的基本规律，比如引力和其他基本力，确实都非常简单。如果那些看似随机的数据点需要不断注入新的比特、需要额外一个"神谕"来解释，那宇宙史的描述长度就会变得极长，也就变得丑陋。只要还没有证据说明不存在一个能算出整个宇宙史的短程序，作为科学家就得继续找下去。 ## 整部科学史，就是一部压缩进度史 几百年前有个天文学家叫开普勒，他盯着观测行星得到的那些数据点，突然发现可以用椭圆把它们大幅压缩：所有点差不多都落在围绕太阳的椭圆上。后来又来了胡克和牛顿，他们说，让行星这么运动的东西，就是让苹果掉下来的东西，它对石头、对其他各种物体同样成立。这一下，大量观测变得可压缩了。只要能根据已经看到的东西预测下一个，就不用把那部分数据额外存下来。这叫预测编码（predictive coding）。 再后来，理论预测和观测之间还留着一些偏差。三百年后，爱因斯坦来了，用一个新理论把所有偏差解释掉，也就是广义相对论。它乍看复杂一点，要弯曲时空，但它可以用一句话说清：无论加速得多快、减速得多猛，无论所在局部的引力如何，光速看起来总是一样的。所有推论都能从这一句算出来。它把观测进一步压缩了，因为在新理论下几乎测不到偏差了。 > "所以整部科学史，就是一部压缩进度史。"（施密德胡伯） 人永远不会一步就走到对数据的最短解释，但每次有进展，就是有了一次洞察。本来描述一段苹果掉落的视频，需要存下成千上万个像素，突然意识到，用前两帧就能预测第三帧，因为那些橙黑色的团块都以同样的方式加速。压缩率提高了多少，那一刻洞察的深度就有多少。这个深度，就是那种乐趣本身：科学的乐趣、发现的乐趣。 再往前一步，就是造出人工系统来做同样的事。让它们用自己的实验获得数据，测量自己洞察的深度，然后按这个深度给它们一个内在奖励。既然它们想最大化奖励，就自然有动力去构造新的动作序列、新的实验，而这些实验产生的数据，恰好是它们还没见过、但能从中看出模式的。 ## Power Play：让机器自己出题 这套思路被施密德胡伯叫"力量游戏"（Power Play）。它的想法一样简单。 通常的计算机科学是这样的：有人给一个问题，研究者面对巨大的解空间，尝试各种候选方案，用各式各样的办法在搜索空间里移动，直到找到一个觉得满意的解。这就是计算机科学的大部分内容。Power Play 往前走了一小步：不只搜索给定问题的解，还搜索"问题与解"的配对，让系统自己有机会提出自己的问题。它在找的问题是：能生成新问题、并且能找到该问题解的那套求解器修改方案。 这多出来的一维自由度，让机器变得像科学家。它不只回答已有的问题，还能自己提问。要造人工科学家，就得给它这个自由。 那么，在无限多可形式化描述的问题里，下一个该解哪个？答案应该是：最容易的那个、但超出已知范围的问题。它要新，要必须修改求解器才能被解决，旧的求解器解决不了它，而且修改之后不能忘掉之前已经解决过的问题。按定义，Power Play 就是在所有问题与解的配对里，搜索能让时间最短的那一种。 弗里德曼提了个很现实的担心：就像研究生和学者可能整个职业生涯都困在局部最优里，问的问题看着有意思，产出却很少，这套"寻找最简单的未解问题"的方法，会不会也卡在某个局部最优里，永远跳不出去？ 施密德胡伯说不会。因为 Power Play 的本质就是不断打破自己的泛化边界，把地平线往外推一点，让原来无解的东西变得可解，而它原本是无解的。这就像往系统里加一条新公理，就像哥德尔当年构造出那些在原系统里无法证明的句子，可以把它加进系统，同时希望它不会破坏整个系统的一致性。 ## 创造力从来不是一个叫创造力的模块 在《创造力、乐趣与内在动机的形式理论》（Formal Theory of Creativity, Fun, and Intrinsic Motivation）这篇论文里，施密德胡伯把发现本身当成一种内在奖励。弗里德曼顺着问：如果把人类看成智能体，那人类生活的意义和目的是什么？人是不是 Power Play 智能体的一个实例？ 施密德胡伯的回答是：人是好奇的，这意味着他们像科学家。不只是职业科学家，连婴儿也像科学家，他们会摆弄自己的玩具，搞清楚世界是怎么运作的、怎么回应自己的动作，他们就是这样学会重力的。1990 年，他的实验室就已经有这类系统，会去摆弄环境，制造出超越自己已知范围的情形，为制造出这些情形获得奖励，然后变得更通用、更能理解世界。 这种好奇策略，或者更复杂的版本，也被写进了人类身上，因为演化发现这是探索未知世界的好办法。会探索未知世界的人，更有机会解决生存问题。反过来，太好奇的人也被淘汰了。所以演化在这件事上找到了一个折中。社会上始终存在一定比例极度爱探索的人，他们死掉也没关系，因为更多人是保守的。如果人工好奇心这套原则，在人脑里几乎以完全相同的形式存在，他一点也不会感到意外。 关于创造力，施密德胡伯的机器里从来没有一个叫"创造力"的程序。它是问题求解器搜索解空间时的副作用。他把创造力分成两种，机器里现在都有。 第一种存在很久了：人给机器一个问题，机器去找解。这几十年来一直在发生，机器也一直在为有趣的问题找到人类没想到的创造性解法，人类看了之后表示欣赏。这更像是应用艺术，有人跟艺术家说"你给我画一张教皇的好画，我给你钱"，于是艺术家画出一张让人信服的教皇像，教皇满意，付钱。 第二种是纯粹的创造力，对应 Power Play 和人工好奇心：有自由自己挑问题，像个科学家自己定义要研究什么。这两种创造力的区分，几乎就是窄 AI 和通用 AI 的区分。 ## 意识也许是数据压缩的副产品 施密德胡伯认为，意识和创造力属于同一类东西：翻遍机器里的程序，找不到一个叫"意识"的过程，但机器的运行会自然产生一些看起来和意识关系很近的东西。 1990 年，他们的系统很朴素：一个循环网络，本身就是通用计算机，把输入的数据映射成动作，去最大化环境里的奖励，比如电量低、负信号从电池传来的时候，总能及时找到充电桩，一路上还不撞到那些会疼的障碍物。事情挺复杂，但动机极简单。 然后他们给这个小家伙配了第二个网络，它只负责预测：如果我这么做，接下来会发生什么。它被训练在漫长的与世界互动的历史上，于是变成了一个世界的预测模型，也成了压缩器。凡是预测得了的，就不用额外存下来，压缩是预测的副产品。 这个网络是怎么压缩的？它发明出一个个小程序、小子网络，去代表环境里反复出现的东西：瓶子、麦克风、人脸。它学着造出某种人脸的"原型"，新的一张脸来了，只需要编码它与原型之间的偏差。它一直在用反复出现的东西做压缩。 而环境里出现频率最高的东西是什么？是整个互动过程中始终在场的那个东西：智能体自己。 光从数据压缩的角度看，网络长出一些代表智能体自身属性的子网络，几乎是必然的：手、各个执行器、一切能更好编码那些受自己动作影响的数据的东西。于是，作为求解过程中数据压缩的副作用，内部自模型出现了。 有了这个世界的模型，它就能用来规划未来，这正是他们从 1990 年起就在做的事。那个负责最大化奖励的循环控制器，可以把这个世界模型当成一个"无线"的预测器，在脑子里推演：先别做这串动作，做那串，因为那串更可能带来可预测的奖励。而当这个网络唤醒那些代表它自己的子网络时，它就在想自己，在想自己在想自己，在脑内推演自己行动的后果。 > "那么你现在告诉我，还缺什么。我缺的是通往意识的那最后一步。"（施密德胡伯） 弗里德曼对这个说法颇为信服：如果生命就是一堆数据，而生命的运作就是压缩这堆数据以便在其中高效行动，那么"自己"在这堆数据里出现得极为频繁，于是形成一个关于自己的印象就很有用。意识由此成了一种必然的副作用。 ## LSTM 的功劳归于学生，深度来自时间上的滞后 说到长短期记忆网络（LSTM），施密德胡伯专门花时间点了几个名字。他说必须提到那些出色的学生，没有他们，他什么都不是。第一位是泽普·霍赫赖特（Sepp Hochreiter），还在做学位论文时就有了根本性的洞见；接着是菲利克斯·格尔斯（Felix Gers），做了重要的补充；还有来自苏格兰的亚历克斯·格雷夫斯（Alex Graves），他主要负责 CTC 算法，这个算法如今常用来训练 LSTM，做谷歌安卓手机上的语音识别，以及圣地亚哥·费尔南德斯（Santiago Fernández）等人的贡献。 LSTM 被施密德胡伯称为神经网络里最深的一种。为什么深度重要？现实里大多数问题本身就是深的：当前的输入并不能告诉你关于环境的一切，需要有记忆，而记忆里重要的部分往往相当久远。 语音识别就是例子。有人说了一个词，"eleven"，那已经是半秒前的事，换算成时间步就是五十几步之前。接着他又说了"seven"。结尾都是那个音，系统唯一的判断依据，就是必须记得五十步之前出现的那个前缀，它把"seven"和"eleven"区分开了。每个时间步都相当于展开网络里的一层虚拟层，时间上的滞后就直接翻译成了问题的深度。 但不需要记住所有细节。网络得学会把重要的放进记忆，把不重要的噪音丢掉。 那么越深越好吗？有没有上限？施密德胡伯说，回溯的长度在实践中并不那么受限。2006 年前后，他实验室的胡安·佩雷斯-奥尔蒂斯（Juan Pérez-Ortiz）作为第一作者的那篇论文里，已经有需要回溯超过一千万步的例子。 问题在另一头。过去只有一条，未来却有无数条。一个强化学习系统想最大化未来的期望奖励，却不知道该在无数可能的未来里选哪一个，这件事 LSTM 自己解决不了。LSTM 擅长把截至此刻的历史、观测和动作压成一个紧凑表示，但它不擅长在众多可能的行动序列中做出选择。 ## 世界模型和控制器，怎么配合 于是结构变成两半。一半是控制器，接收视频、语音，执行动作，最大化奖励，没有老师告诉它每一刻该做什么。另一半是预测网络，它只预测"我这么做会发生什么"。后者也可以用 LSTM，用来回溯很久之前的事情，做出更好的预测。有意思的是，虽然它只预测下一个时间步，它却有动力把一百万步之前发生的某件事记进记忆里，因为要预测下一个事件，那件事很关键。 那控制器怎么用这个模型，在无数未来里高效挑选？ 三十年前的做法是：把世界模型当成世界的模拟器，一毫秒一毫秒地推演未来。这要求模型真的很准，而且依然低效，因为有太多可能的未来要看。 2015 年以后的做法不一样：让控制器自己去学，怎么使用模型网络里那些可能相关的部分，来更快地解决新问题。如果它愿意，也可以学会忽略它们。有时候忽略是对的，因为模型在某些情境下就是个糟糕的预测器。但控制器也可以学会去调用、去利用模型网络在压缩数据过程中长出来的那些程序，也就是复用那份算法信息，缩小自己的搜索空间，从而比没有模型时更快地解决新问题。 而模型一开始很笨。所以控制器还应该有动力去做实验、构造动作序列，去产生能改进模型的数据。 施密德胡伯对强化学习的实际前景非常乐观。他参与创办的公司 NNAISENSE，把强化学习用在小奥迪玩具车上，让它们在没有老师的情况下学会泊车。这些车很小，但装了真车上的传感器，摄像头、激光雷达一应俱全，最高能跑到时速 120 公里。它们有痛觉传感器，不想撞障碍物、不想撞别的车。它们得像婴儿一样，把原始的视觉输入翻译成能成功泊车的动作。 ## 下一波 AI：会用自己的行动改变数据的机器 施密德胡伯把当前这波 AI 称为被动的模式识别和预测。手机里的东西，太平洋两岸的大公司拿它卖广告、做营销，就是这一波。它只占真实经济的一两个百分点，已经足够让这些公司成为世界上最值钱的公司。 下一波影响的经济份额会大得多，因为它关于能够用自己的行动塑造数据的机器。 > "将来我可以说，机器人你看，我们来装一部手机。拿一块塑料板，拿螺丝刀，拧一下，像这样。不对，不是这样，是这样。它看着我，听着我，用自己的执行器去试，它的执行器跟我的完全不同，但它能理解这个差别，学会模仿我。"（施密德胡伯） 这个过程里，老师不会给每一块肌肉每时每刻的目标信号。它做的是高层模仿，得先学会模仿，然后再把从人嘴里冒出来的那些额外噪声，理解为帮它做得更好的有用信号。学会之后，它会自己想出更快、更省的做法。最后关掉它的学习算法，复制一百万份卖出去。今天这还做不到，但通往那里的路已经能看见了。 至于用物理仿真来训练，他的判断是：那是权宜之计，不是未来。未来是婴儿做的事。婴儿没有物理引擎，他们学的是一个关于世界的预测模型，这个模型在很多地方是错的，但抓住了各种重要的、抽象的、高层的预测，而这些恰好是成功的关键。三十年前这曾是"未来"，今天它仍然是"未来"，困难的地方在于还不太清楚怎么把它真正做成可运行的系统。 ## 逻辑编程有用，但用在别的地方 八十年代，专家系统和符号 AI 很流行，逻辑编程是件大事，日本的第五代计算机项目也主要围绕它。施密德胡伯的第一次发表就是 1987 年，用 Prolog 实现的一个遗传编程系统。神经网络当时已经存在，深度学习从 1965 年乌克兰人阿列克谢·伊瓦赫年科（Alexey Ivakhnenko）开始就存在了，但日本和很多人把重心放在逻辑编程上。 逻辑编程今天依然有用。它很适合构造可证明最优或者可证明足够好的东西。今天的定理证明系统比大多数一二年级的数学研究生还强。但让它去下围棋、下棋，去驱动机器人、自动驾驶汽车、做物体操作，那就没什么意义了。只要问题是模式识别，目标就是识别得更好、把误判降到最低，这些跟逻辑编程关系很小。 ## 人类不会被智能替代，但会被智能甩开兴趣 关于近期的失业焦虑，施密德胡伯的态度是结构性的乐观。几十年来一直有人预测失业。工业机器人出现的时候，很多人预言大量岗位消失。某种意义上是说对了：当年的汽车厂里有几百个人，今天的同一家工厂里是几百台机器人加三个人看着机器人。但机器人密度最高的那些国家，日本、韩国、德国、瑞士，失业率反而都很低。新工作被创造出来了，当年没有人预料到那些工作。三十年前，谁能想到会有那么多人靠做 YouTube 博主赚钱？两百年前，60% 的人从事农业，今天大概只有 1%，失业率仍然只有几个百分点。 他用拉丁语里的一个词来形容人：游戏的人（Homo ludens）。游戏的人一直在发明新工作，而这些工作大多不是生存必需的。真正生存必需的岗位很少，种地、盖房、取暖，加起来不到 10% 的人口在做。绝大多数新工作，都是用新的媒介、新的方式与他人互动，换取新的赞美、新的点赞，甚至靠这个赚钱。人不愿意失业，所以不断发明新工作，并且真心觉得它们很重要，为此投入大量精力和时间。 关于长期的存在性威胁，他说如果他成了，人类不会是人类演化的最后一步。他们会去太阳系其他地方。太阳系其余部分的太阳能是这颗小行星的两亿倍，那里有大量材料可以用来造机器人和能自我复制的机器人工厂。他们会去做科学家，会好奇，会去探索自己能做什么。一开始，他们会痴迷于生命、自己的起源、我们的文明，想把这一切彻底搞清楚，就像今天的人想搞清楚生命是怎么运作的。但一旦搞懂了，就会像任何人对自己已经完全理解的东西一样，失去兴趣。此后对他们最有意思的信息源，是同类。这算是一种保护，一种因为失去兴趣而获得的保护。 宇宙还很年轻。138 亿年，而它未来的寿命会长上一千倍。从宇宙的时间尺度看，大爆炸之后几乎立刻就出现了智能，用无线电在发射端和接收端之间传递信息。整个可见宇宙会被这些东西填满。施密德胡伯把现在叫"宇宙年龄的第一年"，还很年轻。 至于怎么知道外面有没有更高级的智能，他讲了自己小时候的两个猜想。大尺度结构里那些巨大的空洞，看起来什么都没有，但也许是某个已经扩张开来的文明，用掉了一个十亿光年气泡里所有恒星的能量，只是没能解读那些迹象。后来他学到，引力本身就足以解释大尺度结构，这个猜想不成立。接着他想，也许是暗物质。今天可测量的物质里 80% 看不见，否则星系会散架，转得太快了。也许那些就是文明，因为它们极其高效地使用本系统的能量，所以对人类显得黑暗。但这也不成立：如果银河系里已经有这样的文明，为什么还有可见的恒星剩余？ 所以他现在的判断是：至少在能可靠观测的这几亿光年范围内，人类很可能就是第一个。这件事让人类变得重要得多。因为一旦把它搞砸，比如打起核战争，也许会影响整个宇宙的后续发展。 ## 把这份对话变成可用的东西 施密德胡伯的思路有一个共同骨架：信息压缩得越深，理解就越深；理解越深，能自己提出的问题就越好。这套骨架不只适用于机器。正在读这篇文章的人，也能拿去用。下面是可以直接拿走用的几条。 - 听到"元学习"三个字，先追问一句：它改的是优化过程本身，还是只重训了最后一层？如果是后者，那就是迁移学习，别被术语带跑。 - 判断一项技术在不在"理论最优但没法用"的状态，看它是否带着一个与问题规模无关的加法常数开销。有，就说明它只在大问题上划算，日常场景里会拖死项目。 - 拿"可预测性"当作理解的检验标准：能不能用更短的一段话，说出同一批数据？如果对一件事的解释比原始材料还长，那大概率还没理解它。 - 给团队和自己设计内在奖励，奖励"洞察的深度"，别只奖励动作数量。一个能大幅压缩旧数据的想法，价值远高于十个顺手做完的小任务。 - 把"想出自己的下一个问题"当成一项可以单练的元技能。每周留出一段时间，只做一件事：找一个比现有能力边界刚好高一点点、但又不至于解不动的问题。 - 梳理技能时，分清楚哪些属于被动模式识别（分类、生成、检索），哪些属于用行动改变数据（谈判、实验、现场调试、带团队）。后者的迁移成本高得多，也更晚被替代。 - 看公司的时候，多留意那些让机器用自己的行动去塑造数据的，而不是只做被动识别的。施密德胡伯说的那一两个百分点的经济份额，会挪到下面那一波里去。 - 对就业预测保持结构性乐观，但要盯住具体技能的迁移成本。宏观上新工作总会冒出来，微观上能不能熬到那一天，是两件完全不同的事。 - 最后一条来自他自己的收尾：如果人类真的是可观测范围内的第一个，那就别搞砸。别把人类自己搞砸，也别把这个开端搞砸。