# 扬·勒昆：智能的暗物质与自监督学习 > 图灵奖得主勒昆讲解自监督学习如何成为智能的暗物质，展望通向通用人工智能的路径。 - 原标题：#258 – Yann LeCun: Dark Matter of Intelligence and Self-Supervised Learning - 期数：第 258 期 - 发布日期：2022-01-22 - 嘉宾 / 主题：扬·勒昆 - 网页版：https://lexfridman-cn.pages.dev/ep/yann-lecun-2/ - 官方页面：https://lexfridman.com/yann-lecun-2/ - 精读字数：约 8844 字（阅读约 20 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 一个十几岁的青少年，平均二十个小时的练习就能把车开上路。一辆自动驾驶汽车，哪怕在模拟器里跑过几百万小时，还是学不会。扬·勒昆（Yann LeCun）每次讲自监督学习，都会拿这个对比开场。在他看来，这个差距里藏着当前人工智能最要命的一块缺失。 人类凭什么二十小时就能学会？靠的是此前十几年攒下的背景知识。你在真正坐进驾驶座之前，已经看过无数次车在路上跑，已经摸清了物体的基本物理规律。勒昆举的例子是：你开车贴着悬崖走，方向盘往右一打，你立刻知道车会冲下崖去，不会有什么好结果。这个判断不需要你真的掉下去过。 换成没有世界模型的强化学习系统，它得先真的掉下去几千次，才知道这不是好主意；再掉几千次，学会怎么避免；再掉几百万次，才能在每一种会遇到的情况下都避免。同样的任务，一个靠背景知识，一个靠反复摔打。差距就在这里。 ## 蛋糕分三层，最厚的那层一直没人认真做 勒昆喜欢把机器学习分成三层，像一块蛋糕。 - **强化学习**：系统每试一次，只拿到一个标量反馈，干得好或者干得糟，而且这种反馈隔很久才来一次。 - **监督学习**：每看一个样本，系统拿到几个比特的信息。比如在 ImageNet 上分一千类，每个样本大概不到 10 比特。 - **自监督学习**：给系统看一段视频，停下来，让它预测接下来会怎样。等时间往前走，把真实发生的事摊给它看，信息量是一整段未来。 最厚的那层蛋糕，一直是没人动过的。理想状态是这样：把一段视频喂给机器，让它预测后续，然后等真实世界给出答案，希望它下次预测得更准。这里的信号量巨大，因为答案是一整段视频。语言方向已经跑通了这条路，视觉方向还卡着。 婴儿在生命最初几个月是怎么认识世界的？大部分靠观察。他们还做不了什么动作，只能躺着看爸妈走来走去、拿东西、开门关门。眼睛睁开，世界出现，闭上，世界消失。这些最基础的信息，堆出了我们后来称为常识的东西。这种学习不针对任何具体任务，也没有奖励，只是在看世界怎么运转，然后在大脑里建一个世界模型。勒昆把这块能力叫作**智能的暗物质**。 ## 语言先成了，视觉还卡在半路 今天的自然语言处理，几乎全部建立在自监督预训练之上。把一句话里 10% 的词抠掉，训练一个巨大的神经网络去填这些空。预训练完了，把网络内部的表示拿出来，接到任何下游任务上，效果都非常好。 视觉这边就没这么顺。图像上的自监督一度只能靠人工设计的数据增强，效果一般。真正的突破口要窄一些：把图像切成不重叠的块，像 Transformer 处理文字那样随机遮住一部分，训练模型把缺失的部分重建出来。这个思路很接近语言里那套填空题，而且不需要数据增强，只需要遮挡。勒昆提到 FAIR 团队最近有篇论文，这条路终于跑出了不错的结果。 更难的还在视频。让机器单纯靠看视频学会表示视觉世界，到现在都没人真正做成。**这大概是整个领域最大的一块未开垦地。** 语言和视觉，哪个更难？勒昆的答案是：越往下做，越发现它们其实是同一样东西，都是同一块蛋糕。他现在想找的是那种能让两者在方法上长得像同一种东西的办法，而目前它们还不像。 ## 预测的麻烦在于未来不止一种 学习世界模型，核心难点是预测从来不会给出单一结果。世界也许确定，也许随机，无论如何你都做不到完全预测。你放一段短视频，让人预测下一秒会发生什么，合理的答案有一大堆，而时间跨度越长，可能的走向越多。 语言处理这个问题相对轻松。当你说"猫在厨房里追______"，能填进去的词就那么几个，老鼠、蜥蜴、球。神经网络可以给词典里的每个词打一个分数，十万个数一列，转成概率分布就行。换成视觉，你要预测的东西落在高维连续空间里，可能的延续有无数种，没法像词典里的词那样列成一张有限清单。怎么把这团不确定性表示出来，现在还没有靠谱的办法。 语言里有另一个更隐蔽的毛病。多个空格之间，模型给出的概率分布是相互独立的。你填了"狮子"，同时填"斑马"的概率，和填"猎豹""瞪羚"的概率互不影响。可现实里这两个空格是相关的：狮子攻击的猎物通常比猎豹大。模型把一份不成立的独立性假设塞进了整个过程，代价却不大。 如果有人批评说，这种填空白无非是统计，学不到任何深层概念，也谈不上智能。勒昆的回应是不进这种讨论，因为没意义。他说，智能完全有可能就是统计，只不过是某种特定形式的统计。**你真正该关心的是用什么办法学到世界模型，至于是不是统计，那是次要的。** 批评者常说的另一句是，现在的机器学习不关心因果。勒昆同意这一点，同时也指出现有系统并非完全无视因果。你的世界模型应该把自己的动作当成一个输入。只有这样，你才能学到因果模型：知道对世界做什么干预，会带来什么结果。你要么自己动手试，要么观察别的智能体动手，看它产生的效果，再推断它和你相似，从中学到东西。 ## 联合嵌入：一层新蛋糕的做法 处理预测的不确定性，现在有两条路。 第一条是生成式潜变量模型。你有一个隐藏向量，在某个集合里变动或从某个分布里采样，输出就随之变化，覆盖一组合理的预测。这条路的麻烦在于，它最终还是要预测像素。 第二条路是做联合嵌入。你训练两个神经网络，一个看视频的开头，一个看后续。目标是让两段视频的表示尽可能互相可预测，同时对自身又尽量保信息。那些无法预测的细节，比如地砖纹理的具体走向，会在表示里被丢掉。这套架构的代表是孪生网络（Siamese Network）。 勒昆坦承，一两年前他是第一条路的忠实拥护者，那篇和伊尚·米斯拉（Ishan Misra）合写的《智能的暗物质》博文就是为它站台。过去一年半，他彻底改了主意，转投第二条路。 原因是一批新算法冒了出来：BYOL、Barlow Twins、VICREG。它们都基于联合嵌入，都是非对比式的。**所谓非对比，就是不再需要负样本。**早年的对比学习要求你同时给出相似对和不同对，把相似对拉近、把不同对推远。这个思路能保证不同输入产生不同表示，可在高维空间里要凑出足够多的负样本，代价高得离谱。 非对比方法绕开了这个坑，只用正样本。它保证表示有信息量，同时让一个表示能从另一个表示预测出来。这套想法杰夫·辛顿（Geoff Hinton）在上世纪九十年代就和他的学生提出过，之后被冷落了几十年，直到最近才被捡起来。 > "这大概是我近十五年在机器学习上最兴奋的一件事。"（扬·勒昆） 勒昆顺带吐槽了几句语言的填空白方式。给词典里每个词打一个分数，再转成概率分布，这种做法在他看来有点笨。他觉得应该存在更压缩的表示方式，只是我们还没找到。 ## 一篇被拒的论文，和它的真实分量 VICREG 这篇论文，全称是把方差（Variance）、不变性（Invariance）、协方差（Covariance）、正则化（Regularization）拼起来。第一作者是勒昆和让·蓬斯（Jean Ponce）联合指导的博士生阿德里安·巴尔代（Adrien Bardes），在 FAIR 巴黎做研究。它是 Barlow Twins 的后续工作。 勒昆在 NeurIPS 上贴出消息，说自己参与的一篇论文被拒了，还带了个引号的"骄傲"。他其实是开玩笑。审稿人给的主要差评是 VICREG 和 Barlow Twins 不够不同。勒昆的看法是：它大体上就是 Barlow Twins 修掉了几个 bug 的版本，而最终真正被大家用的会是它。 他说自己早就习惯了投出去的稿子被拒一阵子。**有的论文会被拒，却因为好用而被大量引用。**他在乎的是这篇东西十年后还有没有人用，中不中会反倒次要。 顺着这件事，他聊到了同行评审这套机制的病。计算机科学有个特色：会议的地位极高，评审过程也比期刊快，能迅速把想法推向社区。但快有快的代价。 最突出的一个现象是，整个领域在指数级膨胀，绝大多数从业者都极其年轻。这直接导致审稿人往往缺乏经验。而缺乏经验的人倾向让评审变简单，最简单的做法就是在一篇论文里挑出一个缺陷。绝大多数论文都有缺陷，好论文也不例外。 > "审稿人让自己的工作变简单的方法很直接，你只要在论文里找到一个缺陷就行。"（扬·勒昆） 他真正在意的标准是：这篇论文里有没有一个可能影响别人的新想法？实验不完美、协议不够严谨，都无所谓。只要里面有一个值得别人接着想、接着改的点，这篇论文就有价值。可惜现实中，顺着主流方法做点增量改进的论文，比提出新想法的论文更容易过审。 出路在 arXiv，也在 Twitter 这种野生评审场。勒昆十几年前就写过一份评审系统的提案：你把论文放到仓库里，任何人都可以组建一个相当于评审委员会的团体，公布成员名单，然后自主决定要不要评审某篇论文。论文和发表渠道之间不再有排他关系。评价和评论都是公开的，署名到具体的评审团体。哪个团体的判断能预测一篇论文未来的成功，它的声誉就上升，成员也跟着受益。 他当年甚至有个图书情报学和计算机双学位的学生，把这套声誉机制的公式都推出来了。可惜到现在，除了 iClear 沿用了公开评审这条，其余部分大多又退回到了传统的会议模式。他对此是有点失望的。 ## AI 未来十年要跨过的三个坎 勒昆把机器学习剩下的挑战归结成三件事。 - **让机器学会表示世界。**他给出的答案是自监督学习。 - **让机器以能和梯度学习兼容的方式做推理。**深度学习本质就是梯度学习，推理必须嵌入这套框架。 - **让机器自发学出行动计划的层级表示。**感知上的层级表示，卷积网络和 Transformer 已经会了；行动计划上的层级表示，他坦承自己完全不知道怎么做。 第三件事能接上一套很老的工具：模型预测控制（Model Predictive Control），上世纪六十年代就有，NASA 用它算火箭轨道。你有一个关于被控系统的预测模型，给它当前状态和一个动作，它吐出下一刻的状态。这套模型如果写成可微的形式，你就能把一串假设的动作展开到未来，看看最终状态能不能达到目标，再通过时间反向传播，找出最优的动作序列。 > "这就是一种推理，本质上就是规划。"（扬·勒昆） 把方向盘打向悬崖会怎样，你在脑子里跑一遍模型就知道，不需要真的试。挑出最有利的那个走向，迈出第一步，然后再重新规划一次。这套东西叫滚动时域控制，名字听着唬人，原理几十年前就定了。 古典最优控制里的世界模型通常是人手写出来的，或者是近乎确定的。AI 真正的难题是：让机器自己学出一个能应付真实世界复杂性的预测模型。火箭的轨迹可以还原到第一性原理，机械臂的轨迹可以精确建模，但水、树、树枝、人的行为，这些涉及集体现象的复杂系统，人类随手就能建出抽象表示和预测模型，机器到现在还不会。 ## 意识可能是大脑受限的副产品 话题转到意识。勒昆先说不知道意识是什么，然后给了个类比：十七、十八世纪，人们发现眼睛成像的原理，图像落在视网膜上是倒的。那你为什么看到的世界是正的？这个问题在当时很让人困惑，以今天的科学看，它本身就没意义。 他关于意识有一个猜想。人的前额叶皮层大致就是那个世界模型引擎。你在专注某件事时，注意不到别的。这说明我们脑子里只有一个这样的引擎，它可以根据当前情形重新配置：造一个木箱、开车、下棋，共用同一套机制。这也解释了为什么我们一次只能专注一件事。 重复做的任务会从这种刻意推理，下沉到潜意识，变成自动的。国际象棋大师不用为每一步想十五分钟，他几秒钟就反应，因为下棋对他已经变成模式识别。开车也一样，头几十个小时你全神贯注，练够五十个小时，就能一边开一边聊天，除非路况忽然变得难以预测，你才会闭嘴。 > "意识来自大脑的受限，未必来自心智的强大。因为我们只有一个世界模型，所以我们必须有意识。"（扬·勒昆） 如果一个人拥有和遇到的情境一样多的世界模型，他就能同时处理所有事，也压根不需要那种被称为意识的执行控制。 至于那个让哲学家头疼的"感受"问题，为什么信息处理会带来主观体验，勒昆的态度有点实用主义。他认为这可能只是进化带来的一个漂亮的副作用。让你对自己做出的决定、产生的感知、维持的模型有一种"拥有感"，因为这是你唯一拥有的东西，弄丢了会非常糟，所以大脑需要给自己发出这样的信号。 ## 自主智能必然有情绪 如果机器真学会了世界模型这套东西，接下去会怎样？勒昆认为，一个由内在动机驱动的自主智能系统，只要它有那种提前预测结果好坏的批评器（critic），它就必然会有情绪。预测到坏结果，它会恐惧；预测到好结果，它会兴奋。如果它需要和人打交道，它就会变得社会性，就会有依恋之类的情绪。 > "那个科幻片里指挥官 Data 身上可以随时关掉的情绪芯片，我觉得很可笑。"（扬·勒昆） 这套逻辑往下推，就推到了机器人权利、备份、隐私这些问题。 先说备份。如果一台机器可以随时完美地保存和还原心智状态，那我们对死亡的理解会变。谋杀的分量会下降一档，与此同时，人类做危险事情的欲望可能会上升，跳伞、赛车、特技飞行都无所谓了，反正有备份。勒昆的儿子们做游戏，他举了《暗黑破坏神》的硬核模式：死了就是死了，没有存档。**将来很可能出现一种规则，让某些机器人不许备份，复制它的心智是违法的。**理由和克隆类似，你可以造一个延迟出现的双胞胎，但那不是复制一个完整的心智。 再说隐私。设想五年后你有一台家用机器人，它来的时候带一点预训练能力，性格和别的机器人略有不同，在你家待了五年，学到了很多关于你的事，你也对它有了感情。它突然想离职，去给别人干活。你现在要问的是：它脑子里那些关于你的信息，你能删掉吗？你为了隐私，有权抹去一个智能机器人的记忆吗？ 对人类，你没有这个权力。你只能请求对方闭嘴，不能清空对方的大脑。机器人很可能也会走到这一步。勒昆的观点是，如果机器人被设计成可以深入交互，那它就不能被随便删除，这跟杀人没什么区别。风险本身就是深度体验的一部分：你得能失去你的机器人朋友，也得能承受它跑去推特上吐槽你有多混蛋。 ## FAIR 八年，和那些泼向 Meta 的水 回到他工作的地方。FAIR（Facebook AI Research）成立差不多八年了。勒昆回忆，他刚加入 Facebook 时，公司里只有一个 AI 组，十来个工程师加两个科学家。他做了三年半的负责人，招了第一批科学家，把文化立起来，也向公司高层解释清楚什么是基础研究、它如何在工业环境里做、为什么必须开放。 他给这段历史的评价是成功的。FAIR 一边产出顶级研究成果，一边输出 PyTorch 这样的开源工具，同时还以直接或间接的方式反哺了 Facebook 后来变成 Meta 的业务。他半开玩笑地说，要是把深度学习从 Meta 的服务里抽走，这家公司会直接垮掉。 三年半后他转为首席科学家，不再管日常，开始做自己的研究，专攻自监督学习。现在 FAIR 由两位负责人共同管，分成两块：FAIR Labs 偏自下而上的科学驱动研究，FAIR Excel 偏组织化的大项目，需要更多工程支持。这两块又都隶属于更大的 Meta AI，Meta AI 又归到现实实验室（Reality Lab）之下。 至于 FAIR 这个名字，他倾向于保留缩写，把 F 的含义改成 Fundamental。品牌部门还在纠结，他猜不透最终结果。他还提到，手势感应那套机器人触觉研究其实是 FAIR 的项目，触觉手套才属于现实实验室。 访谈里绕不过去的一段，是 Meta 在媒体上的形象。勒昆的立场很直接：媒体描述的那个公司，和他在内部看到的完全是两回事。他是副总裁，能看到相当多东西，虽然不参与内容审核的决策，但那个"邪恶"他看不见。 他摆出几组研究。有人做过实验，付钱让前南斯拉夫地区的人停用 Facebook 几周，结果这些人反而比原来更极端，用 Facebook 多的人反而没那么极端。斯坦福的经济学家研究美国政治极化的成因，发现极化在过去四十年里持续上升，而这个趋势在马·扎克伯格出生之前就开始了，如果真有原因，那也不是 Facebook。德国西部、丹麦这些同样高频使用 Facebook 的地方，极化程度反而在下降。想找替罪羊总能找到，想找原因就找不到。他真正气的是，别人干的事被算到 Facebook 头上，而那些真该被追问的人却没人去问，包括刊登那些报道的《华尔街日报》的老板。 他给的类比是印刷机。印刷机刚出现时，印的多是《圣经》，普通人不用再靠神父转述经文，结果催生了新教运动，接着是两百年宗教迫害和战争。**社会网络带来的副作用，远远没有印刷机那么大，可没人会说印刷机是个坏主意。** ## 复杂性活在观察者的眼睛里 勒昆提到，把他引进神经网络这行的，是简单元素互相作用后涌现出复杂行为这件事。他大学时读到一本讲乔姆斯基和皮亚杰辩论的书，里面西摩·帕佩特（Seymour Papert）在谈感知机，他顺着这条线一路读下去，翻到了一批五十、六十年代关于自组织系统的会议文集。 其中一位叫海因茨·冯·福斯特（Heinz von Foerster）的德裔物理学家，后来在伊利诺伊大学创办了生物计算机实验室。他有个例子：在一艘没有重力的飞船里，放一个装满条形磁铁的大盒子，轻轻摇晃，磁铁会自己粘成复杂结构。这就是自组织。神经网络也是一种自组织。 冯·福斯特也在追问怎么度量复杂性。这个问题今天依然没解决。柯尔莫哥洛夫复杂度把一段比特串的复杂度定义为能生成它的最短程序的长度，可这个定义带一个任意大的常数。贝叶斯框架下，复杂度就是概率的负对数，看起来良定义，可你仍然需要先验，而先验和"选哪台计算机"扮演了同一个角色。所有度量都带一个任意常数。**如果连复杂性的度量都不干净，想谈清楚"事物如何变得更复杂"就不可能。** 他举了一个很妙的例子。拿 MNIST 手写数字，像素之间有局部相关性，整体看有结构。现在对所有像素做一次固定的随机置换，你再看这些图，会觉得乱得多、复杂得多。可它的绝对复杂度一点没变，只是你不知道那个置换。给你一副能撤销置换的眼镜，原本混乱的东西立刻变简单。假如有一种外星人天生戴着"置换眼镜"，那我们眼中简单的，对他们是噪声；我们眼中复杂的，对他们是热。复杂性真的活在观察者眼里。顺着这个逻辑，我们将来可能识别不出外星生命，因为双方的"局部性"概念根本不一样。 ## 在车库里造一支电子萨克斯 访谈快结束时，勒昆聊起了他动手做的电子管乐器（EWI）。他是风琴乐器玩家，学过巴洛克和文艺复兴音乐，高中时在乐团吹竖笛、克鲁姆管，也摸过一点双簧管。他一直想玩即兴，唯一的办法就是去吹电子管乐器，指法和萨克斯接近，音色靠合成器控制。 他买了雅马哈、赤井的几款产品，从八十年代末用起，可他始终不满意，因为不够有表现力。你听约翰·科尔特兰（John Coltrane）吹两个音，就知道是他；听迈尔斯·戴维斯（Miles Davis）吹小号，一听就知道。这种辨识度来自演奏者自身的生理结构，声道的形状塑造了声音。电子乐器怎么做到这一点？这是个大问题。 他在伯克利认识了一位叫大卫·韦塞尔（David Wessel）的教授，对方创办了音乐技术中心，也在琢磨这件事。疫情来了，他天天待在新泽西的工作间里，那里同时是家和 Zoom 房间，于是终于认真动手做起了自己的电子管乐器。 工作间里堆着各种用微控制器搭的电路和古怪的飞行装置。他对飞行的爱好是家传的：父亲是机械工程师，六十年代末七十年代初自己搭遥控系统，小时候把他带进了模型飞机和电子学。他还自己用微控制器、陀螺仪和加速度计搭过四轴飞行器，写固件做稳定控制。等到这类东西变成随手能买的产品，他就没兴趣了。 ## 给想解决大问题的年轻人 最后一段建议，值得完整抄下来给还在读书的人。 去被大问题吸引。什么是智能，宇宙由什么构成，生命到底是什么。哪怕问得再离谱也行，比如时间是什么，没人真知道答案。然后去打牢基础，学那些保质期极长的东西。 他在几个具体方向上给了话。如果你在"学 iPhone 移动开发"和"学量子力学"之间选，选量子力学。你可能会发现许多你根本不知道存在的问题，你也许永远不会成为量子物理学家，但你会学到路径积分，而路径积分到处都能用，它和贝叶斯积分用的是同一个公式。去学经典力学，你会碰到拉格朗日量，这个概念用途极广。去学统计物理，机器学习里那一整套数学，大多是十九世纪末、二十世纪初的统计物理学家搞出来的，有些成果更新，比如乔治·帕里西（Giorgio Parisi）刚拿了诺贝尔奖的复制方法，在机器学习里应用很广，变分推断的数学也来自统计物理。如果你学电子工程，别跳过信号处理，你会学到傅里叶变换，它支撑着图神经网络这类全新的 AI 分支。 偏爱应用的，可以看看把深度学习和科学结合的方向。Meta 和 FAIR 的同事做的 Open Catalyst 是个开放协作项目，用深度学习设计新化合物和新材料，去帮助把氢和氧高效分开。如果能用电力高效电解水，气候变化问题基本就解决了：在沙漠铺满太阳能板，白天产氢，把氢运到需要的地方，可控能源和可运输能源都有了。另一个方向是核聚变，等离子体不稳定，很难控制，也许深度学习能找出稳住它的控制器，收益巨大，虽然还很投机。 这些技术最终都要在人类世界里运转，而人类世界很复杂。所以你最好也读一点文学和历史，从中拿点灵感和智慧。 整场对话下来，勒昆反复回到同一个判断：**智能的本质是预测，而预测能力的底座，是从观察中自监督地建起世界模型。**这条路他认定是最有戏的，也是他把自己投进去的方向。他在某个节点上也承认，这件事比马斯克那些人以为的难得多，可能要好几年甚至十几年才能让人看清。这不妨碍他继续做下去。 对读者来说，这场对话能落成的行动大概有这么几条： - **把学习重心放到保质期长的知识上。**数学、物理、工程里的基础方法，几十年后还在用；某个框架、某款 SDK 的熟练度，几年就过期。 - **用一个具体项目去验证一套理论。**勒昆讲模型预测控制，就拿开车贴悬崖举例；讲联合嵌入，就拿 VICREG 的代码说话。你要能在自己的场景里跑通一次，才算真懂。 - **别把审稿意见当成判决书。**被拒的论文会因为好用而被大量引用。判断一篇工作价值的，是它有没有值得别人接着走的想法，发在哪个会上反倒次要。 - **留一个动手的爱好。**勒昆做电子乐器、搭四轴飞行器，这些和他在 AI 上的工作看似无关，却共享同一套思路：理解一个系统最好的办法，是亲手把它造出来。 - **想清楚要建什么样的世界模型。**无论你做产品、做研究还是做决策，真正拉开差距的，往往是你对"这件事背后世界怎么运转"那层理解的厚度，某个具体任务的技巧反而次要。