扬·勒昆：深度学习、卷积神经网络与自监督学习

你的两只眼睛加起来有 200 万根神经纤维通向视觉皮层。扬·勒昆（Yann LeCun）说，他可以用一个几乎算得上是数学证明的方式，告诉你人类的智能根本谈不上"通用"。

他把这个思想实验讲给 Lex Fridman 听：切断视神经，中间插一个设备，把所有神经纤维做一个固定但随机的置换。进来的还是那 100 万比特信息，只是顺序被打乱了。就算你从婴儿时期就这么接，你的视觉皮层也不可能学会正常水平的视觉。原因很直接，原本在真实世界里紧挨着的两个像素，被随机打乱后会投射到皮层里相隔很远的位置，而那里的神经元之间根本没有连接。

换句话说，大脑的硬件结构本身就是为了适配真实世界的规律而长出来的。它做了大量先天的假设，视觉皮层的局部连接假设了"近处的像素比远处的像素更相关"，这个假设刻在结构里，学不来。

一百万个二值输入能产生多少种函数

LeCun 把账算得更细。假设视觉皮层的输入是 100 万个二进制位，你想训练它识别某个特定模式，这本质上就是一个布尔函数，100 万位输入，1 位输出。

这种函数一共有多少个？2 的 2 的 100 万次方个。这个数字大到没法想象，宇宙里的原子总数在它面前等于零。

而人类皮层实际能计算的这类函数有多少？只是这个空间里窄到不能再窄的一条缝。

LeCun 由此得出一个结论：我们之所以觉得自己通用，是因为我们只能想象自己够得着的那些任务。存在一个巨大的世界，那里面的东西，我们根本没有被"接线"去感知。

他顺手给了个物理学的类比。一盒气体，你可以写出压强、温度、体积的关系式，理想气体定律，几个比特就够了。但整个系统的完整信息，是每一个分子的位置和动量，那是个天文数字。你搞不清楚的那部分，物理学家叫它熵，你感受到的它叫热。气体分子的运动很可能有极强的内部结构，只是我们的感知通道压根不处理这个尺度。

通用，是对我们能想象的一切而言，而我们能想象的东西，只是所有可能的东西里极小的一个子集。（扬·勒昆）

所以他说，干脆就叫它人工智能得了。一旦给"人工"后面加上"通用"或者"人类水平"，讨论就变得没法收场，因为没有人能定义清楚人类智能到底是什么。他的替代方案很朴素：能展示出令人叫绝的智能就行，别急着贴标签。

让他自己都意外的事：那些教科书全都说错了

Lex 问，深度学习里最让你觉得美妙或者意外的想法是什么。

LeCun 说，与其说是想法，不如说是一个经验事实：你可以搭建一个巨大的神经网络，用相对很少的数据去训练它，用随机梯度下降，然后它居然真的能跑起来。

这件事把每一本教科书都推翻了一遍。书上说参数数量不能超过样本数量，不然就过拟合。书上说非凸的目标函数没有收敛保证，要绕着走。书上说深度学习的一切都是禁区。

他讲了一个更早的类比。19 世纪末有一批人用数学证明了比空气重的飞行器不可能飞起来。可鸟就在天上飞。从经验上看，这个证明显然是错的。

他承认自己在这件事上有点"事后诸葛"：在读那些教科书之前，他就觉得大网络加梯度下降是个好主意，是后来读了书才觉得惊讶。他还补了一句真心话，他相信学习这件事，最初的一个动机是自己懒。能自动化的事情为什么不自动化？学习就是智能的自动化。

顺着这个逻辑，他对"推理"的看法也就顺理成章了。他说神经网络当然能推理，问题只在于你需要往网络里塞进多少先天的结构，人类式的推理才能从中涌现出来。而他坚持的一件事是，离散的、基于逻辑的推理模型跟梯度学习天生不兼容。

计算机科学讲究的是对细节的强迫症式关注，每个下标都必须对，你要能证明算法是正确的。机器学习是马虎的科学。（扬·勒昆）

他半开玩笑地说，这大概是深度学习一直被很多计算机科学家用怀疑的眼光看待的原因，它的数学来自控制论和电气工程，跟计算机科学不是一套东西。

推理长什么样：工作记忆加能量最小化

LeCun 承认，如果他有精确的方案，现在就在造了。但他能说清楚需要哪些零件。

第一件是工作记忆。大脑里有三种记忆：皮层状态的记忆二十秒就没了；海马体负责中期记忆，比如你今天走进这栋楼，记得电梯在哪、出口在哪，那是一张存在海马体里的地图；长期记忆存在突触里。想要一个能推理的系统，你需要一个像海马体一样的模块，能短期存下一批事实性的、片段性的信息。记忆网络、记忆机器、还有现在的 Transformer，都可以看成这个方向上的尝试。

第二件是能反复访问这个记忆、把信息取出来嚼一遍、再放回去的网络。因为推理是一连串的迭代操作，是一个循环的过程。Transformer 有注意力这个雏形，但层数固定，循环不够，所以它能装下的知识有限。光把记忆网络放大到能装下整部维基百科，是行不通的。

第三件是另一种更古典的推理形式，他叫它能量最小化。给系统一个能量函数，能量高代表情况糟，能量低代表情况好。如果你对自己身体的模型足够好，对环境的模型足够好，你就可以做规划，这在最优控制里叫模型预测控制。你在脑子里跑一遍"如果我这样动会怎样"，找出一条既少撞东西、又少费力气的动作序列。

他还提到一个他欣赏的思路。Geoff Hinton 主张了几十年的事：用向量替换符号，用连续函数替换逻辑。符号和逻辑跟学习不兼容，向量和连续函数兼容。Facebook 的同事 Léon Bottou 十年前写过一篇《从机器学习到机器推理》，核心是让学习系统能在一个内积空间里操作对象，再把结果放回同一个空间。这个工作记忆式的设计，本质上是在学一个简化版的专家系统。

至于几十年前那批专家系统和逻辑知识图谱，LeCun 的评价非常直接：太僵、太蠢。真正致命的地方在于知识获取。你要靠人去把知识编码成规则和图，这件事在工程上根本不可行。

因果性是个谜，连物理学家都不相信它

Lex 提到 Judea Pearl（朱迪亚·珀尔）的批评：现在的神经网络学不会因果关系。LeCun 说这个批评对了一半，也错了一半。如果是说经典的前馈网络，那确实，但现在已经有一批人在做因果方向的工作。

不过他真正想说的是更深一层的东西。你跟物理学家聊因果，物理学家会说他不信因果，因为基本物理定律全都是时间可逆的。因果性里那个"时间箭头"是不是真实存在，还是宏观系统里不可预测的随机性涌现出来的东西，这在物理学里本身就是个大谜题。

人类自己也不擅长判断因果。他举了一个例子，出自与 Marvin Minsky 合著《感知机》的 Seymour Papert 的研究：你问一个四五岁的小孩，风是怎么来的？很多孩子想一会儿会说，是树枝在动，树枝一动就产生了风。他们把因果关系搞反了，因为他们的物理直觉还没建立起来。

LeCun 顺着这个继续说，人类整体在因果判断上被自己骗了几千年，凡是解释不了的事情，就归因于某种神性。这是一种集体性的因果错觉。

90 年代为什么没人做神经网络了

Lex 问，为什么 90 年代大家对神经网络失去信心，十多年后才重新捡起来。

LeCun 给的原因非常工程。当年要让神经网络跑起来，本身就是件极难的事。你要用自己顺手的语言实现反向传播，而那个语言不是 Python，不是 Matlab，这些东西都还不存在。你可能得用 Fortran 或者别的什么来写。

然后你会犯一堆最基础的错误。权重初始化得乱七八糟，从教科书上读到"不能有太多参数"，于是把网络搞得特别小，训练数据也只有 MNIST 那么一个可用的数据集。结果它一半的时候能跑通，一半的时候跑不通。你就放弃了。

他说，要让这东西工作，你得知道一整套的招数和技巧，或者你得自己重新发明一遍。很多人既不知道，也没想到去发明，于是就是做不出来。

他还回忆了自己当年在贝尔实验室的经历。团队写了一个 Lisp 解释器，接上自己写的神经网络库，1991 年前后搞出了"模块化"这个思路，每个模块自己知道前向和反向传播，然后用图把它们连起来。后来为了做字符识别产品，他们甚至给这个解释器写了一个编译器，可以直接编译成 C 语言，变成一个自包含的系统。他笑着说，今天还没有哪个框架能做到这件事，不过快了。

然后是那个致命的外部因素。90 年代中期在 AT&T 工作，律师绝不可能允许你把这种东西开源放出去。代码可以跑，但不能分发。别人没法用，也就没法信。

一项专利、一个笑话和二十多年的躲猫猫

Lex 问起卷积神经网络的专利，LeCun 讲了一段很荒诞的往事。

第一个专利是早期的卷积网络版本，还没有独立的池化层。第二个是带独立池化层、用反向传播训练的卷积网络，大概是 1989、1990 年前后申请的。当年专利保护期是 17 年。

1994 年，基于这套网络的手写数字识别系统部署到了 ATM 机上。1995 年，更大规模的支票读取系统进入了后台处理。这些系统由 AT&T 的一个工程团队开发，由 NCR 商业化，而 NCR 当时是 AT&T 的子公司。

1995 到 1996 年 AT&T 分拆。律师们把专利翻了一遍，把它们分给各家子公司。因为 NCR 实际在卖用到这个技术的产品，卷积网络的专利就划给了 NCR。但 NCR 上上下下没人知道卷积网络是什么东西。

接着是 LeCun 那段最有意思的自述。1996 到 2007 年这个专利有效期内，他 2002 年左右重新开始做卷积网络，一边做一边祈祷没人会发现，结果真的没人发现。

他对软件专利本身的态度也很明确：不相信这类专利。他提到 Facebook 和 Google 的做法，申请专利图的是防御，平时大家约定俗成互不告状，除非你先告我。

他把这件事放到了更大的背景里。现在 Facebook、Google、微软真正面对的问题，跟谁比谁领先没什么关系，是大家都没有技术去做真正想做的那些东西。没有哪家公司垄断了好想法，也不需要垄断。如果一家创业公司告诉你他们掌握了通往人类水平智能和常识的秘密，别信，他们没有。

自监督学习才是他真正在意的事

讲到这儿，LeCun 亮出了他真正的立场。他认为自监督学习（self-supervised learning）是当前最重要的问题。

他特意把"自监督"和"无监督"区分开。用"无监督"这个词，外行会以为机器可以不要老师自己学，会问"那家长在哪"。而实际上，自监督用的算法和监督学习是同一套，区别只在于训练的目标是去重建输入里被遮住的那一部分，而不是预测人类标注好的标签。

给它一段视频，让它预测接下来会发生什么。给它一段文本，把 15% 的词挖掉，让它把词填回来。BERT 这类模型就是这么练出来的，它预测的是文本中间被抠掉的洞。目前自然语言处理里最成功的模型，全都是自监督的。

但这里有个关键的不对称。同样的套路在语言上很好用，到图像和视频上就卡住了。

原因是不确定性怎么表达。语言里预测被挖掉的词，可能性其实很有限，词表也就十万个词，机器吐出一个大的概率向量就行，0 到 1 之间的数字，我们很会处理。

图像不一样。你遮住一块图，让系统重建，可能的答案有一大堆，而且全都合理。视频更糟。Lex 和 LeCun 对坐的时候，LeCun 的头基本没怎么动，但他随时可能往左转或往右转。如果你用平方误差去训练，机器学出来的会是一张"所有可能未来位置的平均脸"，一张糊掉的脸，这不是好的预测。

所以问题变成：怎么让机器输出"一整套可能的答案"，而不是单个答案。LeCun 说他知道这件事必须解决，但他不认为自己已经知道解法。

主动学习没有那么神，强化学习慢得离谱

Lex 提到主动学习，让机器在不确定的地方主动向人求助。LeCun 的回答很克制。

他认为主动学习不会带来变革性的价值，只会让已经能做的事效率更高一点。他也不是说它没用，比如你有三千小时的驾驶模仿数据，大部分无聊得很，挑出最有信息量的 10%，可能效果一样。但那是一种弱化的学习，不会带来质变。

他更想强调的是深度强化学习慢得离谱。最先进的无模型强化学习，玩 Atari 游戏要达到人类 15 分钟的水平，需要训练 80 小时。AlphaStar 打一个地图、一种对手，跟自己对战，达到超人类水平，相当于练了 200 年。

把这些算法直接用到自动驾驶上会怎样？车大概要开几百万小时，撞死几千个行人，撞上几千棵树，冲下悬崖好几次，才能自己琢磨明白那是个坏主意。

他说，这不是动物和人的学习方式，中间缺了一块极其重要的东西。

那块东西就是世界模型。人学开车一般二三十个小时就够了，而且一次都没撞过。因为你已经有了一套直觉物理：你开在悬崖边，知道方向盘往右一打车就会掉下去，没什么好事。这套模型在婴儿八九个月大的时候就装好了，婴儿会把玩具往地上扔，然后盯着看，他这是在做实验，在学习重力。

这也是他过去五六年一直在推的路线：基于模型的强化学习。你要学的是世界的模型，模型的物理在哪儿都通用，从婴儿时期就一直在学。真正需要试错的部分很少，大部分知识是可迁移的。

关于自动驾驶：工程师会赢一阵，学习会赢到最后

Lex 提到 Elon Musk 相信大规模数据和深度学习能解决自动驾驶。

LeCun 说深度学习肯定是方案的一部分，但他想讲一个规律。在工程史上，一项技术通常先经历一个"手工搭建"的阶段，然后是"少量学习"的阶段，最后逐步让位于"大量学习"。字符识别、语音识别、计算机视觉、自然语言处理，全都是这么演进的，自动驾驶也会一样。

当前最接近"无人干预"的方案，是把世界约束到极小。只在凤凰城那一百来平方公里的范围跑，天气好，路宽。车上装一堆昂贵的激光雷达和传感器，消费者买不起，车队用还凑合。把其他所有能手工工程化的部分工程到极致，把整个地图先扫描下来，做成精确模型，感知系统只需要处理那些地图里没有的移动物体和施工。

这套路能跑通，但它不是终局。长期看，学习会成为整个系统的核心。

顺着这个，Lex 问他怎么看那些动不动就说自己接近人脑的方案。LeCun 重复了他一贯的态度：别信。他以前写给别人的建议是，谁跟你说他解决了通用人工智能，或者说他搞明白了大脑是怎么工作的，你就问他一个具体问题：在 MNIST 或 ImageNet 上错误率是多少。这句话现在有点过时了，因为基准换了，但背后的哲学没变：一个想法必须能被某个任务验证，哪怕那个任务是玩具级别的。

他承认玩具问题很有用。当年 FAIR 的 Weston 等人提出的 bAbI 数据集就是个玩具任务，用来测试机器的推理和工作记忆，水平是半真半假的，但很说明问题。他只是很反感有钱的投资人被"我们发现了皮层的算法，给我们五千万"这种话忽悠。

智能系统可以蠢在三个地方

LeCun 给了一个他描述智能体时常用的框架：一个自主智能体需要三样东西。

第一是世界模型，能预测"如果我在 t 时刻做某个动作，t+1 时刻会变成什么样"，而且给出的不是唯一答案，是一个带不确定性的分布。第二是目标函数，你想要优化什么，抓到这个物体、花最少力气、不要撞东西。第三个是一个能根据模型和目标，算出最佳动作序列的模块，你可以叫它策略网络。

有意思的是，他认为缺了其中任何一个都会以不同的方式变蠢。

第一种蠢是模型错了，对世界的理解不准。第二种蠢是目标函数错了，你要的不是你真正想要的，他说这种人在人类身上有个名字叫精神病态。第三种蠢是模型对、目标也对，但算不出该怎么行动。

他补了一句让全场都笑的话：有些国家的领导人，三样都是错的。

Lex 接着问他对 Sophia 那个机器人的看法。LeCun 说他本身对 Sophia 作为一个装置没意见，问题在于它被呈现成了别的东西。公众会以为 Sophia 能做的远远超出它实际能做的，而创造者在公开场合并没有如实沟通。他觉得这类炒作极其有害，看到一次他就要说一次。

然后他把话题拉回到本体（embodiment）上。他并不认为智能必须有身体，但他坚持必须有"根基"（grounding）。机器要真正理解语言，必须在现实世界里扎下根。语言不是一种高带宽的媒介，用语言描述世界，很多信息根本传不过去。

他用 Winograd 句式举例：奖杯放不进行李箱，因为它太大了；奖杯放不进行李箱，因为它太小了。第一句的"它"指奖杯，第二句的"它"指行李箱。你能分辨，靠的是你知道"大的东西放不进小的东西"这个关于几何、关于大小、关于两个物体该谁装谁的常识。这些知识不可能全靠读文本学来。

所以常识会从大量的语言交互中长出来，但也需要看视频，需要在虚拟环境里互动，也许还需要机器人在真实世界里动手。他说最后这一条不一定绝对必要，但某种根基是跑不掉的。

恐惧来自不确定性

谈话最后聊到情绪。LeCun 的模型把基底核（basal ganglia）看成计算你"满足感"的模块，另有一个模块专门预测你未来会不会满足，那是情绪的来源之一。

他给了一个很漂亮的观察：恐惧来自不确定性。你有某种模糊的感觉，觉得坏事有可能发生，那就是恐惧。而当你百分之百确定坏事情要来了，恐惧反而消失了，那时候人就不再挣扎了。

用他的框架翻译：情绪是驱动力和水位表的结果，它长在智能内部，不在智能旁边。想要有真正接近人类的智能，那就得连情绪一起设计进去。

Lex 最后问：如果造出了一个人类水平的智能体，你会问它什么问题？

LeCun 说，最先造出来的那个大概不会太聪明，可能就四岁小孩的水平。所以要问那种能暴露常识水平的问题。比如问它风是怎么来的，如果它答"树枝在动所以产生了风"，那它其实一窍不通；如果它说"这问题太蠢了"，那说明它可能真懂；然后你告诉它正确答案，它说"哦，有道理"，那才算过关。

从 HAL 9000 聊到婴儿扔玩具，这场对话里最动人的地方其实是 LeCun 反复回到的那个词：观察。婴儿在观察重力，婴儿在观察物体是否会掉落，婴儿在观察树枝和风。人工智能最缺的那块拼图，可能就藏在一个八个月大的孩子往地上扔勺子的那个动作里。

对做 AI 的人，这期访谈能拿走什么

• 如果你在做人脸、图像、语音、自动驾驶或者医疗影像，把"自监督预训练加少量标注微调"当成默认路线。真正该看的指标是达到同样准确率所需要的标注样本减少了多少倍，这才是这场方法变革的度量单位。
• 做预测类任务时，先检查你的模型是不是在输出"所有可能未来的平均"。如果图像或视频的预测结果是糊的，那不是训练不够，是损失函数在逼模型取均值。这是眼下视频自监督里最硬的技术障碍。
• 如果你手上有一份手工搭起来的系统，不要指望一步换成端到端学习。按 LeCun 的工程史规律，先约束场景、再逐步让学习接管，是更现实的路径。自动驾驶如此，很多工业系统也如此。
• 判断一个 AI 团队靠不靠谱，问他们最近在哪个公开基准上出过数。即便是玩具级别的任务，也比"我们搞懂了大脑"这类叙述可信。看到没有可验证结果的夸大宣传，公开指出来。
• 搭 Agent 类系统时，把三个模块分开设计：世界模型负责预测未来，目标函数定义你要什么，规划模块负责怎么去做。三块混在一起调，出了问题你分不清是模型错了、目标错了，还是搜索不出解。
• 如果你在做面向 C 端的产品，不要用 Sophia 那套方式营销。短期能骗到流量，长期损害整个行业的信任度，也会让真正的技术进展被公众误读。
• 如果你在研究推理，别再往符号和逻辑的方向加码。LeCun 的判断是，离散逻辑和梯度学习在数学上不相容。值得下注的方向是向量化的工作记忆，加上能让网络反复读写记忆的循环机制。