约书亚·本吉奥：深度学习

一个成年人能回忆起去年做过的某个决定，然后因为今天看到的新证据，回过头去改变当初的判断。下次再遇到类似情况，他不会犯同样的错误。当前的神经网络做不到这件事。

Yoshua Bengio 在 2018 年 10 月和 Lex Fridman 对谈时，反复回到这个问题。他把它叫做信用分配（credit assignment）的时间跨度问题。

现有的 LSTM 和各类序列模型，处理几十到几百个时间步的依赖还算称职。跨度再拉长，记忆就开始衰减，效果越来越差。人类却可以把信用分配延伸到几乎任意长的时间尺度上。

Bengio 认为这里有一个被低估的机制：遗忘。人脑会极其高效地筛选记忆，只留下真正重要的东西。什么能进入意识，什么被写进长期记忆，这个选择过程本身就涉及意识、决策和情绪，远不是简单的存储问题。

我们最近研究的一件事，是生物神经网络怎么做而我们不知道、但对人工网络极其有用的能力：在极长的时间跨度上做信用分配。（Yoshua Bengio）

这种生物做得到、人工做不到的错位，在他看来是个双向机会。人工网络里没有对应的理论，这促使我们去更好地理解大脑。反过来，大脑的不同做法可能给人工网络提供新思路。

神经网络眼中的世界，比人类浅得多

Bengio 对当前深度学习状态的判断很直接。在大规模图像或文本上训练出来的顶尖网络，确实掌握了一些关于数据集的解释，但这个理解非常基础，非常低层。它不够稳健，不够抽象，不够通用。

这个判断本身不告诉我们怎么修。但它提示了一个方向：能不能换一种训练方式，让网络把注意力放在因果解释上？现在的神经网络训练里，基本没有这一环。

另一个方向是语言和世界的联合学习。今天的研究往往把图像视频放一边，文本放另一边，各学各的。Bengio 认为应该让两边互相帮忙。要让网络真正理解一句描述现实世界的句子，它需要一个足够好的世界模型。反过来，语言输入能提供线索，告诉网络高层语义概念应该长什么样。

有证据表明，纯无监督学习得到的表征，不如监督学习得到的高层表征强大。仅仅靠标签给出的线索，就已经非常非常高层了。（Yoshua Bengio）

这个观察值得多停一会儿。很多人默认无监督学习才是通往通用智能的正路，监督学习只是权宜之计。Bengio 在这里指出的是，哪怕只有标签这种极简的监督信号，它带来的表征质量提升也已经相当可观。这个事实在讨论未来路线时不应该被忘掉。

问题既不在架构，也不在数据集

Lex 问，这到底是架构的挑战还是数据集的挑战。Bengio 的回答是：都不是。他开玩笑说自己很想就此打住，但还是解释了。

数据集和架构当然要一直折腾。但真正关键的东西在训练目标和训练框架上。

他举了几个例子。从被动观察数据，转向更主动的智能体，通过干预世界来学习因果关系。设计合适的目标函数，让最高层的解释能从学习过程中自然浮现。设计奖励探索的目标函数，而且是奖励正确类型的探索。

这些东西既不在数据集里，也不在架构里，而在怎么学、用什么目标学这个层面。

谈到儿童学习，Bengio 提到他刚和 Rebecca Saxe 聊过。大量来自婴儿研究的证据显示，婴儿会以非常定向的方式挑选自己感兴趣的东西。他们会主动把注意力集中在世界上那些最有趣、以非平凡方式令人惊讶的部分。正是这些部分促使他们更新自己对世界的理论。

继续变大变深有用，但远远不够

Bengio 对堆规模这件事的态度是：会带来显著进步，但不够。

工程团队、公司、实验室、研究生会继续调架构，探索各种小改动，让当前的最优结果再好一点点。他不觉得这条路能走到终点。真正的目标应该是让学习者深入理解它所观察和行动的环境，这需要学习方式本身发生变化。

Lex 追问的是另一个层面的问题：一旦找到通过交互学习的方法，存储这些信息需要多少参数？Bengio 承认，要构建具备普通成年人那种广泛世界知识的神经网络，现在这点算力大概率不够。好消息是硬件公司在做神经网络芯片，情况会变好。

但还有一个更尴尬的事实。哪怕是最顶尖的深度学习方法，连非常简单的环境都学不明白。比如他们搭的一些网格世界（grid world），环境简单到不能再简单。用足够多的例子硬灌，最终能学会。可人类可能只需要几十个例子，这些系统要几百万个。

我认为这给没有 Google 那种算力的学术研究者一个机会，去做真正重要、激动人心的研究，推进训练框架、学习模型、智能体学习的前沿，哪怕环境是合成的、看起来很平凡，但当前机器学习就是搞不定。（Yoshua Bengio）

常识为什么编码不进去

上世纪 80 年代，符号 AI 把知识表示、知识获取、专家系统当成核心问题来攻。后来这条路基本被搁置了。原因很简单：它不 work。

但 Bengio 强调，那些目标本身依然重要。他相信经典专家系统失败的一个原因是，人类拥有的很多知识根本不在意识层面。我们做的很多决定没法解释，有时候还会事后编个故事出来。而这类知识恰恰是机器做决策时也需要的。它很难被写成规则，很难塞进专家系统和经典 AI 的形式化框架里。

老 AI 还有其他问题，比如处理不确定性的手段不够好。不过 Bengio 认为更深层的问题在于分布式表征（distributed representations）。

神经网络的威力来自一大团参数紧密协作，共同表示网络知道的所有东西。这种表示方式在符号世界里很难复现。专家系统里的知识被整齐地拆成一堆规则，每条规则各管一摊。神经网络是反过来的。

问题就在这里：它不够因子化（factorized）。Bengio 认为这是当前神经网络的一大弱点。我们需要从经典 AI 那里取经，把语言和规则里那种组合性（compositionality）引进来，而组合性在神经网络里并不天然存在。

变量要解耦，规则也要解耦

顺着这个思路，就绕不开解耦表征（disentangled representations）。

Bengio 很多年前就在想这件事，至今仍然相信它重要：设计一种学习算法，不管无监督、监督还是强化学习，让表征里的重要因素，最好是因果因素，被清晰地分开，容易从表征里提取出来。用一句话概括，就是把数据变换到一个空间，让一切变得简单，简单到用线性模型就能学会我们关心的东西。

但他现在觉得，这个想法漏掉了一个关键成分。而这个成分，经典 AI 系统可以提醒我们。

假设我们有了解耦表征。变量之间还是需要学习它们的关系。这些高层语义变量不会彼此独立，它们之间有有意思的关联，能用来预测未来、解释过去。

在经典 AI 里，这种关于变量关系的知识编码在规则里。一条规则就是一小块知识，说的是这几个变量以某种方式关联，知道其中几个就能推断另外几个。

所以，除了把表征里的元素解耦（相当于规则系统里的变量），还需要把连接这些变量的机制解耦，也就是规则本身。

规则是各自独立的。我因为学习而改动一条规则，不需要破坏其他规则。而当前的神经网络对灾难性遗忘非常敏感，学了新东西之后，旧东西可能被毁掉。如果知识被更好地因子化、分离、解耦，很多这类问题就能避免。（Yoshua Bengio）

Bengio 承认，在感官层面做不到这件事。像素空间里，信息以极其复杂的方式纠缠在一起，变量之间完全相互依赖，计算也交织在一起。但他假设，在合适的高层表征空间里，变量和变量之间的关系都可以被解耦。这会带来巨大的泛化能力。

人类怎么读懂一本科幻小说

泛化能力，指向的是当前机器学习一个根本弱点：它默认测试集分布和训练集分布相同。

它没法告诉我们，一个神经网络面对新分布时会表现如何。有人会说，不知道新分布长什么样，当然没法预测。但人类就是能泛化到新分布。凭什么？

Bengio 给了一个很具体的例子。你读一本科幻小说，小说把你带到某个外星球，表面上一切都很不一样。但物理定律还是那套。你能读懂这本书，理解发生了什么。因为你可以把在地球上学到的关于底层因果关系、物理机制甚至社会互动的知识迁移过去，于是这个视觉上完全陌生的星球变得可以理解。

这些新分布虽然看起来可能和训练分布非常不同，但它们有共同的东西。（Yoshua Bengio）

这段话背后的意思值得琢磨。当前机器学习缺少的，正是一种能够捕捉底层因果机制、从而迁移到新分布的模型。训练分布和测试分布共享的那些东西，就是人类泛化能力的来源。

短期的风险，比天网更值得担心

Lex 把话题转向 AI 安全。他提到，在 AI 圈子之外，有相当大一群人担心人工智能的存在性威胁。

Bengio 先做了一个区分：AI 圈子内部该有的讨论，和真正对公众重要的讨论，是两回事。

终结者式的画面，AI 失控杀人，超级智能不惜一切代价毁灭人类，这些对公众讨论帮助不大。他认为真正重要的是短期和中期那些大概率会发生的负面影响。安全层面的老大哥场景，人脸识别，致命性自主武器。就业市场受到的冲击。权力集中和歧视。这些社会问题里，有些真的可能威胁民主。

他特别澄清了一句，说的 killer robots 指的是自主武器系统。

至于存在性风险，Bengio 的措辞很谨慎。对他个人而言，这类风险极不可能发生，但仍然值得学术界研究，就像研究陨石撞击地球的可能性一样。AI 失控这类场景，和他所理解的当前机器学习、当前神经网络是对不上的，他觉得不成立。但他也承认自己没有水晶球，谁知道 50 年后的 AI 是什么样。

科学家应该研究这些问题。只是对我来说，它不是紧迫问题。（Yoshua Bengio）

科学不是一个人在黑屋子里搞出来的

谈到《机械姬》（Ex Machina），Bengio 说自己有喜欢的地方也有讨厌的地方。讨厌的是，这部电影对科学的描绘完全错了。

科学不是在某个隐秘的地方、由某个绝顶聪明的人独自完成的。这完全不现实。就算是一群人在一个与世隔绝的地方，也做不成。科学靠的是大量研究者组成的社区互相协作，一小步一小步往前走。所有领域内的专家，包括工业实验室里的，大致都知道正在发生什么，信息会流动，会泄露。电影里科学的那种气质和真实情况差得很远。

Lex 追问：到目前为止，即使研究发生在 Google 或 Facebook 内部，想法最终还是会流出来。AI 会一直这样吗？有没有可能把想法捂得严严实实，某些突破完全不为外界所知？

Bengio 的回答是：有可能，但不太可能。现在不是这么运作的，在可预见的未来他也看不到这种可能。但他再次强调，他没有水晶球。

他借这个话题讲了一个更重要的原则：研究需要多样性。

研究是在想法空间里的探索。不同的人关注不同方向。这不只是好事，是必需的。他对别人探索和他相反或正交的方向完全接受，甚至觉得这很重要。他和他的朋友们不声称自己掌握了关于未来的普遍真理。

我们有我们的直觉，然后据此行动，选择我们认为最能发挥作用、社会收益最大或损失最小的地方。我们应该有这些争论，而不是最终走到一个只有一种声音、一种思维方式的社会，研究经费也被集中分配。（Yoshua Bengio）

分歧是好的研究、好的科学的标志。Lex 提到，讨论到一半灯灭了，他觉得这有点不祥。这个插曲和 Bengio 讲的科学观放在一起，倒有点意思。

偏见能修，但需要强制

关于机器学习中的偏见（bias），Bengio 分短期和长期来看。

短期，已经有技术被提出来，而且会继续改进。对于那些已知存在偏见的数据集，偏见是可以被测量的。任何记录了人类决策的数据集，几乎都带有某种偏见，对特定群体的歧视等等。可以用机器学习技术构建偏见更小的预测器、分类器。比如用对抗方法，让系统对那些它本不该敏感的变量变得不敏感。

这些方法有明确的定义，也有弱点，还需要更多研究。但 Bengio 认为它们已经足够成熟，政府应该开始监管那些偏见真正要紧的公司，比如保险公司，强制它们使用这些技术。

这些技术很可能会减少偏见，但有代价。比如预测可能变得不那么准，公司不会主动去做，除非你强制它们。（Yoshua Bengio）

长期，他感兴趣的是怎么把道德价值观灌输进计算机。这显然不是未来五到十年能实现的。目前已经有工作在做图像、声音、文本中的情绪检测，也在研究不同智能体以不同方式互动时，怎样对应到不公正的模式，进而触发愤怒。

Bengio 说，最简单的情形就是不公正的场景触发愤怒，这是人类和其他动物共有的最基本的情绪之一。他判断，未来几年内构建能检测这类情况的系统是可行的，前提是系统对周围世界有足够的理解，而这本身还很遥远。可以先在虚拟环境里做。设想一个电子游戏，智能体们以某种方式互动，某些情境触发情绪，训练机器去检测这些情境，并预测如果玩家操控其中一个角色，大概率会感受到哪种情绪。

从标注到机器教学

Bengio 对无监督学习投入很多，但他也承认监督学习这条线取得了大量成果。他真正在意的一个方向是人类和机器人如何协作，放在监督学习的语境里，就是标注（annotation）过程。

Lex 把这个问题换了个说法：人类教机器。Bengio 觉得这个说法很好。把问题简化成标注，对明天就要搭系统的人有用。但更长远看，教学这个过程本身值得机器学习社区投入多得多的注意力。

已经有人提出了机器教学（machine teaching）这个词。好的教学策略是什么？能不能设计并训练一个系统，让它成为好老师？

Bengio 的组里有一个叫 BBI 的项目，一个游戏或场景，里面有一个学习智能体和一个教学智能体。教学智能体最终应该由人类来扮演，但现在还没到那一步。老师的职责，是利用它对环境的了解（可以通过任何粗暴的方式获得），帮学习者尽快学会。学习者自己尝试，可能会探索。老师可以影响和学习者的互动，引导学习者，比如教它最吃力的部分，或者找到它已知和未知之间的边界。

未来会有越来越多人在环路中的人机互动。理解怎么让这件事运作得更好，围绕它的所有问题都很有意思，而且没有得到足够的关注。（Yoshua Bengio）

对话里最难的是语言之外的东西

Lex 问 Bengio，传统图灵测试里，对话的哪个部分在他看来最难解决。

Bengio 的答案是：一切和语言之外的知识相关的东西。这些知识是你理解句子时隐式需要的。他举了 Winograd schema 的例子，这类句子语义上有歧义，必须对世界有足够的了解才能真正正确解读。

这类挑战有意思的地方在于，它指向的是同时理解世界如何运作、理解世界中的因果关系，并且把这种知识和语言表达方式关联起来的系统，无论阅读还是写作。

Bengio 的母语是法语。Lex 问，通过图灵测试以及背后那些挑战，会不会依赖于具体语言，法语会不会比英语容易？Bengio 认为和语言无关。他希望构建的系统能用同样的原则、同样的学习机制从人类智能体那里学习，不管对方用什么语言。

他承认语言之间有差异，也许某些语言在某类表达上稍微强一点。但在理解大脑如何工作、理解语言这件事的大框架下，这些差异很细微。

AI 寒冬里靠什么撑过来

Bengio 经历过 AI 寒冬。Lex 问他怎么保持热度、继续研究。他的回答很简洁：和朋友一起取暖。

他从这段经历里学到的，是听从内心的声音。不要只想着取悦人群和时尚。如果你对某件事有强烈的直觉，而且它没有被实际证据推翻，就去做。它可能被别人否定，但不该被自己的直觉否定，前提是直觉建立在学到的一切之上。

当然，当实验和信念冲突时，必须调整信念。但该坚持的时候要坚持。正是这一点让他走过那些年，让他在那些需要时间成熟、需要时间结果的方向上坚持下来，不管别人怎么想。

听从你内心的声音。不要只想着取悦人群和时尚。如果你对某件事有强烈的直觉，而且它没有被实际证据推翻，就去做。（Yoshua Bengio）

AlphaGo 时刻被高估了

AI 的历史上有技术突破，也有那些抓住整个社区想象力的标志性事件。最近的例子是 AlphaGo 击败人类围棋世界冠军。

Bengio 觉得这类所谓标志性事件被高估了。科学真正靠的是一小步一小步走。你多走了一小步，正好是装满水桶的那一滴，然后产生剧烈后果，因为你突然能做到之前做不到的事，或者某个设备、某个问题的成本降到比现有方案更低，新市场打开了。在商业和应用世界里，一点科学进步的影响可能巨大。但在科学本身里，它是非常非常渐进的。

那么现在这些小步发生在哪里？Bengio 点了两个最难的方向：生成对抗网络（GANs）和强化学习。

蒙特利尔尤其如此，两三年前强化学习在这里几乎缺席，现在学生兴趣很大，像他这样的人兴趣也很大。这个方向会看到更多进展，尽管它还没有带来多少实际的工业产出。就算有 AlphaGo，Google 现在也没靠它赚钱。但长期看，它非常重要。

他更愿意把强化学习理解为更一般的智能体学习，因为不一定非要有奖励，智能体可以通过各种方式了解环境。

至于 GANs，或者更广的生成模型，Bengio 相信它们会是构建能理解世界的智能体的关键成分。过去强化学习的很多成功用的是策略梯度（policy gradient），直接学一个策略，不学世界模型。但这种方法问题很多。基于模型的强化学习（model based RL）现在还不知道怎么做，但这是必须走的方向，为了构建能更快更好地泛化、至少能部分捕捉世界底层因果机制的模型。

科幻小说领进门

最后一个问题。是什么让 Bengio 爱上人工智能？回头看，生命里第一个让他着迷的瞬间是什么？

他十几岁的时候读了很多书，后来开始读科幻小说。就是那里，他被钩住了。再后来，他有了最早的几台个人电脑，又迷上了编程。从科幻开始，然后把它变成现实。

给读者的行动建议

• 如果你想进入 AI 研究但算力有限，别只盯着大模型。Bengio 明确说，简单的网格世界、合成环境里，当前机器学习都搞不定，这里面有大量重要问题等着被解决，对学术研究者是机会。
• 关注训练目标和训练框架，不要只在架构和数据上做文章。主动智能体、干预世界学习因果、奖励正确类型的探索，这些方向比继续加深网络更可能带来质变。
• 读一读经典 AI 关于知识表示和规则系统的工作。Bengio 认为神经网络的弱点是不够因子化，组合性要从经典 AI 那里借。变量要解耦，连接变量的机制也要解耦。
• 做研究时保留多样性，接受和自己方向相反或正交的探索。分歧是好的科学的标志。
• 如果你想做 AI 伦理或安全，把重心放在短期和中期影响上：人脸识别、自主武器、就业冲击、权力集中、歧视。这些比存在性风险紧迫得多。
• 在偏见问题上，短期可以推动企业采用对抗方法等技术，并呼吁政府在保险等关键领域强制监管。代价是预测精度可能下降，所以需要外力推动。
• 留意机器教学这个方向。未来会有越来越多人在环路中的人机互动，怎么教一个学习智能体，是一个被低估的问题。
• 如果你在 AI 寒冬或低谷期，Bengio 的建议是：听从内心声音，坚持有证据支持的强直觉，别只想着取悦潮流。