# 迪利普·乔治：受大脑启发的人工智能 > 从大脑皮层结构出发探讨机器学习，谈当前深度学习的不足与更接近人脑的智能架构。 - 原标题：#115 – Dileep George: Brain-Inspired AI - 期数：第 115 期 - 发布日期：2020-08-14 - 嘉宾 / 主题：迪利普·乔治：类脑人工智能 - 网页版：https://lexfridman-cn.pages.dev/ep/dileep-george/ - 官方页面：https://lexfridman.com/dileep-george/ - 精读字数：约 7923 字（阅读约 18 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 Dileep George 说，他可以让一个刚学会认字母的五岁小孩去看任何一个网站新生成的验证码。小孩能读出来。没见过那个网站的样本，没见过那种字体，没做过任何训练。 而今天最好的深度学习系统做不到这件事。 这就是他在采访里反复绕回来的那个点：人类感知的能力，和我们现在造出来的东西，差距不在参数量上，在结构上。他是 Vicarious 的联合创始人，之前和 Jeff Hawkins 一起创办了 Numenta，一路从层级时间记忆（HTM）走到递归皮层网络（RCN），再到皮层微回路。这条线二十年来只做一件事：把神经科学的发现翻译成能跑的计算模型。 ## 用晶体管造不出微处理器 访谈一开场，Lex 问了个直白的问题：要造大脑，是不是得先理解大脑？ George 的回答是肯定的，然后他拿 Blue Brain 项目开刀。Henry Markram 那个项目的思路是，把神经科学实验里拿到的细节，越来越多的神经元、越来越细的生物物理参数，全部灌进一个巨大的仿真里，然后打开开关看会发生什么。 George 说这行不通。理由很朴素：当仿真结果和你预期的不一样时，你怎么办？你只能继续加细节。你怎么 debug 一个你根本不知道设计意图的系统？ > 除非你对这个系统该怎么工作、各个部件该怎么配合、各自贡献什么，有一个理论，否则你在功能层面上根本造不出它。（Dileep George） 他给了一个类比，这个类比的分量超出它听起来的样子。 今天单个神经元的模型已经相当精密了。Hodgkin-Huxley 模型描述信号在树突上怎么传播，钙通道、各种受体打开关闭对 spike 输出的影响，这些都有成熟的电学建模。你可以说，单个神经元的建模已经做到了 99% 的准确度。 但这相当于什么？相当于你有了一个非常精确的晶体管模型。 然后你说，好，我按实验观测到的统计规律把这些晶体管连起来，跑仿真，看能不能得到一个微处理器。 不可能。要造微处理器，你得先懂布尔逻辑，懂门电路怎么组合出加法器、寄存器、控制单元，然后才谈得上用晶体管去实现这些门。跳过这一层，你有再精确的晶体管模型也没用。 访谈里提到一篇论文，专门验证这个直觉。一群研究者用神经科学全套方法论去研究一个已知的微处理器，看能不能反推出它的工作原理。结论是：按那套方法，连布尔逻辑都推不出来。George 补充说，其实按那套方法，连电气工程师都理解不了微处理器。这跟贬低神经科学无关，实验神经科学确实发现了大量有价值的东西，问题在于这些发现必须被放进一个计算框架里才能拼起来。 ## 皮层里，往回走的线比往前走的线多 那大脑里什么是真正值得抄的？ George 从视觉皮层讲起。视觉占据了大脑皮层非常大的一块，而这块皮层不是一条前馈的流水线。反馈连接的数量远超前馈连接。这一点对熟悉深度学习的人是个冲击，因为卷积网络给人的直觉是，感知就是一层层往上抽特征。 真实的大脑在做一件完全不同的事：它在构建世界的模型，然后不停地把这个模型投射回世界。你看到的东西，是投射出去的预期和实际进来的感觉输入合成的结果。George 不太喜欢"计算差值"这个说法，他更愿意说：**在已有世界模型的基础上，为当前输入找到最好的解释。** 所有视错觉都从这里来。他举了 Kanizsa 三角，三个缺角的圆盘摆在那，你的视觉系统会自动补出三角形的边。神经元真的在放电表示那条边存在，尽管输入里那块像素是黑的，没有任何信息。而且这些神经元放电的时间比真实边刺激时更晚，追溯回去，是反馈连接把它们点着的。更细的实验还能定位：哪一层编码边，哪一层编码表面，前馈和反馈在什么时刻合成最终知觉。 还有个实验他印象很深。给被试看一个纹理背景上的纹理三角形，问：知觉形成的过程中，是先确定轮廓，还是先确定内部表面？答案是先轮廓，再往里填充。这个过程的时间动态、涉及的皮层层次，都能测出来。 这些实验指向同一件事：大脑在做贝叶斯式的推理。它先给出假设，再用输入去修正假设，修正的结果又会改变下一次看到的东西。 ## 解释掉：一场关于地震和防盗警报的推理 George 用了 Judea Pearl 那个经典例子来讲什么叫"解释掉"（explaining away）。 你家装了防盗警报，它可能因为有人闯入而响，也可能因为地震而响。你在办公室收到警报响了，第一反应是有人闯进去了，开车往家赶。路上听广播说附近刚发生了地震。这时候你对"有人闯入"的信念会大幅下降，因为警报这个证据已经被地震解释掉了。 同一份证据，随着其他原因的证据增加，会从支持一个假设转向支持另一个假设。这就是两个竞争性的原因在争夺同一份证据的解释权。 George 认为大脑干的正是这件事。而且这能落到解剖结构上，可以指着某条回路说，这里是竞争发生的地方。 ## 一个皮层柱，一个二元变量 他最近那篇论文提出了一个假说：**一个皮层柱可以看作编码一个概念，具体说是一个二元随机变量。**这里有没有一条边，这里有没有一个物体。 皮层柱之间的连接，编码的是这些随机变量之间的关系。皮层柱内部由多层神经元构成，结构极其复杂，一个柱里有几千个神经元，但不同皮层柱的内部结构高度一致。所有皮层柱还都和一个叫丘脑（thalamus）的结构相连。他的假说是：柱间的连接存储知识，柱内神经元和丘脑配合执行计算，而这个计算就是推理，包括解释掉，包括多个假设之间的竞争。 有意思的是，实验神经科学家其实已经做到了这一步。他们能证明某个高层神经元会通过丘脑的复杂回路去抑制另一个柱。只是他们没有把这些结果放进一个统一的推理框架里讲。 Lex 追问：这个概念需要是人能理解的吗？ George 说不需要。你总能找到某种解释，因为它和别的东西连着，但人是否可读不构成它的核心属性。它的核心属性是：作为一个实体，它在图模型里有用。 ## 递归皮层网络：不可微，但会推理 RCN 是这个思路的工程实现，最初用来破验证码。 先说架构上和卷积网络的区别。前馈那部分看起来相似，都是特征检测加池化，多层堆叠。但它额外有两样东西： 一是生成能力。网络可以往回跑，把前馈和反馈合起来，这对应大脑里的反馈连接。 二是侧向连接。相邻位置的边缘节点之间有约束，保证变换是协调的。如果只有特征检测加池化，视野不同部分的变换互不知情，生成出来就是歪七扭八的锯齿状的边。 关键的一点：**这个网络不可微，不能反向传播训练。** 那它怎么做推理？George 举了验证码的例子。验证码故意把字符挤在一起，一个 R 挨着一个 N，局部看非常像一个 M。局部证据强烈指向错误答案。但全局唯一的自洽解释不是 M。系统做的事情是，把局部证据放进全局语境，得出一个和局部信息冲突的结论。 这件事卷积网络也能做，但做法不同。它在训练时见过成千上万个这种组合，学会了摊销推理（amortized inference），看起来像在实时推理，其实是在查表。RCN 想做的是动态推理：没见过的组合，靠模型内部的约束求解出来。 这也是它能小样本的原因。他提到在 ImageNet 变体上的实验，几十到几百个样本就能到 95% 的准确率，当时是超过其他系统的。传统基准里训练集往往比测试集大十万倍，他有意把这个问题反过来问。 ## 霍夫施塔特的字母 A 访谈里 George 引了侯世达一句话，这句话把整个问题浓缩了。 侯世达说，AI 的核心问题就是字母 A。如果你能造出一个系统，可靠地识别出 A 的所有变体，你都不需要走到 B 和 C 了。 A 可以是两个人倾斜着靠在一起举着手，可以是树叶拼的，可以是任何东西。**要真正理解字母 A，你大概得理解这个世界的一切。** 这就是为什么验证码是个好问题。五岁小孩看任何新验证码都能读，说明人类视觉系统掌握的是一套关于世界结构的先验，跟字体样式无关。George 说现在的系统破解验证码的方式，和人类完全两回事，人类那种泛化能力至今没有系统做到。 ## 和 Jeff Hawkins 的分歧：不要把学习算法锁死 Lex 问了个不太好问的问题。类脑这条线经常被批评为营销大于实质，大话多，性能证据少。 George 的回应分两层。第一层，那篇论文发在 Science 上，他对自己贡献的那些想法有很高信心：反馈连接的重要性、递归推理、侧向连接、把识别和分割联合起来解、与高层认知和自上而下注意力的兼容性。这些东西会留下来。 第二层，他讲了个挺讽刺的故事。论文被接收后交给 Science 的新闻部门写通稿，他们写的是："一个新的深度学习模型破解了验证码。"而论文摘要里明确说的是，现有深度学习需要大量训练数据、不利用这些神经科学洞察，我们提出的是一个图模型，做推理，深度神经网络不是我们走的那条路。宣传机器自动把它翻译回了当下最热的那个词。 他承认科学界的怀疑是必要的，但很多时候那不是怀疑，是潮流效应（bandwagon effect）。 至于他和 Jeff Hawkins 的分歧，落在了一个具体的地方：学习算法要多严格地受生物可解释性约束。 十年前在 Numenta 时，George 不愿意把自己限制在当时已知的生物机制里。理由是，我们每年都在发现新的生物物理机制、新的离子通道，把学习算法绑死在今天的生物知识上，是危险的赌注。 但他对推理和识别那一侧的态度完全不同。那一侧他愿意接受很强的约束，因为实验好做。给个刺激，看多少毫秒后反应，能追溯到哪一层，这些都能测。学习那一侧没法做这种实验，你就不知道你的约束是对的还是过早的。 这个区分很值得记：**哪一部分该严格抄大脑，取决于哪一部分能被实验验证。** ## 和乔姆斯基的分歧：语言是模拟的控制层 他后来那篇 Science Robotics 论文做的是另一件事。给机器人看一张初始状态图和一张终止状态图，让它推断中间发生了什么。比如把厨房台面上所有红杯子拿到这里。没有语言，只有图像。 这叫言语前的概念理解。George 强调，从纯文本里能学到的只是关联，比如牛大概率在草地上。这算不上概念。概念是对真实世界发生的事的抽象，它能被你在脑子里模拟，也能连回真实世界。 所以他的立场是：**视觉和运动系统里学到的概念，是任何真正语言理解的前提条件。**他明确说自己完全不同意乔姆斯基的普遍语法路线。 他举了个例子来说明这个前提有多硬。有人说"莎莉把钉子钉在天花板上"，然后问：那颗钉子是中段水平还是垂直的？你会答垂直。你怎么答出来的？你在脑子里把那个场景模拟了一遍。这个知识不在语言系统里，它在视觉和运动系统里，五岁前就积累完了，语言只是调用它的接口。 ## 为什么 GPT-3 走不到终点 Lex 顺势把话题引到 GPT-3。他扮演了一下反方：如果强迫一个系统去压缩海量文本，会不会倒逼它构造出很像概念、很像世界模型的东西？ George 说不会，因为信息不在那里。 > 除非有人以极其荒诞的详尽程度把世界上一切怎么运作都写下来，比如往前走比往后走容易，出门要开门，医生穿内衣。这些要么被人写下来了，要么程序从别的文本里发现它对压缩有用。但信息本身不在文本里。（Dileep George） 他提了香农那本经典著作里的例子。香农用二阶马尔可夫模型生成英文，出来的东西看着挺像那么回事。这算不算有世界模型？算，在那个层级上算。Transformer 当然比二阶马尔可夫复杂得多，它有世界模型，有有趣的属性，有用。 但把规模继续放大，不会通向自然语言理解。Transformer 本质还是前馈架构，做不了因果推理、反事实推理、干预，也就是在世界里采取行动。这些需要另一类模型。 他开了个玩笑：这个模型读完了量子力学和相对论的全部文献，然后你让它去做填空题。 Lex 在这里做了一次自我修正，说自己是在扮演魔鬼代言人。他提出，也许智能的核心比我们想的笨得多。我们用人话描述的这些概念、层级、世界模型，可能只是我们想让它像人，而真正起作用的机制非常朴素。 George 承认这一点的可能性。他自己也觉得，神经网络居然能工作这件事本身就很令人意外，非线性空间里居然能找到一个还说得过去的局部极小值。AlphaZero 的自我对弈也是，强化学习居然真的有效。 但他仍然认为方向是清楚的：需要更多结构，需要世界模型，需要支持动态推理。这是从生物和演化史里读出来的。 ## 两种记忆，海马体只是索引 话题转到记忆。George 说这里有一件事非常清楚：必须有至少两种记忆。 一种是统计模式，世界反复出现的规律，可以压缩，可以泛化。另一种是一次性事件，某年某月某日发生的、永远不会再发生的事，必须原样存下来。 问题是这两者怎么连起来。他的假说是，情景记忆存的是一串指针，海马体保存的是时间上的序列，指向皮层里的那些统计模型。当你遇到一个新情境，皮层在做推理，海马体同时被激活，给出"这我以前见过"的感觉。然后海马体可以驱动皮层重建那段经历，把当时的场景在脑子里放一遍。这个重放又会反过来影响你现在看到的东西。 所以方向是双向的：皮层到海马体是索引，海马体到皮层是重建。 ## Neuralink：让大脑去适应机器 Lex 问他怎么看脑机接口。George 说这个领域他一开始就有兴趣，当年在斯坦福，正是一场脑机接口的讲座把他引到了大脑这个问题上。 他看好中间的里程碑：用脑信号控制外部义肢，让四肢瘫痪的人恢复部分行动能力，给大脑写入信号。这些都有巨大应用价值，也有公司在做，包括外科手术植入的路线。 真正难的落在安全上，带宽反倒其次。就算你神奇地解决了把上百万电极安全植入大脑的问题，你仍然不知道大脑会怎么反应。神经可塑性很强，大脑会重构自己。 他的想法是把方向倒过来：**接上一块没人用的皮层，让大脑自己学会用它。**如果从出生就接上，大脑会把那块区域训练成一个高带宽通道。外部的机器则设计成可适应的，就像我们设计鼠标和键盘去适配人一样。两个系统互相适配，主要方向是大脑在适配机器。 他还提了一个警告：这类连接可能带来的幻觉会非常强烈。把大脑直接接到 Twitter 的信息流上，那种体验的强度不难估。 ## Vicarious 这个名字：代入他人 公司名 Vicarious 的意思是"代受的、设身处地的"。George 解释了这个名字的由来，也是他理解意识的起点。 第一层，你和一个世界交互，学到很多东西，此后你可以在脑子里跑这些过程，不必真的动手。这是 vicarious 的原意：在想象中经历。 第二层，你有一套建模世界的装置，这套装置也能用来建模另一个人，把别人的想法跑一遍，等于穿上别人的鞋走路。 第三层，也是最关键的：**同一套建模装置，可以转向自己。**当它开始建模自己的建模过程时，自我意识就出现了。George 认为意识是这么来的。 Lex 追问那个"难问题"：自指是一回事，感受质是另一回事。当这个模型"感觉像什么"，当你不只是知道自己是个实体，而是作为那个实体有主观体验。 George 顺着往下推了一步：一旦有了这个，就有了可受苦的存在者，道德考量随之而来。 ## 为什么他不担心 AI 杀人 Lex 提到死亡。有限性、终点，对人类来说似乎是深层的驱动力。 George 说，这确实是人类认知的一部分，但对人造系统没有必然性，因为人造系统可以复制。人类的困境在于，你没法克隆自己，你脑子里的情景记忆不会跟着复制过去。 Lex 反过来问：所有已知的智能存在都是有死线的，这会不会是智能的本质属性？ George 给出了那个让人印象深刻的推论：正因如此，他不太担心 AI 产生"消灭人类"的动机。 > 为什么要那么做呢？谋杀看起来工作量很大，直接不做就行了。（Dileep George） 这个回答听起来像玩笑，它其实是从一个严肃前提推出来的：人类的攻击性和紧迫感，很大程度来自有限性带来的焦虑。一个可以复制、没有内在死线的系统，不会有这种驱动。 ## 莱特兄弟的笔记本：飞机不扇翅膀，但这是观察鸟得来的 他推荐了三本书。Judea Pearl 的《Probabilistic Reasoning in Intelligent Systems》，技术很深，但 Pearl 会在各处夹带哲学观察，把概率图模型和大脑怎么思考、注意力、资源联系起来。第二本是侯世达和 Daniel Dennett 编的《The Mind's Eye》。第三本不属于技术书，是讲莱特兄弟的《Bishop's Boys》。 莱特兄弟那本引出了整场访谈最好的一个类比。 人们常说，我们造飞机没学鸟，飞机不扇翅膀。George 说，讽刺的地方在于，"飞行不需要扇翅膀"这个洞察，恰恰是莱特兄弟观察鸟得来的。他们的笔记本里详细记录了秃鹫怎么在热气流上滑翔。他们从观察中得出的结论是：扇动不是关键，推进不是核心问题，**要解决的是控制**，控制解决了，推进自然会有办法。 这就是他理解类脑 AI 的方式。这套方法的核心在于从大脑里读出哪些是本质的、哪些可以被工程手段绕过，照抄细节从来不是目的。卷积不是大脑的操作，大脑没有平移不变性，中央凹的权重和 periphery 完全不同，卷积是共享参数带来的效率技巧，将来机器人有了会动的头和眼睛，这个技巧就会过时。 但"该抄什么"这个判断本身，只能靠真的理解大脑才能做出。 ## 给想入行的年轻人 Lex 问他给学生的建议。George 先说了句所有建议都要打折听，然后给出一个很实用的分流。 如果你的目标是理解大脑，而且是为了造出智能系统，那走实验神经科学可能不是最优路径。更适合的是计算机科学、电子工程、机器学习。神经科学的知识要学，但可以自学。 如果你的动机是被大脑本身的神秘吸引，想亲手发现点什么，那就去做实验。 他提到十年前 Redwood Neuroscience Institute 的一次座谈，问一群研究者：想理解大脑，本科该读什么？多数人的答案是电子工程。理由是你会学电路、学怎么用电路实现功能、学微处理器、学信息论、学信号处理、学连续数学。这些是理解大脑的好底子。代价是，你更可能被迫用 MATLAB。 他还说了一句在今天的语境下格外重要的话：所有人都该学编程。理由跟当不当程序员无关。它把数据放到你手边，让你能组织它、在里面找东西、在需要的时候基于它造系统。 ## 最后那个问题：意义 Lex 最后问他生命的意义。 George 说，意义是开放的，你往里塞什么就是什么。 但紧接着他给了自己版本的答案。我们谈的一切，感知系统、世界模型、推理，说到底是在理解这个世界运转的机制。**理解了这台机器，剩下的你想干什么都行。**剩下的部分，无论是什么，都只是文化上流行什么而已。 这个回答和他整场访谈的立场是一致的。他做的事，归根到底是搞清楚智能这台机器怎么运转，让 AI 更像人这件事不在他的目标函数里。至于这台机器被用来干什么，那是另一个问题。 - **想判断一个 AI 系统的能力边界，看它能不能处理训练分布外的新样本。**验证码是个低成本试金石：找一个五岁小孩能读、但你手上的模型没见过的验证码风格，如果模型崩了，说明它学到的是样式，跟结构无关。 - **读神经科学论文时，把"发现了什么现象"和"这个现象在计算上意味着什么"分开记。**前者是原料，后者才能进模型。George 的做法是先把实验发现翻译成计算假设，再建模型，再用模型反推新的实验。 - **评估一个类脑或认知架构的说法时，问一句：这个地方可验证吗？**推理和感知侧可以做刺激、反应、时间、层次的实验，学习侧做不了。所以前者该严格受生物约束，后者不该。把这两侧混为一谈的论证通常站不住。 - **别急着把可微性当成硬性要求。**RCN 不可微，不能反向传播，靠约束求解做动态推理。如果你的问题核心是局部证据和全局解释打架，那摊销推理（训练里见过所有组合）和动态推理（现场求解）是两条完全不同的路，后者可能更值得试。 - **想做类脑 AI，本科优先考虑电子工程或计算机，神经科学自学。**要的是电路、信息论、信号处理这套底子，加上动手写代码的能力。反过来，如果动机是发现大脑的新现象，那就去做实验神经科学，别在工程系里憋着。 - **遇到"某模型读完了人类所有文本所以应该懂了"这类论证，问一句：这个信息在文本里存在吗？**往前走比往后走容易、出门要开门这类常识，如果不被写下来，压缩再多文本也推不出来。它来自和物理世界的交互。