# 杰伊·麦克莱兰：神经网络与认知的涌现 > 认知神经科学先驱讲述联结主义神经网络的兴衰，讨论分布式表征如何解释人类认知的形成。 - 原标题：#222 – Jay McClelland: Neural Networks and the Emergence of Cognition - 期数：第 222 期 - 发布日期：2021-09-20 - 嘉宾 / 主题：杰伊·麦克莱兰：认知涌现 - 网页版：https://lexfridman-cn.pages.dev/ep/jay-mcclelland/ - 官方页面：https://lexfridman.com/jay-mcclelland/ - 精读字数：约 14913 字（阅读约 33 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 1990年代末，加州一家认知障碍护理机构。Jay McClelland 带 David Rumelhart 出门吃饭。路上 Rumelhart 说不清餐厅在哪，只是指着前方说，这儿拐。到了餐厅，他一个菜名都说不出来，却能用手指准确戳到菜单上自己想要的那道菜。 Rumelhart 患的是语义痴呆。这个病名几乎就是他和 McClelland 一起建立的那套理论的注脚：概念在大脑里没有独立的存储位置，它是一组神经元上的分布式激活模式。模式退化时，最细微的区分最先消失，剩下的只有最熟悉、最高频的那部分。 于是他开始把所有中等体型的四足动物叫狗，大的叫马，小的叫猫。 在加州大学圣迭戈分校（UCSD）和斯坦福，Rumelhart 是那个最专注、最目标导向、最好胜、愿意为一道难题啃上好几年的人。McClelland 说，这个人一点点消失了。消失的方式，恰好把他们共同提出的理论演示了一遍。 > 我认为他做不到。从外面看，这正是这场悲剧最深的地方。（Jay McClelland） 在神经网络的历史上，Rumelhart 和 Geoffrey Hinton 合著了反向传播论文，和 McClelland 合著了《并行分布式处理》（Parallel Distributed Processing）。这两件事，几乎构成过去十五年深度学习革命的全部思想源头。 2021年9月，McClelland 在 Lex Fridman 的播客里聊了两个多小时，从笛卡尔聊到语义痴呆，从数学直觉聊到死亡。下面挑出的是这场对话里密度最高的部分。 ## 从笛卡尔之梦里醒过来 1960年代末，认知心理学刚成为一门独立学科。1967年那本同名教材《Cognitive Psychology》的作者在书里写，研究神经系统只是边缘兴趣，它不会告诉我们任何关于心智的事情。 McClelland 不同意。他的理由很朴素：我是一个物理存在，尘归尘，土归土，我怎么就从这里面涌现出来了？ 他后来把这叫"从笛卡尔之梦里醒来"。笛卡尔有一次在凡尔赛花园散步，踩到一块石头，旁边一尊雕像动了。他往前走，再踩一块石头，另一尊雕像又动了。他跑去问园丁，才知道地下有一套水力系统：踩石头改变水流方向，水灌进雕像，雕像就动。笛卡尔由此建立了动物行为的机械论，认为人体内那些不运血的小纤维是液压管，一碰就产生压力，压力传到别处，就产生动作。 身体是机器，这没问题。思维另算。笛卡尔认为，必须有一个神圣的东西降临到人体里，人才有思考的能力。物理世界包括身体和动作，不包括思想。 这套二分法在学术上延续了很久。生理学研究感觉系统和运动系统，是你刺激神经元能直接测到的东西；认知研究抽象算法，是另一套语言。McClelland 本科时学了生理机制，读博时学认知心理学，坐在教室里想的是：等一下，整件事都是生物的啊。 在他看来，这件事不需要论证。它一直很明显。 ## 达尔文的噩梦与黑猩猩的海马体 明显，也不明显。McClelland 用达尔文来打比方。 达尔文很早就知道，当时所有现成的想法都没法解释进化怎么运作。他想搞清楚它到底怎么运作，这是他的目标。他花了很多年，读各种给他线索的书，觉得有意思但不知道为什么，画了一张又一张略有差异的鸟的图。然后他想通了。 想通之后，他开始做噩梦。梦到眼睛的复杂性，梦到别人用来反驳他的那些论证：这么精密的器官，怎么可能是无引导过程的产物，它一定出自设计。 他很久没发表，一部分原因是害怕自己的想法。他自己都不敢相信这是真的。 到20世纪，人们逐渐接受了进化。笛卡尔的说法开始显得可疑。猿、黑猩猩、倭黑猩猩也挺聪明。有人说，猴子大脑里没有海马体，只有人类有。19世纪末，赫胥黎在一大群观众面前做了一场手术，当场证明黑猩猩大脑里有海马体。 物种的连续性，是"人是自然的完整产物"这个观念的又一块拼图。 自然究竟怎么产生出具备我们这种能力的有机体？这件事让他着迷。 ## 一次基因突变，和数亿年的静止 视觉研究领域很早就不纠结这个问题了。猴子的视觉通路和人类极其相似，从眼睛到大脑、头几层皮层，几乎是同一个设计。真正的跳跃发生在认知这一侧。 乔姆斯基的版本是：10万年前发生了一次基因意外，某个现代人的前人出现了语言能力的一次微调，语言随即成为把人和所有其他动物分开的东西。 McClelland 认为语言确实重要，但它和一大堆相关能力一起演化：社会性、互相投入、组织并理解世界的丰富机制。语言插进这套机制里，成为集体智能的工具。核心是集体智能本身，语言是它得以运转的接口。 他还提到进化论里的一个概念：间断平衡。我们习惯把进化想成连续的，5亿年里缓慢变化。化石记录讲的不是这回事。它讲的是数亿年的静止，然后突然一变。这个"突然"，放在地质尺度上可能是一百万年，也可能是一千万年。 间断平衡（punctuated equilibrium）在进化生物学里是个重要概念。McClelland 觉得它同样适用于心智能力的发育。四岁孩子和七岁孩子的心智差别是深刻的，你回头看四岁的自己会想，我怎么会那样想事情？皮亚杰（Piaget）的阶段理论讲的就是这个：阶段之间界限分明，然后突然过渡。 几年经验积累下来，某个时刻会发生一次洞见、一次跃迁、一个新的阶段。这类现象在复杂系统研究里有统一的语言。进化生物学、发育生物学、认知发展，被同一种思路处理过。 McClelland 说他同样着迷于更早的那一段：从胚胎到大脑的装配过程。你现在做的事情是让一个已经装配好的大脑去探索世界、去学习，这已经够神奇了。但那个能学习的东西本身是怎么被造出来的？从工程角度看，这一步更让人无从下手。 脑类器官（brain organoid）的研究让他觉得离谱：你可以培育出很多个微型大脑，观察一个机制如何从 DNA 材料里自组装出来。生物程序凭空生成一个软乎乎的系统，这个系统足够鲁棒，能在高度不可预测的世界里学习，能学会看上去任意的、数量极大的、足以支撑生存的东西。 从大脑到心智的涌现，整条链路看起来是连续的。 ## 1979年那场会议，和挤进同一个房间的人 1974年，McClelland 拿到助理教授职位，去了 UCSD。他到的时候，那里刚发生一件在他看来很了不起的事。 David Rumelhart（戴维·鲁梅尔哈特）和 Don Norman（唐·诺曼）刚出了一本书，《Explorations in Cognition》。书里一系列章节探讨认知的有趣问题，用的是完全抽象、非生物的方式。McClelland 的感受是：我来到了一个人们能聚在一起、觉得自己在集体探索想法的地方。这本书带着一种轻盈感。Norman 比 Rumelhart 资深，他主导了这个项目，也一直营造那种玩着探索的氛围。 但 McClelland 自己还有一半心思在别处。他关心人类认知，可从当时主流认知心理学那里拿到的是一种脱离身体（disembodied）的思考方式，这套东西在他那儿不够用。 1979 或 1980 年，Jeff Hinton（杰弗里·辛顿）和 Jim Anderson 在 UCSD 组织了一场会议，题目叫"联想的并行模型"（Parallel Models of Associative Memory）。所有在想这类问题的人被聚到一起。参会者里有 Steve Grossberg，他从60年代就在写神经网络；有 Jim Anderson，一个工程师出身、后来做了心理学教授的人，用线性代数做出了知觉、分类和记忆的神经网络模型；有 Hinton；有 Paul Smolensky，当时还是博士后。 还有 Francis Crick（弗朗西斯·克里克）。他在索尔克研究所，从 Hinton 那里听说了这个小组。Hinton 在英国人圈子里以绝顶聪明著称，Crick 和那批英国朋友联系紧密，就这么来了。 McClelland 回忆自己1977年走在校园里，感觉像圣保罗在大马士革路上：如果我用力去把心智想成一个神经网络，它会帮我回答我一直在问的那些关于心智的问题。 Hinton 能来 UCSD，还有个具体原因。他的博士论文投到了 Rumelhart 和 Norman 主持的博士后训练项目申请池里。Rumelhart 读了非常兴奋。Hinton 于是成了这个由一笔慷慨经费资助的博士后群体里最早的一批人之一。 ## 别从生物学里找规则 三个人组成了 PDP 研究小组。Hinton 跟他们谈学习：神经网络里的学习该怎么想。 Hinton 说，你们这个路子有问题。你们一直在从生物学里找灵感，想知道突触该按什么规则改变连接强度、连接该怎么形成。**这是错的方向。正确的做法是先定义一个要解决的问题，再想清楚调整连接权重怎么解决这个问题。** Rumelhart 听完，转头跟自己说：好，那我就这么想。我设想我有一个目标函数，我希望这台机器把所有图像正确分类，我可以给它打分，可以测量它在每张图上的表现，得到一个误差或者损失。然后我要弄清楚怎么调整连接权重，把这个损失降下去。 这就是梯度下降。工程界早就熟悉这个概念。斯坦福电子工程系的 Bernie Widrow 和一个叫 Hoff 的合作者发明过一条 delta 规则，处理的是单层连接权重上的梯度下降：给一组神经元输入，希望输出产生某个模式，定义目标与网络输出之间的差，然后算出怎么改权重能减少这个误差。 Rumelhart 做的是把这个结论推广到输入与输出之间的隐藏层。他最初把这算法叫"广义 delta 规则"，因为它就是梯度下降思路的延伸。 有意思的是，Hinton 当时认为这条路走不通。他有自己的替代方案，基于玻尔兹曼机（Boltzmann machine）的概念，那篇论文1985年发表。结果反向传播比玻尔兹曼机的学习算法效果好。广义 delta 规则后来被叫做反向传播（backpropagation）。 "反向"是什么意思？要算出从输入到隐藏层该做哪些改动，你得把误差信号从输出层沿着"隐藏层到输出层"的连接反向传回去，得到隐藏层每个单元自己的误差信号。Rumelhart 的表述是：输出层的误差我们知道，看看能不能在隐藏层造出一个信号，告诉每个隐藏单元它的误差是多少。 ## 一个不写公式的人 Hinton 留给 McClelland 的东西不止算法。 他1981年有两篇论文，都远远超前。一篇基本就是 transformer 的想法，另一篇是早期的语义认知论文，启发了 Hinton 自己、Rumelhart 和 McClelland 整个80年代的工作，也仍然支撑着 McClelland 今天对语义认知的思考。 还有一篇1977年从未发表的小论文。Hinton 当时还是博士生，在里面描述了神经网络怎么做递归计算。思路很巧：调用子程序时，需要保存调用时的状态，子程序结束后才好回去。他的办法是通过快速改变连接权重来保存调用者的状态，子程序结束时，这些快速变化让系统恢复到之前的情境，顶层计算得以继续。这个想法他后来一直在探索。 另一件事影响更深。Hinton 不写太多方程。传说在 Hinton 的实验室例会上，没人站起来在黑板上推公式，那是别的机器学习实验室的做法。他们画图。他解释深度学习怎么运作时，会把两只手合在一起，给你比出一条峡谷的形状，用它当作梯度下降的几何隐喻：你正沿着峡谷的峭壁往下走，步子迈太大就会跳到对面去。这就是为什么学习率要调小。 > 它让我看到深刻洞见本质上具有直觉性格，同时又伴随着一种承诺：最终要把它理解得完全显式、完全清楚，但这个过程也始终是直觉的。（Jay McClelland） Hinton 是逻辑学家布尔（Boole）的后代，出自一条长长的英国学术谱系。他想让自己被视为在理解推理本身，不只是人类推理。布尔做的是逻辑：从什么能推出什么，怎么把它形式化。Hinton 80年代前期在玻尔兹曼机上做的工作，就是把这条布尔传统接到连续的、概率的、满足多重约束的世界里。那套想法和理论物理、和逻辑都连着。 McClelland 说他自己也一直受玻尔兹曼机启发：如果神经元的计算是概率的而不是确定的，也许这就是灵光一现时刻里那种偶然性的来源。那个念头未必就在那一瞬间产生，它可能部分是随机过程的结果。 ## 从"专家"到神经元 Rumelhart 有一个阶段在做老式人工智能（good old fashioned AI）的路子：用形式逻辑和知识库来表征语言和内容，比如"有钱"这个概念。他感兴趣的是，机器听到两句话之后能不能产生一个洞察。 他最爱举的例子是：Margie 坐在门前台阶上，听到熟悉的冰淇淋车音乐，她想起自己的生日钱，跑进了屋子。Margie 在干什么？为什么？ 最自然的解释是，冰淇淋车卖冰淇淋，她喜欢冰淇淋，她知道买冰淇淋要钱，所以跑进屋拿钱。你要让这些事互相连上，中间需要极大量的推理。 老式 AI 的范式给不出答案。Rumelhart 开始想另一件事：我们需要一种系统，能让多个同时存在的约束互相影响。 他写了一篇论文，《阅读的交互模型》（An Interactive Model of Reading）。McClelland 第一次读的反应是：哦，好，但这重要吗？过了一段时间，这东西钻进了他皮肤里。 论文里的想法是：我们读到一个词时，每一个层次的分析都依赖其他所有层次。像素告诉我们这是什么字母，字母告诉我们这是什么词，词告诉我们作者想传达什么观念。他给每一层都设了一组"专家"，有从像素构造线段的专家，有判断哪些线段组成哪个字母的专家，有判断哪些字母组成哪个词的专家，有管词义的专家，有管词义怎么组合的专家。 这些专家同时看着数据，同时在各层更新假设。词层专家可以告诉字母层专家：我认为那个位置应该有个 T，因为我认为这里应该是"the"这个词。自下而上的特征层专家也可能说：我也觉得那里有个 T。两边一致，你就看见了一个 T。自上而下、自下而上，双向交互，所有层同时进行。 后来他意识到，那些专家可以被神经元式的处理单元替换掉，每个单元只靠自己的连接权重干活。于是有了"字母知觉的交互激活模型"（interactive activation model）：像素级输入、线段特征、字母、单词，全部由神经元式单元构成，单元之间用连接权重相连。 代表"time"这个词的单元，连着第一位字母 T 的单元、第二位字母 I 的单元，依次往下。这些连接是双向的。如果你已经知道那可能是"time"，它会去启动对应的字母和特征。如果不知道，就只能自下而上。方向取决于信息先从哪儿进来。上下文和特征同时到位时，它们会收敛出一个涌现的知觉。 这项工作让两人彻底确信：神经网络这条路，能真正回答他们作为认知心理学家关心的问题。 ## 知识不在字典里，在连接里 McClelland 认为 connectionism（联结主义）这个词有用。它点出了一件事：系统所利用的知识存在于单元之间的连接里。没有一个单独的字典。 代表"time"这个单词的单元，除了连着构成 time 的那些字母单元，没有别的理由成为"time 的单元"。系统里并没有哪个地方写着 time 这个词。只有在他们画的那张模型图里，标签写着"这是 time 的单元"。如果有人问，这个词怎么拼？你得用从那个单元出去的连接，把字母一个个取出来。 人类习惯用逻辑的方式想事情，总觉得知识该存放在某个地方，等着被读取。连接主义讲的是另一回事：没有任何位置存着它。 拿卷积神经网络（CNN）举例。它有几十层甚至上千层神经元式单元，最后它会说"这是猫"、"这是狗"，但它完全不知道自己为什么这么说。第一层到最后一层之间全是连接，越往深处特征越抽象，而这种抽象是一个渐变的、连续的过程。到最后仍然只是某个单元阵列上的一个激活模式。 你睁开眼睛说，哦，那是 Lex，或者那是我的狗。我知道这一只，因为它有一些细微的独特之处。但我没法说清楚是什么让我认出它。或者某个牌子的车，我能说上几句，但如果要我写一段话让你猜出是哪辆车，你猜不出来。 把"让我认出这个具体实例"的知识写成一组命题，这件事从来没成功过。视觉识别上，你永远写不出那组命题。所以在这个领域里，默认的假设一直是：计算过程里有某些东西是你无法访问的，你只拿到结果。 > 你读不到连接里的内容。连接只是根据输入产生输出。（Jay McClelland） McClelland 曾经半开玩笑地说自己是"激进的、消除式的联结主义者"（radical eliminative connectionist），因为他不想让人以为他想往机器里预装什么东西。后来他把"消除式"这个词去掉了。它暗示"理解"这个涌现层次是假的，他不同意。 他现在管自己叫"激进的涌现论联结主义者"。高层次的心智现象是真实的，但它们没有以实体的方式存在。他借用 Douglas Hofstadter 的比喻：我们可以把沙丘当成一个东西，甚至数一数有多少个沙丘，但我们也知道沙丘非常流动，它就是一堆沙，在风里移动、重新成形。把想法想成沙丘，那么这个想法存在着，但你不能把它当作一个不需要理解底层机制就能掌握的实体。 ## 理论在自己身上演示了一遍 语义痴呆（semantic dementia）是一种特定形式的、与意义有关的智能丧失。 病人逐渐失去理解经验意义的能力，无论信息来自触觉、视觉、听觉还是语言。他能听到声音，但不知道那是什么意思。 病程早期是分不清相似的狗品种，或者记不住低频、不熟悉的类别。往后越来越惊人：认不出猪、山羊、绵羊，把所有中等体型的动物都叫狗；认不出兔子和啮齿类，把所有小的都叫猫；认不出河马和牛，把它们都叫马。有个病人到后来，任何四足动物只叫三个名字：大的叫马，小的叫猫，中间大小的叫狗。 McClelland 的合作者 Carolyn Patterson 设计了一个测试，叫"金字塔与棕榈树"（pyramids and palm trees test）。给病人看金字塔的图，让他在棕榈树和松树之间选一个配对的。结果发现，这种能力丧失和语言无关：无论用词还是用图呈现，病人都做不出来。他能匹配词和词，也能匹配图和图，但做不了词图匹配。两个模态的概念基础都已经丢了。 这就是"语义"这两个字的字面意思：语义本身在瓦解。 用分布式表征可以解释：概念是一组激活模式，相似的概念模式也相似。随着表征退化，细微差别最先丢失。狗和山羊之间的差别不再是模式的一部分了。而狗极其熟悉，所以它留下来。 问题是，Rumelhart 本人正在经历这一切。 McClelland 把 Rumelhart 比作认知科学界的霍金。两人都患了退化性疾病。霍金的是运动系统，Rumelhart 的是语义系统，不只是纯粹的客体语义，可能还包括"自我"的语义。 那段日子里，那个曾经最专注、最好胜、最愿意为难题耗上数年的人一点点淡出。有一段时间，周围的人都很难真正意识到，他某种程度上已经不完整地在那里了。后来大家终于确认，这是生物学意义上的病变，不是那天走神了。 他从斯坦福的教职退休，跟哥哥住了两年，然后搬进一家收容认知障碍者去那里，很多有认知障碍的老人最后都住进这类机构。90年代末、2000年前后，McClelland 常去看他。他们去打保龄球，他还能打。打完球 McClelland 问他想去哪儿吃饭，去 Wendy's 好不好，他说不好。那你想去哪？他指了指，说，这儿拐。他还有相当程度的空间认知，能把人带到餐厅。 到了餐厅，McClelland 问他想点什么。他一个词都说不出来，但他知道菜单上哪个位置是他想要的。他说不出那是什么，却清楚那是他想吃的。 认知完全不是一整块的。它有程度之分，也是多部件的，有些局部的能力在其他能力消失之后依然存在。 McClelland 说他一直着迷于过去被叫做"认知神经心理学"的领域，脑损伤对认知的影响。特别是这种逐渐瓦解的过程。 > 我坚信，失去一个你珍视的人，其力量不亚于当初爱上那个人。它同样是对这个人的庆祝。（Jay McClelland） ## Rumelhart 是谁 他来自南达科他州西部一个小镇。母亲是图书管理员，父亲是报纸编辑。四兄弟一起长大，父亲鼓励他们互相竞争：体育上竞争，智力游戏上也竞争，数独、国际象棋之类。Rumelhart 是那种出类拔萃的本科生，比大多数人更早进入南达科他大学，主修数学。不知道怎么对心理学产生了兴趣，申请了斯坦福的数学心理学项目，被录取。 数学心理学是用数学给心理过程建模，今天大概会叫"认知建模"。它和计算机模拟不同：你写下关于基本原理的设定，推出关于行为的预测，全用方程，解出来告诉你在实验第七次试次上被试答对的概率是多少。那段时间斯坦福聚集了几位极强的数学头脑，全国还有三四个同行，把一堆激动人心的想法摆上桌面。那是心理学里极有声望的一块。 1967年，Rumelhart 去了圣迭戈那所全新的大学，成为 UCSD 心理学系最早的助理教授之一。McClelland 七年后到的时候，他还在做数学建模，但兴趣已经转向认知，转向"理解"。理解到底是什么意思？我们怎么知道自己真的理解了什么东西？他想造出能听两句话就产生洞察的机器。 Margie 和冰淇淋车那个例子，就是他当年最爱的难题。他一直在试着用老式 AI 的方式建语言表征和"有钱"这类内容：形式逻辑、知识库。到70年代末，这套东西开始显得过时，也没有真正做出来。大家都在承认这一点，Rumelhart 是其中之一。 然后是那篇交互模型论文。再然后是他读了 Hinton 的博士论文，听了 Jim Anderson 用线性代数做的神经网络模型，意识到那些"专家"可以换成神经元式单元。剩下的事，就是 PDP。 ## 数学是关于理想世界的工具箱 McClelland 写过一篇《数学认知的并行分布式处理进路》。引言里引了 Tristan Needham 的批评：把数学研究等同于符号操作，就像研究音乐却从不听一个音符。 他怎么看数学？ 数学是一套探索理想化世界的工具。这些世界往往和真实世界极其相关，但不必然。在这些世界里，对象具有理想化的性质，对象之间的关系可以被精确刻画，于是某些事实的推论能让你确定地推出其他事实。 两个三角形，如果第一个里的某个角和第二个里的某个角相等，夹这个角的两条边也对应相等，你就能断定这两个三角形全等，也就是所有性质都相同。这是关于三角形的事实，和公式无关。这些是理想化对象。我们用三角形造桥。我们靠推广这些想法，测出爬不上去的东西有多高。让一小块物质从地球发射出去，在精确预测的日期时间，和冥王星之外某个极小的天体相交，这件事就靠这些想法。它确实发生在真实的物理世界里。 自然数也一样。McClelland 喜欢把零算进去，所以他说非负整数。数给了你精确说出自己有多少只羊的能力：今天早上我放出去23只，你回来只带了22只，怎么回事？这是人类社会的基本问题：你最好一只不少地带回来。数让商业、契约、记录成为可能。 数既是抽象的、理想化的、可推广的，又可以是极其具体、极其落地的。**人类心智最了不起的成就之一，就是发明了这些理想化系统，把思维的力量撬动起来。** > 数学是发展出来的一套系统，用来思考一组理想化对象的性质与关系。我们不幸过分关注的那套数学记号，只是我们表达这些命题的方式。它就像语言，是我们为了交流这些想法而发明的，未必是这些想法的深层表征。（Jay McClelland） ## 直觉发现，逻辑证明 去年夏末，McClelland 和妻子在北加州一个州立公园的林子里散步，看到一张长椅上刻着庞加莱（Henri Poincaré）的一句话：逻辑用于证明，直觉用于发现。 他把这当成整个研究纲领的核心：怎么把直觉的、联结主义的资源带进来，让直觉性的发现能从和这套形式系统的互动中长出来。 像 Hinton、牛顿、爱因斯坦、Rumelhart、庞加莱、阿基米德这样的人，会突然有一道闪光。那是所有同时存在的约束组成的星丛，以某种方式让心智落进一个从未有过的新状态，产生一个新想法。然后你才能问：好，现在怎么证明它？定理的步骤怎么写，才能让它变得严格、确定？ 人类数学家的洞见是两部分合起来的：一部分是联结主义式的直觉知识，让某些事显而易见为真，不必去想它为什么真；有了这个，你才能迈出下一步，去思考、去推理，搞清一件你原本没有直觉的事。这件事最终又变成下一代数学思考者的直觉的一部分，他们在此基础上继续往前推。 McClelland 从深度学习里看到了希望。 大规模文本训练出来的网络，给一个提示就能生成相当有趣、相当有想象力、相当有创意的故事。它似乎从训练数据里数十亿次经验的所有细节中，合成出了某种类似"什么会是一个好玩的小故事"的直觉感。让系统自己发挥它对"给定这个提示，有人会说什么"的想象，想法就涌上来了。这代表捕获直觉那一侧的可能性。 AlphaZero 是另一个例子。它下棋时产生的解法里有新东西，读起来很像天才的洞见时刻。机制上，搜索是老式 AI 那一路，神经网络提供的是直觉：看一眼棋盘，看一组局面，判断这个局面有多好、接下来几步有多好。特级大师也是这样，靠位置感、战术感判断形势好坏，不必做深度搜索。人下棋时会有一点"计算"，沿着某条线往下推演，系统里也有对应的东西。那些系统里同样有天才的瞬间。 ## 三千年前开始的沉浸 McClelland 强调的一点是：哲学家和逻辑学家三千多年前就开始发展这些形式系统，"形式地思考"这个观念本身是慢慢被构造出来的。它先于欧几里得，在泰勒斯等人的工作里已经存在。《几何原本》是一个连贯的文本，把"对象在其中被刻画的真正形式系统"以及"从已知推出新真理的推理系统"确立为范式。 有意思的地方在于：**能成为一个以这种抽象形式方式思考的人，本身就是长期沉浸于这种思考方式的结果**，就像我们今天理解语言习得那样。我们沉浸在一种语言、一个由对象及其关系构成的世界里，学会谈论它，发展出对真实世界的直觉理解。同样地，学术界创造出来的这些东西，早期哲学家在雅典、亚历山大里亚和其他地方建立的学派，让这些思想模式深深内化。 这就把 Jerry Fodor 式的看法顶了回去。Fodor 认为系统性思维是人类心智的本质特征。McClelland 认为它是派生的、习得的，是在人类发明的某种思维模式里被文化化的结果。 那它比语言更根本吗？ McClelland 说这个问题他非常感兴趣。答案是：在重要的意义上，这条线该划；但划完要回头看，看差异里更微妙的地方。 乔姆斯基出身学术家庭，父亲是费城一所小型拉比学院的犹太教经学教授。他深深浸润在思想与理性的文化里，然后带着与形式系统的深度纠缠去理解自然语言。这给了他巨大的力量，让他对自然语言的结构有了一些惊人的洞见。 但关键在后面：对这些东西的实际直觉知识是有限的，到不了乔姆斯基自己以为的那一步。 这一点是 Lila Gleitman 的博士论文发现的。她受训于同一个语言学系。她发现，语言学家对哪怕一个短语意思的直觉，不只是语法，而是他们相信这个短语必然是什么意思的直觉，与没受过形式训练的普通人的直觉非常不同。 McClelland 现在的假说是：受过形式训练的语言学家、哲学家、认知科学家、计算机科学家、机器学习研究者、数学家，他们与经验互动的方式，在直觉上被深刻地结构化，更围绕系统性和"与系统原则保持一致"来组织，而未经这种沉浸的自然人心智并不是这样。 所以，你用来研究心智的学科路径，反而把你带离了心智的自然运作。这让你很难做一个靠内省拿到答案的人。专家和普通人之间有巨大认知鸿沟，原因往往不在天赋，在人是否进入过那种系统化思考的沉浸。 ## 专家盲点 这跟"初学者的心"和"专家盲点"（expert blind spot）是连着的。专家盲点听起来平淡得多，但同样折磨人：专家向非专家解释自己的理解时，有些东西对他们来说太自明了，他们根本没法想象怎么跟别人解释，因为那明摆着就是真的。 克罗内克（Kronecker）说，上帝创造了自然数，其余都是人的工作。他表达的正是这种直觉：离散量可以被计数、数目无限、可以一直数下去，这些基本的东西不需要被发现。 他错了。曾经有很长一段时间，很多认知科学家同意他。自然数被视为核心知识（core knowledge）里先天装备的一部分，这是 Spelke 和 Carey 讨论人类心智先天原语时用的说法。他们现在已经不这么看了。自然数是文化建构，这几乎已经被普遍接受。 所以值得回去研究那些仍然存在、但没有这套系统的人。 这就是 McClelland 想说的例子：某种思考语言的方式、某种思考几何关系的方式，变得太自然，以至于你不知道该教什么。而且我们其实从来没真正显式地教过它。你上数学课，教授按他理解的方式讲，班上一些学生跟上了，开始获得那种思考方式，能做教授认为有趣有挑战的作业题。大多数没有深度参与的学生永远拿不到。 我们的反应是：这人一定很聪明，他一定有什么特别的洞见，他一定有个不一样的生物学开关，让他能有那个洞见。McClelland 说，他不完全否认个体生物学差异，但他觉得更值得想的是另一种可能：差别在于乔姆斯基小时候家里餐桌上谈话的方式，那造就了他的思维取向。 这也是"专家盲点"最隐蔽的后果。一个领域里最厉害的人往往是最难把入门的东西讲清楚的人，因为他们早已不记得自己是怎么学会的。教学上的绝大部分挫败感，都来自这个错位。 ## 我们对自身的解释是事后编的 还有一条心理学研究线索，McClelland 说对他一直很重要：我们对自己行为的解释，未必是导致那个行为的因果过程的一部分，甚至未必是对导致那个结果的约束条件的有效观察。它们是事后合理化，基于我们手头掌握的信息，在被问到的时候编出来。 这个想法来自 Nisbett 和 Wilson 一篇很重要的论文，讲的是我们对自己为什么做出某个选择，觉察能力有多有限。 我们对自己为什么持有某些信念、为什么采取某种态度、为什么做出某个选择、为什么有某种感受，其洞察既不完全受我们控制，也不完全被我们观察。它同样取决于我们被文化传递的那套理解，那套被问到时用来解释的模式。 连我们内省、以为自己能访问自己想法这件事，也是文化和信念的产物。 把这层和前面几层叠起来看，会得出一个不太舒服的结论：你以为自己在看世界，其实你在透过自己心智的镜头看。这个镜头是文化打磨出来的，你以为它能照见自己，它其实照见的是文化教给你的那套解释。要跳出来，很难，但如果你想往前走，这似乎是必须的。 ## 剩下的时间怎么用 七八年前，McClelland 还在做决策实验。那类工作有它的满足感，因为模型拟合数据这件事能给你明确的收束：行或不行，一目了然。他也能看到怎么把预测放到猴子身上检验，看清神经元在做什么。 然后他算了一笔账：我在这里大概只剩10到15年了，而做这个层次的工作，感觉自己并没有在逼近那些真正有趣的问题的答案。 于是他对自己说：好，挑个难的。他开始做数学认知。 计算很直白：可能还有15年有用时间，先当只有10年。现在他快走到那个期限的末尾了，也许还剩三四年。但他感觉自己后面大概还有五年。所以，再给自己六到八年。 期限在逼近，所以不能无限期地做下去。 他怕的是退化，死亡反而排在后头。看过那些悲剧性的退化过程之后，他这么说：能继续参与、能感觉自己站在浪头拍岸的地方，这是令人兴奋的。如果有一天开始患阿尔茨海默病或语义痴呆，他会一点点失去那根线。一个人在失去这些能力、不得不退休之后，还能再活十年。 那才是他最怕的。浪头散掉，心智不再繁盛，想法不再在里面游动、不再能被把玩，也不能再和那些正在把想法推向前的人合作。 至于悬崖尽头本身，那个谜。McClelland 说，他那种涌现式的、连续式的思考方式，让他觉得那个转变的离散性没有多数人感觉的那么明显。 他希望被记住的是：他看到了某条路，那条路对认知心理学家来说比他面前已经铺好的那条更让他兴奋，而他之所以能看到，并没有超常的原因，只因为他之前恰好有对的处境，然后他真的跟着那条线索走下去了。 他在 PDP 那本书的序言里写过一句话，大意是：科学的快乐，在于一个人头脑中尚未成形的想法，在对话中被更好地结晶出来，成为某个激动人心的具体科学进展的基础。 那种时刻发生过。Rumelhart 和他做交互激活模型的时候发生过。Rumelhart 听到 Hinton 讲梯度下降、讲用目标函数引导学习过程的时候发生过。那个时期发生过很多次。他在和学生合作时，也在寻找这种时刻。 ## 把理论留给理论家 他最后讲了一个故事。 他的博士论文是纯实验的。基于核心的两个实验，他写了一篇论文投出去。论文最后有一小节，他摆出了自己对数据背后机制的理论构想。投的是《实验心理学杂志》。 编辑回信说：非常感谢，这些实验很好，我们很乐意发表。但我们希望你把理论化的工作留给理论家，把那一节删掉。 他删了。但他差点因此被贴上"非理论家"的标签。他本可以认下这个身份：好吧，我的工作就是继续做实验。 他没有。拿到助理教授职位后，他继续做实验，因为知道自己得发论文。但第一年结束时，他把那一节拿出来扩充，写成文章投给了《心理学评论》，那是理论性的刊物。他们也没接受，但回信说：这很有意思，这次你可以继续想下去。 就是这句话让他往前走。他意识到，为理论的发展做贡献用不着超人天赋，一个凡人也能做。 > 不要屈服于某个审稿人给你贴的标签。（Jay McClelland） 也不要屈服于任何人贴的标签。尤其是当你成功之后，标签会被牢牢贴在那个让你成功的东西上：联结主义者、认知科学家、不是神经科学家。那些都是关于过去的故事。你今天是一个新的人，完全可以在全新的领域里做出彻底不同的东西。 ## 意义是自己造出来的 地球上活过上千亿人，大家都在忙忙碌碌，好像朝着某个方向。为什么？ McClelland 的回答是：我们为自己制造意义，也从别人过去制造的意义里获得启发。公元前一千纪的伟大宗教思想家，以及第二个千年早期的一些人，为我们打下了重要基础。但他相信，我们是某个自然发生的、无引导过程的涌现结果，意义是我们自己造出来的。把意义固化进宗教传统之类的努力，只是那个目标的一种表达方式。我们要做的事情里，发现意义是什么这件事排不上号，自己把它造出来才是重点。 所以它非常个人，非常个体。意义会通过你独有的那组协同要素来到你身上：你的质地、你的经验、你的处境。而且它总是在一个具体的地方情境里被造出来。 McClelland 就在 UCSD，身边是那位正在对符号人工智能产生怀疑的、才华横溢的 Rumelhart，而这种怀疑恰好和 McClelland 自己"要把认知落到生物学上"的渴望共振。他们抓住了那个共振。 从那个小小的口袋里，长出一种奇特的涌现过程。每一个人都是这样一种涌现过程：细胞聚到一起，涌现出一个会给自己讲花哨故事的东西，并且享受自己讲的那些故事的美。 它存在于一段时间，被自己在时间与空间中的那个地方口袋所定义，然后讲一些漂亮的故事，我们把故事写下来，庆祝这些故事有多好，然后它继续下去，因为我们在彼此的故事上面盖新故事。最终我们大概会殖民其他行星、其他恒星系、其他星系，讲更好的故事。 但这一切都从地球上开始。 ## 如果只带走几件事 这期对话里散落着一些可以直接拿去用的东西，它们彼此之间其实是一套连贯的方法论。McClelland 一辈子做的事，几乎都能从中找到解释。 - **换问题，而不是换答案。**Hinton 那句"别从生物学里找规则，先定义你要解决的问题，再想连接权重怎么解决它"，是整个反向传播诞生的起点。当你卡住的时候，先检查自己是不是在错误的层面找答案。 - **让多个约束同时打架。**Rumelhart 的交互激活模型之所以能成立，是因为它允许自上而下和自下而上的信息同时互相施压，收敛出一个知觉。只有单向信息流的系统，很难产生"理解"这种效果。设计流程、设计组织、设计模型，都可以套这个判断。 - **警惕你自己的专家盲点。**你在某个领域待得越久，越会有一批"明摆着为真"的东西，而恰恰是这些东西你教不出去。定期去找一个没受过这套训练的人，试着把最基本的前提讲清楚。讲不通的地方，就是你盲点的位置。 - **把事后合理化当成材料，当成证据去用要谨慎。**你对自己为什么这么选、为什么这么信的说明，是当下编出来的。做重要决定时，别只依赖内省，去看行为记录、看外部数据、看别人对你的观察。 - **给难问题设一个真实的截止期。**McClelland 是算着自己的剩余年头，才从舒适的决策实验转向数学认知的。舒适的工作会一直给你明确的收束感，但那不等于你在逼近重要的问题。算一下你还剩多少个可以高强度工作的年份，然后决定现在该做什么。 - **别接受任何给你贴的标签，包括你自己贴的。**那位编辑让他把理论留给理论家，他删了那一节，但没有删掉那个念头。标签是关于过去的故事，不是关于你的判决。 - **找到那件让你不由自主的事，然后待在它旁边足够久。**McClelland 讲他弟弟13个月大就能认出想放哪张唱片，靠的是看唱片上的划痕。那种共振没法规划，但可以留心。它出现的时候，你的任务只有两个：认出它，别走开。 最后回到那张长椅上的话。逻辑用于证明，直觉用于发现。 McClelland 一辈子在做的事，就是让这两件事互相供养：先让直觉把一个想法推上来，再用形式系统把它磨到能被检验、能被传递、能成为下一代人的直觉基础。 他自己也是这么一个人：从笛卡尔的梦里醒来，跟着一条不那么明显的线索走了五十年，路上带上了 Rumelhart、Hinton、Crick 和一批学生，然后在语义一点点瓦解的朋友身上，看见自己那套理论最残酷的一次演示。 他还是说，那是庆祝。