杰夫·霍金斯:千脑智能理论
Jeff Hawkins: Thousand Brains Theory of Intelligence
Numenta 创始人阐述千脑智能理论,用皮层柱模型解释大脑如何理解世界与智能的本质。
人脑大约有860亿个神经元,一个人一辈子真正记住的东西,可能还不如一块硬盘。这话常被拿来调侃人类记性差。杰夫·霍金斯(Jeff Hawkins)研究了几十年大脑,得出的结论偏偏反过来:大脑真正擅长的事情是构建参考系,存储只是副产品。你之所以能认识一个从未见过的杯子,靠的是大脑学会了如何在一个三维坐标里移动手指,把一路上的触觉信号拼成一个完整模型。
霍金斯是Numenta的创始人,2002年还创办了红杉理论神经科学中心。他在2004年出版的《论智能》里提出了记忆预测框架,2017到2019年间和团队一起把它升级成「千脑智能理论」(Thousand Brains Theory of Intelligence)。这套理论在神经科学圈子里争议不小,批评者说它缺乏足够的实验证据。霍金斯在Lex Fridman的播客里讲得很坦然:科学突破从来不走线性积累的路,数据攒到一定程度就会突然阶跃。他相信那个阶跃在几年前已经发生了。
大脑里有一张餐巾纸,负责你所有的高级认知
先把人脑拆成两半看。旧脑部分包括脑干、小脑、基底神经节、脊髓,负责呼吸、心率、走路、情绪这些底层功能。新脑部分就是新皮层(neocortex),只在哺乳动物身上出现,在人类大脑里占了大约70%到75%的体积。
新皮层最诡异的地方是它的均匀性。霍金斯有一个经典比喻:它像一张餐巾纸那么大,大约2.5毫米厚。你把这张纸铺开,随便切哪一块放到显微镜下,看到的精细电路结构几乎一模一样。老鼠的新皮层和人的新皮层,在微观层面差别小得惊人。这和旧脑形成鲜明对比。旧脑是一堆专门化的小零件拼起来的,这块管心率,那块管呼吸,各自演化了上亿年,分工明确。
这个观察最早由弗农·芒特卡斯尔(Vernon Mountcastle)在1978年系统提出。他的核心论点是:新皮层上所有区域都在做同一件事,视觉区、听觉区、触觉区之间的差异,仅仅来自它们连接的外设不同。你把视神经接到听觉皮层上,那块区域就会变成视觉区。实验也证明,天生失明的人,原本的视觉皮层会被其他任务征用。芒特卡斯尔把这叫做「通用皮层算法」(common cortical algorithm)。
沿着这条线索往下推,语言、数学、工程、音乐这些我们认为是人类最高级的能力,底层跑的程序和摸一个咖啡杯完全相同。搞明白那2.5毫米厚的电路在做什么,所有认知功能的神秘感会同时瓦解。霍金斯说他现在不再把这当成开放问题了:「答案对我来说非常清楚,我们不知道的部分在哪里也很清楚。框架已经在了,剩下的只是时间和精力,不再有大的谜团。」
时间不是第四维,它是第一维
霍金斯在2004年提出的「层级时间记忆」(Hierarchical Temporal Memory,简称HTM)包含三个关键词:时间、记忆、层级。当时神经科学界的主流做法是把大脑当成静态图像处理器,给一张图,输出一个标签。今天最火的卷积神经网络,底层逻辑还是这个套路。
真实世界一直在动。你听一段语音,声波模式每10毫秒就变一次。你看一个房间,眼球每秒跳动三到五次,每次跳动输入信号完全刷新。你摸一个物体,手指在移动,触觉信号持续变化。「把一张图片闪一下问你这是什么」这个任务在实验室里成立,在现实中根本不存在。
第二个关键词是记忆。大脑在主动学习一个世界模型,被动处理输入只占它工作的一小部分。你问一个人今天早饭吃了什么,他之所以能回答,是因为那个经历被存进了突触连接里,变成了模型的一部分。神经元本身的活动只能维持几分钟,更长的时间尺度必须靠突触的可塑性来承载。
第三个关键词是层级。新皮层是一张均匀的薄片,但不同区域之间有大量的前馈和反馈连接,形成了粗略的层级结构。霍金斯说这三个方向他到现在依然坚持,但「层级时间记忆」这个名字已经不够用了,它没法涵盖后来发现的参考系机制。他现在不太用这个词了。
手指碰到杯沿的那一刻,整个理论浮现了
千脑理论的核心灵感来自一个日常动作。霍金斯手里拿着一个咖啡杯,食指贴着杯壁,他准备把手指移到杯口去摸杯沿。就在那一瞬间,他问了自己一个问题:大脑要预测「摸到杯沿时的触感」,需要知道什么?
答案有三样东西。第一,它得知道自己在摸一个咖啡杯,也就是有一个杯子的模型。第二,它得知道手指当前在杯子上的相对位置。第三,它得知道手指移动的方向和距离,才能算出下一步的位置。这三样里最关键的是第二条。手指的位置相对于杯子定义,跟身体无关,跟房间也无关。杯子转动了,这个参考系跟着杯子转。
这说明新皮层里存在大量锚定在具体物体上的参考系。你的每一寸皮肤都在做同样的事,所以每一寸皮肤都在调用自己的参考系来预测下一步的触感。把手指换成视网膜,把触觉换成视觉,逻辑完全一样。整个新皮层都在用参考系来存储和调用信息。
工程师听到这个想法不会觉得新鲜。你要在CAD软件里建一个杯子的三维模型,必然要定义原点、坐标轴、各个特征的相对位置。但把这个机制推广到整个新皮层,在神经科学里是一个新颖的命题。霍金斯说,这个想法一旦成立,之前积累的无数零散数据突然就都对上了。
「今天深度学习网络干的事情,是处理感官数据、提取特征、再从特征里提取更高层特征。大脑不走这条路。大脑的做法是把每一个输入都分配到某个参考系里。在你新皮层里同时活跃的参考系有几十万上百万个。」(杰夫·霍金斯)
十五万个「千脑」,各猜各的,然后投票
新皮层的面积大约是1500平方厘米,切成1平方毫米的小块,能切出15万块。霍金斯认为每一块这样的皮层柱(cortical column)都能独立学习完整的物体模型。你手指上的一块皮层柱只能感受到杯子的一个局部,但只要手指在杯子上移动足够多的次数,这块皮层柱就能把不同位置的感觉信号拼接起来,在内部形成一个完整的三维杯子模型。
这就带出神经科学里的一个老问题:传感器融合问题。眼睛看到杯子的图像,手指摸到杯子的形状,耳朵听到杯子放在桌上的声音,这些信号分散在皮层各处,最终怎么合并成一个统一的「杯子」概念?传统答案是:大脑某个地方存在一个汇聚中心,所有信号最终汇合到那里。
霍金斯的答案相反。根本不需要汇聚。每一块皮层柱都在独立猜测自己感受到的东西是什么。一块皮层柱说:「可能是咖啡杯、易拉罐或者水瓶。」另一块说:「可能是咖啡杯、手机或者相机。」它们各自给出一个候选集合,然后通过皮层里的长程连接进行投票。投票机制类似联想记忆,几轮迭代之后,如果存在唯一最优解,所有皮层柱会迅速收敛到同一个答案。这个收敛不需要物理上的信号汇聚,它是一种分布式共识。
「这些皮层柱就像一根根小意大利面,每根大约2.5毫米高、1毫米粗。每一根都在猜自己正在感受什么。它们把猜测结果发到皮层表面,通过某些层里的长程连接互相投票。一旦收敛,所有柱子同时知道:这是咖啡杯。」(杰夫·霍金斯)
「千脑理论」这个名字的由来就在这里。成千上万个局部模型同时在猜同一个杯子,靠投票达成一致,中间没有任何中心化的整合环节。深度学习那套一个网络一个输出的范式,跟这个差得很远。
记忆宫殿不是玄学,它就是大脑的原生文件系统
古希腊人发明的记忆宫殿法(method of loci),要求你把要记的东西想象成放在自家房子的不同房间里。走一遍房子,东西就记住了。这个技巧流传了两千多年,没人说清楚它为什么有效。霍金斯的理论直接给出了解释:大脑存储概念的方式本来就是参考系。
你家的布局是一个你已经烂熟于心的参考系。你把「牛奶」放在门厅,「鸡蛋」放在走廊,「面包」放在卧室,本质上是在借用这个现成的空间参考系来锚定新信息。回忆的时候,你在心理上走一遍房子,实际上是在参考系里做路径积分,每走到一个位置就激活那里绑定的内容。
这个解释如果只停留在记忆术层面,说服力有限。2019年前后,有研究团队把人放进fMRI里,让他们想不同种类的鸟。结果发现,鸟的知识在人脑里被排列成一个二维参考系,和老鼠在迷宫里导航时激活的网格细胞(grid cell)模式高度相似。鸟的体型大小是一个轴,脖子长度是另一个轴,概念就分布在这个抽象空间里。
「即使你在思考一个完全抽象的概念,而且主观上完全不觉得在用一个空间参考系,大脑实际上还是在用参考系,用的还是旧脑里那套网格细胞机制。这套机制被复制到了整个新皮层。」(杰夫·霍金斯)
霍金斯把这套逻辑推到了数学。你证明一个猜想的过程,本质上是在一个数学参考系里找路。已知条件是你的起点,目标猜想是你的终点,中间引理是路径上的中间节点。乘法、除法、移项、代入,这些操作相当于在这个空间里的位移。所谓「设计一个好的证明」,很多时候就是「为这个问题设计一个正确的参考系」,把信息组织成最容易走通路的形状。
霍金斯在这里补了一句,他还没有在任何论文里完整写过这个想法,但他现在比写论文时更有把握。数学教育和数学研究里那些说不清道不明的「直觉」,很大一部分就是参考系选得对不对的问题。
为什么大脑的神经元和人工神经元根本不是一回事
深度学习里的「神经元」是一个点。它把输入加权求和,过一个非线性函数,输出一个值。霍金斯说,真实神经元比这个复杂几个数量级。一个皮层神经元上可以有5000到30000个突触。靠近细胞体的那几百个突触,确实可以像点神经元那样把信号加起来让细胞放电。剩下95%的突触离细胞体太远,单独激活任何一个都毫无影响。
那它们干什么用?霍金斯和团队在2016年的论文《为什么神经元有成千上万个突触》里提出:这些远端突触分布在树突的不同分支上,每个分支大约40微米长。当同一个分支上10到20个突触在极短时间内同时收到信号,会产生一个「树突脉冲」(dendritic spike),这个脉冲传回细胞体,把膜电位抬高一点点。抬高得不多,不足以让细胞放电,但足以让细胞进入一种「预备」状态。
「一个真实神经元本身就是预测引擎。它随时在检测几十到几百种不同的远端突触模式,每一种模式被识别出来,都意味着某种情境正在出现,接下来应该要放电了。所以它提前一点放电。提前一点有什么用?因为周围全是抑制性中间神经元,谁先放电谁就能压制邻居。你提前放电,赢得的不是准确率,是发言权。」(杰夫·霍金斯)
这个机制的结果是:大脑中的放电更多来自对预测中输入的确认,对当前输入的反应只占一小部分。神经元在「预期」某个模式会出现时就开始准备,模式真出现时它抢先发声。预测编码在单个神经元层面就是这样实现的。
另一个根本差别是学习规则。反向传播需要精确的误差信号逐层回传,霍金斯认为这在生物大脑里不可能发生。大脑用的主要是赫布学习(Hebbian learning):如果神经元A反复在神经元B之前放电,它们之间的连接就增强。更准确地说,是在树突的某个小分支上长出新的突触,把同时活跃的一群输入细胞和这个分支连接起来。这个过程叫突触生成(synaptogenesis),它有一个巨大的好处:新学的东西被隔离在树突的局部,覆盖不了已经学过的内容。大脑可以持续学习而不发生灾难性遗忘,靠的就是这种隔离。
短期记忆还有更快的机制。大脑里存在「沉默突触」(silent synapse),结构已经长好,但不会释放神经递质。要快速记住一件事,只需要把一批沉默突触切换成活跃状态,几分钟甚至几秒钟就能完成。长期记忆才需要慢慢长出新突触,那要花几个小时。
稀疏表示为什么让系统更抗揍
大脑皮层在任何时刻只有大约2%的神经元处于活跃状态。一万个神经元里,只有两百个在放电。这个比例在视觉、听觉、触觉、语言各个区域都差不多。霍金斯说,稀疏性是大脑鲁棒性的关键来源。
直觉上你会觉得参与编码的神经元越少,表示越脆弱。实际情况相反。假设你要在高维空间里划一条分类边界,稠密表示下不同类别的点靠得很近,稍微扰动一下就越界了。稀疏表示下,每个类别只用200个神经元编码,你随机抽两组各200个神经元,它们的重叠可能只有几个。要让一个表示「变成」另一个表示,只动一两个神经元没有用,得动一百个。对抗样本攻击在稀疏编码下极难奏效。
Numenta团队在2019年初已经做了初步实验:在卷积网络里强制加入稀疏性约束,同时约束激活值和连接权重,就能显著提升对抗鲁棒性。这是把脑科学原理迁移到深度学习的一次具体尝试,虽然只是很小的一步。
持续学习,才是当前AI最要命的短板
霍金斯指出,今天几乎所有深度学习系统都把训练和推理分成两个阶段。训练时冻结推理,推理时冻结学习。这在不少应用场景里是硬伤。一个部署在生产线上的视觉检测系统,遇到一种新缺陷,必须重新收集数据、重新训练、重新部署,整个流程可能耗时数周。
人从来不这么工作。你伸手进一个黑箱摸东西,摸到一半你就已经知道这是不是新东西,并且开始学习了。识别和学习在时间上完全重叠。Numenta的模型从一开始就把持续学习当成硬约束。2016年那篇关于序列记忆的论文展示了网络如何在推理的同时更新权重。霍金斯说,这是一项很少被基准测试衡量的能力,所以在论文竞赛里不占优势,但它是通往真正智能系统的必经之路。
霍金斯对当下机器学习的评价有些微妙。他承认产业界的进展很了不起,卷积网络确实受了很多神经科学启发,分布式处理、分布式记忆、层级结构,这些都来自大脑研究。但他也指出,这类系统的评测体系把整个领域推到了一个奇怪的位置:只要在某个基准上提升0.1%,就能发论文、拿投资,理论上的优雅与否变得无关紧要。他开玩笑说这是自己的困境,因为Numenta没有大公司那种算力和数据规模。
智能不该被人类的外形绑架
霍金斯不喜欢「人类水平智能」这个说法。他管这个叫错误的目标。「狗也是智能的。我想要的是理解智能的原理,然后造出各种规模、各种能力的智能系统。」
他用计算机做类比:你不会因为一块单片机不如服务器快就说它不是计算机。只要理解了计算的基本原理,就可以用小规模实现,也可以用大规模实现。智能也应该这样理解。先定义智能系统的基本原理,然后按需放大缩小。
有一点他坚持:智能系统必须有某种形式的身体,或者说必须有移动能力。理解一个咖啡杯,系统必须能够移动传感器去感知它,不管传感器是手指、眼睛还是激光雷达。理解数学,系统必须能够在数学参考系里移动。一个纯静态的、只接收单张图片的AI,不可能发展出真正的物体概念。
「你不可能靠『闪一下图片,输出标签』这种方式获得智能。智能是移动的模式、移动的模式、移动的模式。是注意力在参考系里钻来钻去,构建结构,搞清楚世界的模型。身体可以是物理的,也可以是虚拟的,但移动这个概念必须在里面。」(杰夫·霍金斯)
至于超级智能算不算存在性威胁,霍金斯的态度是:大部分担忧搞错了对象。智能没有欲望。新皮层不包含性冲动、不包含领地意识、不包含繁殖本能,那些东西都在旧脑里。完全可以造一个只有新皮层的系统,它对生存没兴趣,对权力没兴趣,它只是在思考数学或者在火星上建基地。真正该担心的是生物武器和核扩散,那些是旧脑级别的威胁,而且已经存在了几十年。
他还提到一个概率上的观察:极端邪恶和极端能干同时出现在一个人身上的情况非常罕见。人类历史上真正造成大规模灾难的门槛很高,需要的不只是恶意,还需要能力、资源、组织、时机。核武器没有在所有疯子手里扩散,病毒没有被人轻易改造成末日武器,一部分原因就在这里。
关于死亡、意识和人类遗产
播客后半段转向了哲学。Lex问霍金斯怕不怕死。霍金斯的回答很直接:人类怕死有两个原因,一是基因里写好的生存本能,二是对熟人死亡的情感联结。除此之外,死亡本身对你来说没有任何体验可言。他用了一个思想实验:假设我是一个住在阿拉斯加荒野里的独居者,没人知道我存在,某天晚上睡过去没醒来,这个世界上会产生什么痛苦?没有。
他对意识的态度也类似。他认为「意识」这个词被过度神秘化了。自我意识可以拆成两部分。一部分是身体模型,新皮层不仅建模外部世界,也建模你自己的身体,幻肢现象就是身体模型还在、输入没了的结果。另一部分是情景记忆,你记得今天早上吃了什么,所以你说「我当时是有意识的」。一个能调取自身近期状态记录的系统,在功能层面就具备了自我意识。
更难的哲学问题是感质(qualia):为什么红色看起来像红色,为什么疼感觉像疼。霍金斯推荐了一本书,保罗·奥格雷迪写的《为什么红色听起来不像铃铛》。他的大致观点是:颜色不在世界里,世界只有频率。视网膜上不同细胞对频率敏感,信号进入大脑后变成一堆不同放电率的轴突,颜色是大脑为了预测和泛化而构建出来的内部标签。它有用,但它不属于世界的属性。
「我们这一代人有一种浪漫的错觉,觉得人类是宇宙的中心。但看看我们有什么:跑不快、游不好、飞不了、力气也不大。我们唯一独特的,是大脑里那个能延伸到感官之外的世界模型。我们知道月亮背面有什么,知道其他星系,知道原子内部发生什么。这些知识不存在于宇宙的任何其他地方,只存在于人脑里。这才是人类的遗产。」(杰夫·霍金斯)
他提到自己年轻时列过一张清单,上面写着四个最大的问题:为什么存在任何东西?为什么物理定律是现在这个样子?生命是必然的吗?智能是必然的吗?他停在了第四个问题上,因为他的判断是:造出真正智能的系统,是回答前三个问题的最快路径。超级数学家、超级物理学家、超级太空探索者,这些智能系统能运行人类无法运行的思想实验,去到人类无法到达的地方。
有人会问,超级智能理解的东西,人类还能听懂吗?霍金斯说这种焦虑已经过时了。广义相对论就是活生生的例子,绝大多数人根本理解不了场方程,但爱因斯坦留下了大量比喻和近似描述,普通人依然能借用那些直觉去做自己的事。人类文明早就生活在「只有极少数人真正理解核心知识」的状态里,这也没构成什么障碍。
至于人类是不是宇宙中唯一的智能生命,霍金斯的判断是:智能生命在过去和未来几乎肯定存在于别处。真正难回答的是同时代性,考虑到相对论和时空结构,「此刻别处」这个概念本身就模糊。他还提到大过滤器假说,也就是智能物种可能普遍活不长。人类作为技术物种只存在了两百年,样本量为零,谁也不知道存活概率是多少。
这也是他做研究的另一层动机。智能机器可以比人类活得更久,可以不绑定在地球上,可以把人类积累的知识带出去。他说这有点像为国家做长期规划,只不过对象换成了整个物种:我们应该想想,当人类不在了,要留下什么。
这套理论对你有什么用
千脑理论还在演化中,有些细节连霍金斯自己都说还没完全搞清楚。但里面有几个可以直接拿来用的思维工具:
- 学新领域时,先建参考系再填内容。不要一上来就背零散知识点。先搞清楚这个领域的「空间结构」:核心变量有哪些,它们之间什么关系,典型问题长什么样。进一个房间先看格局,再找家具。
- 用空间记忆法对付抽象概念。要记一组看似无关的东西,把它们挂到你熟悉的物理空间上。家、办公室、常走的一条路都行。大脑本来就是这么干的,你顺着它的硬件设计走。
- 解题时先问「我该在什么空间里找答案」。很多难题卡住的原因是参考系选错了,算力不够只是次要因素。换一个坐标系,原来的死路可能变成直线。数学证明、商业策略、产品设计,底层逻辑相通。
- 设计AI系统时,把持续学习排在第一优先级。只能离线训练、在线推理的模型,放到真实世界里永远是脆弱的。鲁棒的系统必须能在部署后继续学习,而且新学习不能覆盖旧知识。稀疏连接和局部可塑性值得重点关注。
- 别被「人类水平」这个词框住。智能的形态可以有很多种。定义清楚你要系统解决什么问题、需要哪些能力,比追求一个模糊的「通用」目标更有用。
- 把时间维度纳入你对数据的理解。静态快照式的数据喂养出来的模型,学不到世界的因果结构。如果你的应用涉及移动、交互、序列,优先考虑时间序列建模和预测编码的思路。
霍金斯给自己定的时间窗口是五年:如果五年内能说服足够多机器学习领域的人认真对待这套理论,真正的机器智能会在二十年内出现。如果失败,可能还要再等一代人。他把这叫做创业者的困境:你看得到终点,但必须找到一条不把自己饿死在半路上的路径。
科学史上有很多这样的故事。孟德尔种了八年豌豆,论文发表后三十五年没人理。巴贝奇设计了计算机,一百年后才有人造出来。霍金斯很清楚自己可能面临什么。但他也说,沃森和克里克在双螺旋模型还没被验证的时候,就已经百分百确定自己是对的。那种感觉骗不了自己,别人信不信只是时间问题。
本集资源与出处
- 视频在 YouTube 收看
- 音频官方 MP3 直链来自 lexfridman.com 官方播客 RSS
- 官网Lex Fridman 官网本集页面
- 文稿HappyScribe 版文稿