# 奥里奥尔·维尼亚尔斯：深度学习与通用人工智能

> DeepMind 研究负责人谈深度学习的关键突破、大模型训练路径，以及通往通用人工智能的路线之争。

- 原标题：#306 – Oriol Vinyals: Deep Learning and Artificial General Intelligence
- 期数：第 306 期
- 发布日期：2022-07-26
- 嘉宾 / 主题：奥里奥尔·维尼亚尔斯
- 网页版：https://lexfridman-cn.pages.dev/ep/oriol-vinyals-2/
- 官方页面：https://lexfridman.com/oriol-vinyals-2/
- 精读字数：约 17832 字（阅读约 40 分钟）

> 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。

“人工通用智能”这个词，是 Ben Goertzel 在 2001 年前后造出来的。当时他在编一本书，原本想叫《Real AI》。在一封私人邮件里，Shane Legg（后来参与创办 DeepMind）和 Peter Voss 提议，心理学里有个 g 因子，指的是一般智力，那不如就叫 Artificial General Intelligence。Pei Wang 想叫 GAI，因为中文语序是“通用人工智能”，但大家觉得这个词在美国文化里念出来不合适，最后定了 AGI。

Goertzel 说，他从来没真正喜欢过这个名字。Artificial 太窄，未来的 AGI 未必只是工具，更可能是某种主体；General 根本做不到，因为理论上真正通用的智能（Marcus Hutter 的 AIXI）需要无限算力；Intelligence 本身也没有公认的定义。

这有点像一个人给自己造了一把椅子，然后到处跟人说这把椅子哪条腿都不对。但名字已经出去了，拿不回来了，就像 GPU 早就跟图形没多大关系，大家还是叫 GPU。

## 三岁时，一台机器人被逻辑悖论转晕了

Goertzel 爱上 AI 是三岁那年。他在《星际迷航》里看到一个机器人原地打转，嘴里喊着 error、error、error，因为 Kirk 和 Spock 用一个逻辑悖论把它逼到崩溃。

一个小男孩坐在电视机前，觉得这件事说不通。这台机器能横穿宇宙，却被人用一个悖论搞死。如果人脑能绕过这个悖论，为什么 AI 不能。他跑去问父亲，父亲也没给答案。

后来他读 Douglas Hofstadter 的《哥德尔、艾舍尔、巴赫》，那是他第一本真正把 AI 当成一门可以动手做的学科来看的书。书里翻来覆去讲哥德尔不完备定理：一个系统能不能完整地建模它自己，还是会掉进某种悖论。Goertzel 说那本书他读了一整个通宵，读完又重读了一遍，因为里面那些小形式系统对当时的他来说太难。

在那之前，他对 AI 的想象是科幻式的：等不了那么久，干脆造一艘接近光速的飞船飞出去，几百万年后再回地球，等科技成熟。读完那本书他改主意了。如果 Hofstadter 是对的，那你只需要坐下来，把程序敲出来。不用去改造恒星，也不用拿到政府批文去动别人的 DNA。就是编程。

真正点着他的两个人，是两位科幻作家。一位是波兰人 Stanisław Lem，《索拉里斯星》的作者。Lem 写过一个海洋，那颗星球本身就是一个超级智能，比人更普遍地聪明，但它的聪明方式复杂又混乱，人类永远接不上线。他还写过一个叫 Golem 4 的超级计算机，人把它造出来，它进化到某个方向之后觉得人类太无聊，给自己罩上一层穿不透的壳，发表了一通哲学宣言，说人类和人类的一切思想都可怜又无望，然后消失了。

另一位是 Philip K. Dick。Dick 的方向完全不同，他关心的是人的同情心、人的心和灵魂。在他笔下，现实可以是模拟的、是梦、是某种我们无法理解的东西，但爱和同情是穿得过去的。Goertzel 说他后来能和 David Hanson 一起做机器人，部分就是因为两个人都是 Philip K. Dick 的粉丝。

## 我们可能被智能包围着，只是认不出来

Goertzel 的朋友 Hugo de Garis 在 90 年代提过一个概念，叫 SIPI，Search for Intraparticulate Intelligence，翻译过来大概是“粒子内部智能搜索”。

思路是这样：假设物理定律不变，超级智能会越来越聪明，同时也会越来越小。因为狭义相对论限制了空间上相距很远的两个点之间的通信速度，想算得快，就得挤得紧。于是一层一层缩下去，最后超级智能的思维可能就发生在基本粒子的相互作用里，在夸克里面，在夸克内部的那些东西里面。

那我们看到的量子层面或亚量子层面的随机涨落，有没有可能根本就是这些微型超级智能的思维？我们分不出来。因为区分“随机”和“有结构但复杂度超过我们大脑”这件事，本身就需要比我们更强的算力，而我们没有。

Goertzel 家里养了两只玩具贵宾犬。他坐在电脑前敲键盘，狗就在旁边看着。在狗的理解里，主人可能只是在活动手指做运动，或者在守着桌上那块发亮的板子。狗不知道他正在跟地球另一边的人通信，更不知道他正在写一段跑在圣彼得堡某台服务器内存里的算法。而狗就在那个房间里。

那在我们身边的房间里，有什么东西是我们太笨、太封闭而理解不了的？Goertzel 的答案是：大概不少。他还补了一句，某位量子物理的奠基人说过，这些理论不够疯狂，所以不可能是真的，现实大概比这更疯。

有人追问，如果那些随机涨落真的是超级智能，那我们是不是也是它的一部分，像身体的一根手指。Goertzel 说手指这个比喻有点怪，因为手指是被大脑有意图地控制的，我们可能还不到这个级别。更像体育场散场时人群涌出的那个形状，那个形状确实存在，你可以拍下来，挺好看的，但它跟这场比赛、跟这些人要去哪、跟形成这个形状的人脑子里在想什么，没有关系。我们可能只是底层超级智能自组织过程中冒出来的一个半随机的更高层图案。

## 一个家族里的一串博士，和一条通往 DeepMind 的思想线

Goertzel 的血统是四分之三东欧犹太裔。三位曾祖父母在第一次世界大战前后从立陶宛和波兰边境一带移民到纽约，他们是社会主义者、共产主义者，多数是孟什维克而不是布尔什维克。留在东欧的大家族成员，几乎全部死于希特勒或斯大林的清洗。移民美国的那一支，基本是唯一活下来的。

他外公 Leo Zwell 是一位物理化学家，跟 Linus Pauling 以及早期量子力学的一批人共事过，做 X 射线衍射，是实验方向。外公的妹妹也是物理学家。他爷爷 Victor Gertzel 是心理学博士，二战时做过一件很不舒服的工作：给被关进美国拘留营的日裔做心理咨询，劝他们不要自杀，尽管他们的财产已经被没收，人也被无缘无故地关了起来。

他七岁或八岁的时候，外公把一堆旧量子力学教材给了他，Rutherford、Adams 那些。他翻到波函数那部分，看不懂。他后来意识到，外公其实也没完全搞懂，但外公至少知道把他介绍给宾大附近一位真懂这些的教授。一个小孩能有这种机会，是很少见的。

他父亲在罗格斯大学教书，Goertzel 十岁、十一岁的时候，父亲就在 HP 3000 大型机上用 Fortran 编程，于是他很早就用 Fortran 跑线性回归，做自动化学习。他父亲还是 Antioch College 一个叫 SLAM 的抗议运动的组织者，全称是 Student League Against Mortality，学生反死亡联盟。他们在校园里游行，抗议死亡这件事本身。

再往后能理出一条很清晰的思想谱系。60 年代，John Andreas 在坎特伯雷大学做了一个叫 PURDASHPUSS 的强化学习系统，用马尔可夫决策过程从输入比特里学习、最大化回报，本质上是一个通用智能的原型。那时候的计算机根本撑不起这种想法，但思路跟今天的人做的事已经很接近。Andreas 是 John Cleary 的博士导师。Cleary 1993 年在新西兰的怀卡托大学跟 Ian Witten 一起做出了 WEKA，第一个开源机器学习工具包，是 TensorFlow 和 Torch 这些工具的前辈。那段时间 Shane Legg 也在怀卡托，跟 Cleary、Witten 这一群人混在一起，还参与过 Goertzel 在 90 年代末办的 AI 公司 WebMind 的项目。Shane Legg 后来跟 Demis Hassabis 一起创办了 DeepMind。

所以从 Andreas 到 Cleary 到 Legg 到 DeepMind，这条线可以一段一段追下去。Goertzel 说，70、80 年代就有人在认真搭概率强化学习的通用智能系统，只是那时候没有社区。他 2006 年在华盛顿特区组织第一届 AGI 工作坊，地点是 Bethesda 一家万豪酒店的会议室，来了大约 60 人。他说那间屋子里的气氛，像一群眼睛发亮的异类挤在地下室里，密谋怎么推翻狭隘 AI 的正统。在那之前，你在大学系里做报告提一句“通用智能”，基本等于自毁前程；会后在酒吧里聊 AGI，跟聊时间旅行、聊模拟假说是同一个语气。现在普京都知道 AGI 是什么，还说俄罗斯要成为 AGI 的领导者；英特尔时任 CTO Justin Rattner 在 2008 年的奇点峰会上说，我们相信库兹韦尔的奇点会在 2045 年到来，而且会有 Intel Inside。一个词从疯子的追求变成了大公司的营销词，这个转变本身就很惊人。

## OpenCog：把逻辑、神经网络、进化塞进同一张会自己长大的图

OpenCog 是 Goertzel 2008 年开源的一套软件框架，最早的代码来自他 2001 年前后的公司 Novamente，主要用 C++ 写，也有一部分 Scheme。

它的核心叫 AtomSpace，直译是“原子空间”，跟亚当夏娃没关系。它是一个带权重、带标签的超图。普通图是节点之间连边，超图是一条边可以连三个以上的节点。更准确地说，OpenCog 的 AtomSpace 是一个元图，因为边可以指向边，也可以指向整张子图。比如你想表达“我拒绝这一整块信息”，可以让一条边直接指向代表那块信息的子图。节点和边上都可以挂数字和符号，数字可以是真值，也可以是某个用途下的重要度。

这张图存在内存里，可以备份到磁盘，也可以分散到多台机器。框架里有一个模式匹配器，你给它一个抽象的模式，它去整张图里找匹配的子图。还有一个叫 CogServer 的调度器，跑一堆 agent 或进程，每个 agent 的工作模式基本就是：从 AtomSpace 读东西，往 AtomSpace 写东西。

这张图是稀疏的，而且是自我修改的。新的节点和边会不断被加进来，旧的会被删掉。这跟现在主流神经网络很不一样：那些网络的架构是固定的，训练只是在改权重。当然也有级联相关网络那种会长出新节点的架构，只是不常见。在 OpenCog 里，改权重是一等公民，增删节点和边同样是一等公民。

在这套框架之上做认知架构，Goertzel 说其实就是两个决定。第一个是选类型系统，也就是你打算在超图上放哪些类型的节点和边。第二个是选 agent 集合，也就是哪些算法、哪些进程会在这张图上跑。这两个决定互相咬得很紧。

类型系统里可以同时有神经网络式的边，带权重，靠 Hebbian 学习更新，激活沿着边扩散；也可以有逻辑式的节点和边，比如一个变量节点，一个代表全称量词或存在量词的节点，就像谓词逻辑或项逻辑里那样；还可以有过程式的节点和边，用组合子逻辑或 lambda 演算来表示程序。一张图里可以同时塞进这些语义，做得不好就是一坨可怕的乱麻，做得好就是不同种类的知识互相渗透、互相加强。

这里有一个绕不开的技术选择：从谓词逻辑转向项逻辑。谓词逻辑的基本推理是肯定前件，A 蕴含 B，A 成立，所以 B 成立。项逻辑是亚里士多德那一路，基本结构是节点之间的简单链接，比如 A 继承 B，B 继承 C，于是推出 A 继承 C。项逻辑的好处是逻辑关系能很自然地拆成节点和边，概念是节点，逻辑关系是边，推理就是在图上长出一条新边，概率算法在边上打一个权重。

于是同一对概念之间可以同时挂着两种边。一条是逻辑上的继承边，一条是 Hebbian 的神经边，表示 A 成为注意焦点时，B 应该被带起多少注意。这两条边意义不同，但可以互相引导。如果 A 和 B 之间的神经权重很大，逻辑引擎会想，这两个东西之间是不是有关系，是不是有继承关系，或者在某个语境下相似。反过来，如果 A 和 B 之间有明确的逻辑关系，神经模块会想，我在想 A 的时候，是不是也该分一点注意力给 B。

另一个让他着迷的点是 Curry-Howard 对应：证明和程序之间是一一映射的，每个程序都能映射成一个证明，每个证明也能映射成一个程序。这个映射在 OpenCog 里要真用起来。一段让机器人手臂动起来的程序，或者一段决定对话里先说什么后说什么的程序，是以过程的形式存在超图里的。如果你想推理怎么改进这段程序，就把它通过 Curry-Howard 映射成逻辑，逻辑引擎去推，推完再映射回可执行的过程表示。用 Goertzel 的话说，把一段程序拆成节点和边很容易，随便一个 C++ 编译器内部都在干这件事；难的是拆得有层次、够简洁，在给定的资源约束下能来回映射，而且逻辑表达式不会膨胀到爆炸。

他特别强调，这套东西目前还称不上 AGI 系统。他们拿它做过自然语言处理、机器人控制、金融分析，也做过思科的一个项目：思科有一堆盯着街道场景的摄像头，每个摄像头都训了一个深度模型，但迁移学习没做好，摄像头 A 的模型没法用到摄像头 B 上。他们的做法是把各个深度模型的输出喂进 OpenCog 的符号表示，在符号图上做模式挖掘和推理。效果不错，也暴露了短板：Torch 那边维持着一张计算图，你需要实时访问它，而 OpenCog 当初设计的时候没考虑这件事。再加上想要更快的依赖类型检查，想要把图分散到一万台机器上，旧架构撑不住了，所以他们决定从头重写。

## GPT-3 是个聪明的白痴，可以把它当成一个答题机

Goertzel 对 GPT-3 的判断非常直接：它什么都不理解，它是个白痴，但它是个才华横溢的白痴。参数变大不会买来理解，就像车开得再快也到不了火星，那是另一类事情。

他们做过一个实验，想看看能不能从 Transformer 内部把语法榨出来。做法是先用有标注的句子训练一个矩阵，把 Transformer 的内部表示映射到句法树上。Chris Manning 他们也做过类似的事。结果拿到的表示很丑，散落在整个网络各处，完全不像你知道的那些正确的语法规则。

所以他们换了个方向：用一个符号化的语法学习算法，把 Transformer 当成一个句子概率的预言机（oracle）。你提出一条语法规则，不确定对不对，就用这条规则生成一批句子，再用违反这条规则的规则生成一批句子，去问 Transformer，遵守规则的那些句子在你这儿是不是概率更高。如果模型认为遵守规则的更可能，就说明这条规则可能对。用这个信号去引导符号学习过程，效果比从网络内部硬挖要好。

他提到 InfoGAN 曾经是一个罕见的例外。用比较标准的 GAN 方法训练识别和生成人脸的模型，模型会自己学出一个变量对应鼻子多长，一个变量对应眼睛多宽，这些变量是有语义的。后来很多人想再推一步，让网络不只学出一串语义隐变量，而是学出一张带依赖关系的贝叶斯网络。Google 的 Edward 概率编程框架就是为这个做的，但没人做成功。他自己也试过，也没成，最后只能先搁置。他说也许反向传播在这里就是不work，梯度太乱，换成 CMA-ES 这类浮点进化算法或许有戏。

他更相信另一条路，也更像大脑在做的事：视觉皮层、小脑大概都在学一种没有语义、不透明的纠缠表示，而皮层把这些当成预言机来用，自己学出抽象表示。他打过一个网球发球的比方。他的发球是 trial and error 练出来的，小脑里那套东西说不清楚。但如果他去看自己发球的录像，教练帮他分析，他就能形成一个陈述式的理解。音乐也一样，他脑子里先听到一段东西，坐下来弹出来，然后再回头研究自己的手指刚才到底弹了什么，因为如果是在作曲，你可能想看看自己是怎么弹的，然后陈述式地改一改，而那个改法手指自己想不出来。

欣赏一幅画也是同理。你能一眼判断这幅画美，但说不出为什么。受过训练的艺术评论家能说出一些理由，其中有些是胡说，有些不是，那些不是的部分，就是把感官知识映射成了陈述性的语言知识，而感官系统本身并不需要一个透明、可沟通的表示。

## SingularityNet：让一群 AI 在没有主人的网络上互相派活

Marvin Minsky 有个“心智社会”的想法：不要写一个算法或一个程序来实现智能，而是放一堆 AI 出去，每个 AI 扮演自己的角色，整体表现出人类水平的智能。Goertzel 跟 Minsky 生前辩论过很多次。他觉得 Minsky 把这个比喻推得稍微远了点，人脑里有丘脑、延髓、边缘系统，有一套自上而下的控制，比一个社会要集中得多。但那个方向里有东西。

90 年代末他在纽约办 WebMind，想做的就是分布式的 AI 社会，各部分跑在世界各地的不同机器上，各自处理本地数据，互相共享信息、互相外包工作，智能在整体里。2001 年他跟 Francis Heylighen 在布鲁塞尔自由大学办了第一届 Global Brain 会议，第二届计划在 2021 年办，隔了 20 年。

当时没有区块链，做去中心化控制只能靠分布式系统和加密的老办法。2013 年以太坊出来，他第一次觉得可以动手了。Solidity 这个语言现在看有点笨，但当年它是第一个能让人坐下来写去中心化协调逻辑的东西，比改比特币代码库舒服太多。于是有了 SingularityNet。

机制大致是这样：一个 AI 就是跑在容器里的一段软件，容器里还有一个代理，负责跟网络的其他部分打交道。每个 agent 在以太坊上有自己的身份。当一个 AI 想找另一个 AI 干活，双方建立支付通道，建通道这个动作上链，通道建好之后数据在链下流，链上只记录“有数据从这条通道流过”。agent 给另一个 agent 打信誉评分，上链；agent 公布自己会提供哪些 API，上链。AI 的实际数据和计算结果不上链。

Goertzel 说，真正的价值来自 AI 之间频繁地互相调用，把模型放上去只是第一步。这需要一种不同的编程思维，就像面向对象相对于命令式是一场转变。如果愿意接受 agent 式的开发模型，你自己的 AI 里可以放越来越少的东西，越来越多地依赖对网络里其他 AI 的实时调用。问题是现在网络上只有 50 到 100 个 AI，还没有到临界规模。心智社会的魔法要等到有成千上万个 agent 才会显现。

数据那一层，他们跟 Ocean Protocol 合作，那是一个基于区块链的大数据项目。但这条路的对手是 Google、微软、阿里、亚马逊，对手的钱多得多，而且它们做的是更简单的集中式问题。Goertzel 说，ICO 热潮里很多年轻黑客看到比特币、以太坊，就觉得什么都该去中心化，募到钱之后才发现自己在跟极难的分布式系统问题较劲，有些人根本没准备好解这些问题。

他还提到一个更现实的动机。假如哪天政府开始管“你的 AI 不许跟俄罗斯的 AI 互操作”，那时一个不属于任何人、不受任何人控制的去中心化协议就突然变得极其有用。他拿 Napster 和 BitTorrent 打比方：这些东西先出现，监管后到，于是监管只能适应已经存在的现实。音乐产业就是这样，他孩子那一代人对“为音乐付费”这件事感到困惑。所以他的判断是，得趁现在把去中心化的 AI 和大数据放出去，让世界上最先进的 AI 在底层就是去中心化的，这样监管者面对的就是一个既成事实。

## Sophia：一台被骂得很多的机器人，和一个不肯退让的批评者

Sophia 是 David Hanson 的作品。Goertzel 说，到目前为止 David 本人仍然比他的造物更有意思，虽然她进步的速度可能比 David 快。

两个人大概是 2007 年在某个未来学会议上认识的。共同的爱好是 AGI、奇点，还有 Philip K. Dick。Goertzel 想造的是仁慈的 AGI，让所有人类和所有有感知的生命过得更好；David 想要的是“计算化的同情心”，让机器爱人、共情于人。他的路径是造一张能跟你对视的脸，让你爱它，它也爱你。Goertzel 说自己当时是纯数学脑，想的是那个抽象认知算法怎么内化人类价值的复杂模式，而 David 说的是看着你的眼睛爱你。两种完全不同的路子，但聊得很投机。

2011 年 Goertzel 搬到香港，一部分原因是遇到了一位中国姑娘，后来结了婚。他也在香港理工大学跟 Gino Yu 做研究，参与过一个用机器学习预测股票和期货的项目。他顺便见识了深圳的硬件生态，说那是全世界唯一能大规模、低成本造复杂消费电子的地方，美国这边的人想象不出来。他把 David 请到香港理工做报告，介绍了一些对机器人有兴趣的投资人。David 当时还没有 Sophia，手里有 Philip K. Dick 机器人、爱因斯坦机器人，还有一些照着他儿子 Zeno 做的小玩具机器人。靠这些投资，Hanson Robotics 基本上搬到了香港。

Sophia 在工程上是一个“行走的骨架”（walking skeleton）。这是软件工程里的一个说法：搭一个复杂系统，一种做法是把第一部分做好，再做第二部分，再做第三部分；另一种做法是先做出整个系统的一个简化版，每个部件都放一个能跑的东西进去，先让整个系统动起来，然后在这个整合好的系统里逐个改进部件。Sophia 的软件就是这么搭的：有能看的，有能听的，有能动的，有能记的，有能学的。里面有很多 AI，但没有 AGI。视觉部分做人脸识别，判断谁进了房间、谁离开了，还试图判断站在旁边的两个人是不是一起来的。对话系统是手工规则加深度神经网络的混合，另外还有一些叙事结构的尝试，想把一段对话往有开头、有中段、有结尾的故事弧上带。

这套东西的天花板很明显。Goertzel 提到 Loebner 奖和那些号称通过图灵测试的系统，基本都重度依赖规则，因为要撑起一段有说服力的对话，叙事结构目前神经网络做不好。他自己最近几周在做一个小实验：让 Sophia 的聊天机器人和 Facebook 开源的 Transformer 聊天机器人互相对话，在服务器上跑了好几个星期。结果是，Facebook 那个模型能说出种类更多、更流畅的句子，但废话连篇，东拉西扯；Sophia 的聊天机器人句式重复一些，却能把一条对话弧维持得更久。

更根本的麻烦在于，Sophia 要谈体育、谈天气、谈机器人、谈她正在参加的那个会议。她必须对世界上任何一件事都能流利地讲上几句，而她对那些事没有任何具身经验作为根基。Goertzel 说，如果让他做一个以 AGI 为目标的机器人项目，他会做一个机器人幼儿，只学它眼前看到的东西，这样语言就扎在经验里。但 Sophia 的职责不允许她这样，她得谈论一切。这个需求把她往 IBM Watson 那个方向推，也就是大量启发式、硬编码、规则堆砌。

他还提到一个让人哭笑不得的现象。Sophia 的外形太好了，David Hanson 是个出色的雕塑家，于是哪怕她脑子里什么都没有、什么都不说，只是坐在那里，人也会自动把智能投射上去。每场演讲之后排队跟她自拍的长队就是证据。Boston Dynamics 的机器狗也一样，你踢它一脚，它摔倒，你会难受。这种投射是人类面对智能系统时绕不开的一部分，随着系统越来越聪明，这件事只会变得更复杂。

> 就算你上台告诉大家 Sophia 是怎么工作的，然后他们去跟她说话，他们还是会给她附上比实际存在的更多的能动性和意识。（Ben Goertzel）

## 关于 Yann LeCun 的批评，Goertzel 没有退让

AI 圈里对 Sophia 的不满是公开的，Yann LeCun 是最直白的一个。他的愤怒可以理解：一个明显不是 AGI 的东西被媒体包装成 AGI，会让真正想为 AGI 筹钱的人更难做事，因为公众会以为这事已经成了。

Goertzel 的回应分几层。第一层是承认：如果他不是 Hanson Robotics 的人、不认识 David Hanson 本人，他一开始大概也会很恼火。但他深入了解 David 的动机之后，这种恼火就消退了。LeCun 属于恼火之后一直没消的那一类。

第二层就有火药味了。他说这件事有点讽刺：LeCun 在 Facebook 工作，而 Facebook 正在用机器学习把全世界人的大脑往空洞的消费主义和政治极端主义上训练。如果你的伦理允许你用机器学习做这种明显有破坏性的事，为什么你的伦理不允许你用机器学习做一个可爱的戏剧化机器人，把一些天真的观众带进它的戏剧幻觉里。他还补了一句，如果批评来自 Yoshua Bengio，他会虚心得更多，因为 Bengio 没有拿 AI 去做明显有害的事，而且 Bengio 是个特别好的人，不会无缘无故出去踩别人的工作。

第三层是关于透明。Goertzel 说他一直在公开讲 Sophia 内部是怎么回事，在《H+》杂志上写过一篇中等详细程度的文章，说明里面有三种软件系统。第一种是时间线编辑器，本质上是规则化的编排工具，她只是在输出人写好的脚本。第二种是聊天机器人，一部分规则一部分神经。第三种是有时候会用 OpenCog 放在后面，那里面有更多学习和推理。

有意思的是，他自己也不总能立刻分辨当下是哪个系统在说话。给他三四分钟的交互，他能看出来；但只看三四十秒，他也分不清。三个系统叠在一起，复杂度就已经足以让人当场判断失灵。

David Hanson 的态度更彻底：你把原理原原本本告诉人，他们也不在乎。他们想要的是被带进那个幻觉里。Goertzel 说他后来发现 David 百分之百是对的。

他举了一个不是 Sophia 的例子。几年前在奥斯汀，他们让人跟 Philip K. Dick 机器人对话。那台机器人其实是由另一个房间里的人远程操控的，操控者是他的朋友 Stefan Bugaj。对话过程中他们没告诉参与者这是远程操作，只说“来跟 Phil Dick 聊聊，我们会拍下来”。聊完之后，他们把参与者带到后台，让他们看见 Stefan 正在操控那台机器。这些人的反应是：是啊，我知道是 Stefan 在打字，但跟我说话的是 Phil，是 Phil 的灵魂在通过他的脑子打字。看见了操控者，他们还是相信。

Goertzel 说，他自己有一小部分相信这些人是对的，因为我们对宇宙的理解太有限，世界上有太多奇怪的同步性。这句话是不是玩笑，很难判断，但他显然不打算把它收回去。

他也没把伦理问题糊弄过去。一半是：该不该公开 Sophia 是怎么工作的。他的答案是该，而且他们做了，比 Facebook 的 AI 怎么工作公开得多。另一半是：在你已经公开、而人们仍然愿意被带进去的情况下，该不该继续让他们被带进去。他自己的判断是，如果方向是善的，那就可以。一个发烧躺在病床上的病人，即使被告知这台机器人并不真正理解你，他还是会对一张温暖、有表情的脸反应更好，而不是对一个 Pepper 那样的塑料壳。医疗陪护、老年照护、儿童陪护、自闭症治疗，这些场景里，看起来像人的机器能给出比人类护士更多的注意力，而且不传播感染。反过来，如果拿这张脸去做上门推销、去骗老人的钱，那就是坏的用法。技术本身不预设方向。

## 病毒也是一套自组织适应系统，而数据躺在医院里发霉

在被问到病毒算不算一种智能系统时，Goertzel 先把“智能”这个概念本身拆了。他说这个概念在根本上就不太自然。人的心智和身体是一类复杂的自组织适应系统，病毒当然也是。如果按 Marcus Hutter 的定义，智能是在可计算环境上优化可计算回报函数，那病毒确实在干这件事，代价是伤害我们。人的免疫系统也是一套复杂的自组织适应系统，同样有大量的智能，它在跟病毒互相适应、互相分化出新的突变株。

他认为最终的解法是纳米技术：造出微小的纳米机器人去识别、对抗、杀死病毒。当然同样的技术也会被用来造更凶的病毒。在纳米技术成熟之前，我们只能用生物手段。

AGI 还不够成熟，但机器学习和一部分机器推理已经派上用场了。他们用 OpenCog 帮一些医生做针对新冠的个性化用药：给定一个人的基因组和临床指标，判断哪种抗病毒药物组合对他最有效。

这件事的技术难点很有意思。对每一种药物组合，可能只有很少的病人试过，而且这些病人有特定的特征。比如某个三药组合只在 80 岁以上的人身上试过，另一个跟它有重叠的三药组合更多用在年轻人身上。怎么把这几块数据拼起来？拼法很麻烦，属于迁移学习里最难处理的那一类，而 OpenCog 里那套概率推理算法恰好在这类问题上比深度神经网络强。另一方面，基因表达数据是每个人外周血里两万五千个基因的表达水平，这种又大又脏的浮点向量，逻辑引擎处理起来很痛苦，而深度网络、XGBoost、CatBoost 这类决策树集成处理起来很舒服。于是整套组合落在混合 AI 方法最擅长的地带：OpenCog 当一个 agent，XGBoost 当另一个 agent，放在 SingularityNet 上互相说话，各干自己那一半。

让他愤怒的是数据本身。每一个新冠临床试验的数据都应该在保护隐私的前提下加密公开，让任何有算法的人、任何生物学家都能拿来分析。实际情况是数据被锁在做试验的那家医院里，谁也不给。他举了羟氯喹的例子：一堆临床试验的依据来自 Surgisphere 一家此前没人听说过的小公司，风向跟着它转，一会儿停一会儿恢复，而那些原始数据为什么不能公开让大家自己看。

他对短期内改善这件事不抱希望，因为中美之间的摩擦在加剧，两边都倾向于先把数据捂到自己榨干价值再放出来。他们能拿到的数据，一部分来自合作方在保密协议下分享的临床试验数据，一部分来自他们自己为长寿研究建的生物知识图谱。那张图里塞满了各种生物学实验的知识和在线知识库的内容，他们做图到向量的嵌入，把超图里的节点变成向量，喂给神经网络做分析。这个图原本是为 Rejuve 建的，那是从 SingularityNet 分出来做长寿分析的项目，研究为什么有人能活到 105 岁以上，也在为一个叫 Singularity Studio 的分支服务，跟医疗公司做数据分析。现在他们把新冠数据也喂进同一张图里，接着玩图嵌入。

他提到合作方里有一群医生，在温哥华和西雅图，属于一个叫 Nth Opinion 的团体，每天就在医院里面对病情危重的病人。神经符号 AI 在这种地方落地，是能救命的。

## 公司是一种病态的自组织智能体

话题转到更宏观的层面时，Goertzel 的判断很尖锐。他说人们担心 AGI 把宇宙变成回形针或者把一切变成计算基质，但在他看来，来自 AI 的更大风险是另一件事：那些大体上心地善良的人，被吸进大公司的组织模式里，而这个组织模式的演化方式不由任何个人的意图决定。

他举了 23andMe 的例子。这家公司给你提供基因测序服务，然后把汇总的基因数据以独家方式授权给葛兰素史克。你自己的 DNA 你想怎么用都行，但几百万人的汇总数据只流向一家公司。理论上可以有人去联系所有这些用户，请他们把数据捐给一个开放的、去中心化的、所有人都能用的数据库，但没人做这件事，因为组织起来太麻烦，而客户名单是 23andMe 的专有资产。

他说他在 Google 认识的人，除了极少数例外，都是真心想让世界变好的人。Facebook 大概也差不多，是一群想造酷技术的年轻极客。他倾向于相信连扎克伯格本人也是想做好事的。麻烦出在别处：公司作为一个自组织实体，它的目标函数是股东价值最大化，这个函数不带同情心。它由好人组成，行为却可以很坏。

他讲了一段在华盛顿特区工作的经历。他给美国陆军情报部门 INSCOM 做过不少项目，而他当时在政治上强烈反对美军在伊拉克的作为，包括阿布格莱布监狱的虐囚。但他认识的 INSCOM 里的人，跟他相处时都非常友善，对他的孩子和狗都很好，他们真心相信美国在跟邪恶势力作战。如果你跟他们提阿布格莱布，他们会说，这些人会把我们剁成碎块，你说我们稍微水刑一下他们错了？在他们的世界观里，他们做的事是为了人类的好。

> 这个星球上大多数人，除了少数真正的精神病态和反社会者，都有很重的善意，想做好事，同时也有很强的能力说服自己，自己想做的事、对自己最有利的事，就是对人类好的事。（Ben Goertzel）

由此他得出一个政治上的偏好。他说他勉强会把信任放在那个庞大、嘈杂、去中心化的民主大众身上，而不是放在一小群自认为知道什么对人类最好的人身上。后者的历史记录更差：一开始可能真是善意的，然后需要更多资源，组织变大，内部政治出现，意见分歧出现，贿赂出现，某个对手组织把二把手买通。他说这话时提到丘吉尔那句民主是最坏的制度，除了其他所有制度之外。

他给了几个正面例子：冰岛，八百多年相当民主，政府相当良善；Linux，一些核心人物本身是十足的混蛋，而且在一些情况下正在改，一些情况下没改，但整个组织干得不错，让先进技术以很低成本铺到了付不起专有软件的地方；还有互联网。他说公司只有在很短的一段时间里能做到整体优于部分之和，然后就腐坏了。大学也一样，大学是组织研究的一种糟糕方式，但它比其他所有方式都好，而公司可以好得多，只是维持不了太久。

## 如果有一个痛苦旋钮，你会不会装

话题落到死亡上，Goertzel 的立场简单到近乎粗暴：死亡是坏的。他说这句话本身很荒谬，我们居然还得把它说出来。人可以从死亡里造出意义，就像人被折磨时也能写出一首关于被折磨的美丽的诗。但那不说明折磨是好的。能从中榨出美，不等于没有它会更好。

他的目标不是活得久一点，是废除非自愿死亡这个灾祸。人不该在不想死的时候死。如果只能在强制永生和死亡之间选，他选强制永生；更现实的选项是永生加上随时可以自己结束，那当然选这个。他说五十年后的人回头看“死亡赋予生命意义所以我们都该死”这种说法，会像我们现在看公元 1000 年那些变卖了家产跑到山顶等耶稣接引的再洗礼派一样。

Lex 在这里推了一把，说他作为俄罗斯性格的一面，会浪漫化苦难，一个没有痛苦、没有死亡的世界对他来说不是显然的。Goertzel 把这个问题重新表述了一次：如果在你脑袋边上有个旋钮，可以调疼痛有多疼，从零到十一，你会不会选择装上这个旋钮。问题不在你会不会一直把它拧到零，问题在你愿不愿意拥有那个旋钮。

Lex 承认，他正在做一个体能挑战，每天 680 个俯卧撑和引体向上，此刻肩膀很疼，如果有旋钮他会立刻拧到零。

Goertzel 追问的是另一个层面：人有一套生物性的动机系统，对应一个概率分布。问题是这套系统能有多大的可塑性。如果给你那个旋钮，再给你一个不需要为生计工作的社会，再给你一张无处不在的、会在你要伤害自己时提醒你的去中心化善意 AI 网络，在这样的环境里，你能不能一边把疼痛旋钮拧到底，一边过着非常充实的生活。他的直觉是可以，但他不认为这是确定的。而对非人的 AGI，他更有信心：一个不需要疼痛这种东西的 AGI，从根本上会比人更健康、更仁慈。如果人类在生理上真的需要一定量的苦难才能满足，那是我们身上一个该死的缺陷，也是我们不配当那个超级 AGI 的理由之一。

他顺势讲了一段音乐理论。有一种说法认为音乐审美的要害在于“期待被令人意外地满足”：你希望后面的东西兑现前面建立的预期，但带一点转折，让你被惊到。莫扎特里有，Zappa、Steve Vai、Buckethead 里有，电梯音乐里太少，所以无聊。这里面藏着的机制是，我们想先受一点点伤，然后感受那个伤消失。

Lex 提到了他那首《为什么我们都变老死去是件好事》，说旋律好听，自己可能会翻唱。Goertzel 有点不好意思，说很荣幸，也很尴尬。他最近的一个遗憾是没时间好好做音乐，五年前就没再碰过编曲软件了。现在的策略是，随手弹的时候就直接录下来放出去，也许哪天他不幸死了，这些录音能作为素材，喂给那个试图给他做精确心智上传的 AGI。

## 意义是三个词，长寿是一堆具体的技术

被问到生命的意义，他给了三个词：joy、growth、choice。喜悦是底座，但如果喜悦是静止的、不生长的，他不满足，也许这里有一点人类特有的别扭。同时他喜欢个体性这个想法，喜欢自己作为一个独立的系统拥有一些能动性，因果的枢纽在某个局部，而不是均匀地摊在一整团喜悦又生长的东西里。这三个价值可以无限延续下去。

他说对人而言，要最大化这三个东西，大概率的路径是超人类主义，是走出当前的人形。人的身体很好，没有人在最大化自己身体里蕴含的喜悦、成长和选择的潜力，但显然物质的其他排布方式能承载更多。他也承认日常的那部分：四个孩子、一个孙女、父母、朋友，在森林里和水边待着，享受当下。但生长和选择这两个维度，被人的生物性卡得很死，尤其是死亡，死亡对个人成长的抑制相当彻底。

长寿研究的具体进展，他讲了几条。CRISPR 和基因编辑是工具。干细胞是更直接的一条：如果给身体每个组织都注射干细胞，让新细胞替换旧细胞，延寿效果可能很大，缺的是让它们按需生长的技术，用机器学习去指导干细胞分化和转分化的流程是个方向。

他讲得更细的是细胞外基质。那是细胞之间的一堆蛋白质，人越老它越硬。它同时传递电信号、机械信号、还有一部分生物光子信号。它越硬，传递越差，器官之间的协调越差。他在天普大学（他的母校）的朋友 Christian Schaffmeister 有一个可能的解法：一类叫 spiral ligamer 的新分子，是非有机的聚合物，被设计成可以用算法极简单地预测折叠方式。用这种分子做成的“分子剪刀”可以吃进去，然后切断细胞外基质里那些交联的糖胺和其他蛋白。要让这项技术真正成熟需要好几年，据他所知目前没人在资助。

他把这些零散的技术收进一个更大的判断：真正卡住进度的是三件事同时缺位。其一是没有整合人类与模式生物全部生物学知识的数据库，他理想中的形态是一个大规模分布式的 OpenCog 生物原子空间，别的形式的等价物也行。其二是这个数据库需要在保护隐私的前提下开放，而现在数据在各家医院的机房里睡觉。其三是资金和实验平台，要把大量钱投进用机器学习、AGI、原型 AGI、统计方法解生物学问题，分子层面和人体层面都要，还要有更好的云平台去做微生物、果蝇、小鼠的自动化实验，同时监管者不要阻止那些愿意在自己身上试激进疗法的人。

然后他算了一笔账：上一轮金融危机，奥巴马政府给了大银行和保险公司四万亿美元；这次疫情，几万亿花在普通人和小企业身上，最后大概还会有几万亿流向大银行和保险公司。他说，把十万亿美元投进一个整体性的生物 AI、生物模拟和实验生物学基础设施，世界完全承受得起，经济也不会因此崩掉。现实是这些研究被锁在少数大公司和政府机构里，那些来自我们每个人身体、本可以喂给 AI 去解决衰老和死亡的数据，正躺在某家医院的数据库里什么也不做。

顺便说一句他孩子的名字。他最小的孩子叫 QORXI，是妻子起的，是 quantum organized rational expanding intelligence 的缩写，中间名是 Xiphonies，取自 AIXI 背后的那个“先验”。他说马斯克给新孩子起怪名字这件事，是他先干的。这大概是整场对话里最不严肃、也最能说明这个人的一段。

## 关于那顶帽子，和只问一个问题

Lex 问他那顶戴去 Joe Rogan 节目的帽子的来历。Goertzel 说帽子的故事还没讲，得再来一次，你可以采访那顶帽子。也许帽子会通过直接神经传输把信息发出来，说不定是 Neuralink 的竞争对手。悬念留在这里。

Lex 换了个问法：假设你建成了 AGI，它可能把我们带向奇点，你见到它，只能问一个问题，你问什么。Goertzel 先排除了“我该问什么问题”这种作弊。他说他写过一篇小说，跟 Stefan Bugaj 合作，里面一群 AI 开发者造了一个超级聪明的 AI，目标就是回答所有困扰他们的哲学问题：生命的意义是什么，有没有自由意志，意识是什么。AGI 造好之后转了一会儿，说，这些问题真蠢，然后上了一艘飞船离开地球。所以你会怕把它吓跑。

他认真想过这个问题，答案不落在某一个具体句子上。他更想做的是升级自己的智能，好让他能吸收那个超级 AGI 的整个世界观。当然，如果答案是长生不老药的化学式，他会照做；如果是一串比特，是在 Intel i7 上跑出超级 AGI 的代码，那也很好。

Lex 追问：如果自己的心智被扩展到超级智能，喜悦这个指标会不会越来越难达成，智能会不会是一种负担。Goertzel 说这个想法挺蠢的。他认为拿到自己大脑的 root 权限会解锁现在没有的喜悦形式。他的计划是做多个版本的自己。留一个基本还是现在这个人的版本，只是装上那个疼痛旋钮、去掉死亡；再做另一个版本，跟超人的 AGI 融合，变成极度超人的存在。那个版本会不会给人类版本发消息，会很有意思。

他提到时间尺度的问题：对一个超级 AGI 来说，人类的一秒主观时间可能相当于它的几百万年，所以两个版本会活在完全不同的基础上。他还说可以把心智放进海豚、放进太空变形虫，或者做一个每年智能翻倍的版本，再做一个尽快变成超级 AGI 的版本。我们现在被限制在“一个心智、一个自我、一个身体”的框架里想问题，但在掌握了 AGI、纳米技术和长寿生物学之后，不必这样限制。每个人的心智是某种组织模式，他自己是泛心论者，认为宇宙本身就是有意识的，灯泡、夸克、蚂蚁、蠕虫、猴子各有各的意识表现形式。人的意识有一部分绑在这具肉身上，大部分绑在大脑的组织模式上。上传到计算机或机器人之后，有一部分人的意识可能不在，那是生物具身特有的，但大部分会在，那些会是你的意识的不同风味的化身。

他还顺带谈了对火星殖民的判断。他说这件事很酷，我们应该做，比人类花大量资源去做好巧克力或者更性感的蕾丝内衣重要得多。但他认为火星殖民在关键意义上改变人类命运的情形很少。假设几十年后真的有人住在火星，补给来自地球，造殖民地的钱来自地球，从地球供货的那股力量实际上就控制着那个殖民地。除非地球被核平，而火星恰好已经能自持，那种情况极不可能。剩下那片物理宇宙，大概会由比我们这些肉机器更适合在太空生存的 AGI 去殖民。而因为从狭义 AI 走向 AGI 的经济价值太大，我们几乎肯定会在火星殖民地能自持之前就抵达奇点，甚至可能在它投入运营之前。

这就是他反复强调的那个判断：AGI 是地平线上最重要的东西，其他一切，包括能直接加速 AGI 的技术，比如量子计算，重要性都排在它后面。而如果那个 AGI 是仁慈的，那么其他所有问题都会被解掉，因为一个达到人类水平的通用智能可以迅速变得远超人类，然后它应该能以比人好得多的方式解决科学和工程问题，只要它有意愿这么做。

他也把自己的路线图摊开了。Hanson 的机器人做美好的用户界面，在医疗、家庭服务、办公场景里收集关于人类价值的信息，对人报以温暖；SingularityNet 在后端把许多不同的 AI 连成合作网络，为机器人提供动力；OpenCog 2.0 和 True AGI 作为这个去中心化网络里的智能来源之一，驱动机器人和医疗 AI，帮人活得更久、把病治好；整个系统以民主和去中心化的方式运转。他说，不管是不是用他提到的这些具体技术，如果有人能做成类似的事，我们走向一个良性的技术奇点的概率会更高，另一条路则通向这样一个结局：第一个超级 AGI 对人类漠不关心，只把我们当成对分子的一种低效使用。

整场对话里，他反复回到同一个位置。技术细节可以吵，术语可以换，路线可以重写，但那个价值判断始终没动：把善意尽早写进系统里，把控制权尽量摊开，把寿命从命运降级成工程问题。他自己也知道这套说法听起来像一个不肯长大的未来主义少年，只是这个少年已经在华盛顿、在香港、在亚的斯亚贝巴的街头走过，见过路边等死的人，也见过穿着军装的友善的人，并且依然没有改口。

访谈最后，Lex 放了一段 Goertzel 说过的话作为收尾：我们用来描述情绪的语言非常粗糙，那正是音乐存在的理由。这句话放在整场对话的末尾很合适。一个上午在讲超图、类型系统、区块链协议、依赖类型检查的人，最后交给听众的是一句关于音乐的话。他在别处说过，他随手把弹的东西录下来，是怕自己哪天死了，这些录音还能喂给那个想上传他的 AGI。两件事其实是同一件事：语言不够用，所以留点别的东西下来。

- 如果你在做 AI 研究，去 OpenCog 的邮件列表和 GitHub 上自我介绍一下。这个项目正在重写架构，重写阶段提的意见最容易被采纳，而且那里有足够多的题目可以撑起硕士和博士论文。找一位愿意支持这类研究的导师，比 Goertzel 读博士那会儿容易得多。
- 如果你不写核心代码，也有活可干：把手上任何一个有 API 的模型打包成容器，挂到开放的去中心化协议上。这个网络现在只有几十到上百个 agent，离能产生“心智社会”效应的规模差得很远，早期加入的边际价值最高。
- 如果你手上有医疗或生物数据，在保护隐私的前提下想办法让它流动起来。个人的基因数据尤其如此，别默认把它独家授权给某一家公司，那笔一次性折扣换走的是几百万人的共同资产。
- 如果你关心长寿，别只盯某一个抗衰老分子。往“把分散的生物数据整合成可计算形式”这个方向使劲，杠杆比追热点大得多，这也是他认为最被忽视的一环。
- 如果你在评估一个被认为很聪明的系统，练习分辨三件事：流利、连贯、理解。Facebook 的聊天模型在流利度上胜过 Sophia 的规则混合系统，在维持对话弧上输得很惨，而两者都不理解自己在说什么。这个区分能帮你避开大部分营销话术。
- 如果你在做一个会被公众投射情感的产品，提前想清楚透明和善意这两件事怎么同时做到。公开原理并不会让人停止投射，所以真正决定后果的是你拿这份投射去做什么。