格雷格·布罗克曼：OpenAI 与通用人工智能

格雷格·布罗克曼高中时写完了整本化学教科书，从原子的基本结构一直写到量子力学。一个朋友跟他说，你不是博士，这本书不可能出版。于是他转去建网站推广自己的想法，然后撞上了编程。

数学、化学、编程，在他看来是同一件事的三个版本。你思考一个问题，把结论写成人类可以共享的形式，存进知识的图书馆，然后别人可以拿去用。区别在杠杆：一篇数学证明可能只有领域里的五个人会读，一段程序却能被地球上任何一个人拿去跑，而且规模可以无限放大。

这是布罗克曼对数字世界最核心的迷恋。一个人，一个想法，影响整个星球。这件事在物理世界里几乎做不到，在代码里是日常。

公司是一个有自己意志的东西

顺着这个逻辑往下推，他不太愿意把人当成某种特殊存在。人是一套信息处理系统，这个描述听起来冷，但能解释的东西很多。

互联网的意义不在那些物理光缆。它的意义在于，一个人突然可以即时联系到地球上的任何另一个人，可以检索到人类积累过的几乎任何一条知识。这是人类整体能力的重新布线。

再往外推一层，社会、经济、一家公司，都是比个体更大的东西。公司里每个人都在想自己的事，都在认真思考该做什么，但公司作为整体会做出一些没有人单独计划过的事。它构成一个有用的抽象，也是真正在做决定的那个东西。

我们把自己当成地球上最聪明的生物，但有一些比我们更大的系统，是我们所有人共同喂出来的。（格雷格·布罗克曼）

他提到阿西莫夫的《基地》。书里有个概念叫“心理史学”：当个体数量大到万亿级别，你或许能预测那个巨大宏观体会做什么，而且预测结果几乎不受个体意愿影响。

电话同一天被两个人发明

布罗克曼说他经常想另一件事：技术决定论。

电话是两个人同一天发明的。爱因斯坦如果不出现，相对论也会被另一个人发现，可能晚二十年，但人类不会永远错过这些真理。这说明所有人都在同一批巨人的肩膀上，你能想到的东西，别人迟早也会想到。

你能改变的是时间线，不是方向。

那么一个人到底能起什么作用？他给出的答案很收敛：你唯一真正的自由度，是设定一项技术诞生时的初始条件。

互联网就是例子。当年有不止一个团队在做类似的东西，最后跑出来的是这一支，因为创造它的那群人真的相信“任何人都能接入”这件事，带着很强的学术气质，开放、互联。接下来四十年，互联网基本长成了那个样子。今天这个方向可能在变，但最初那几年的设定，决定了后面四十年的走向。

莱克斯补了一个例子：维基百科。如果维基百科当年上了广告，今天的互联网会是什么样？它大概是互联网上最重要的公共资源，而它运行得如此之好，好到令人意外。创建者设定了初始条件，然后它自己往前跑了。

如果造出了 AGI，你问它什么问题

莱克斯把话头引向未来：假设你真的做出了一个能通过图灵测试、能用自然语言交流的通用智能系统，你见到它，第一个问题是什么？

布罗克曼的回答没有犹豫。

到了那一步，你已经造出了一个能塑造人类未来的系统，那你最该问它的，就是怎么能让这件事往好的方向走。（格雷格·布罗克曼）

莱克斯追问：你不去问同事，不去问伊利亚，你去问系统本身？布罗克曼说，和伊利亚、和这里所有人的对话早就发生过了。你需要尽可能多的视角和智慧来回答这个问题，强大系统的回答是其中一个输入，不是最终裁决。

他把这个时刻类比成核武器刚被造出来的那几年。当时全世界最重要的问题就是：世界秩序接下来长什么样？人类怎么才能作为一个物种活下来？

为什么坏消息总是传播得更快

莱克斯抛出一个观察：绝大多数可能的 AGI 发展路径也许是正面的，但公众讨论几乎全部集中在负面路径上。萨姆·哈里斯如此，甚至马斯克本人也如此。思考灾难似乎比思考繁荣更有吸引力。

布罗克曼拆成两个问题来回答。

第一个是想象力的问题。1950 年，你要向一个人描述 Uber，得先描述互联网、GPS、每个人口袋里都有一部手机。就算这些都讲清楚了，对方也很难真的在脑子里建立起那个世界。人类历史上每一次颠覆性技术都证明过这一点，而 AGI 比它们全都更具颠覆性。正面图景难画，原因在于它依赖太多尚未发生的中间环节。

第二个问题更根本：破坏比建设容易。造一个东西需要每个环节都对，毁一个东西只需要一个环节出错。物理世界是这样，思想世界也是这样。所以很多人的思考在看到负面剧本的那一刻就停住了，不再往下想。

布罗克曼对此保留了一点乐观。他认为正面愿景是可以被讨论的，而只要把“正面也存在”这个事实说出来，很多人会有反应。他们意识到自己长期只盯着一半的图景。

OpenAI 的三条腿

外界常有一个困惑：OpenAI 一边说这东西有巨大风险，一边拼命要把它造出来，这两件事怎么自洽？

布罗克曼的答案是看结构。OpenAI 有三块主要业务：Capabilities 做技术、推进系统能力边界；Safety 研究技术手段，确保造出来的系统与人类价值对齐；Policy 处理治理机制，回答那个绕不过去的问题：到底是谁的价值观。

技术安全这一块被讨论得最多，科幻电影里的反乌托邦基本都是技术安全失守的剧本。布罗克曼说，很多人看到“人类到底想要什么”这个问题就卡住了。我怎么把这个写下来？我能写清楚自己想要什么吗？写不了。然后他们就在这里停下了。

他的反驳是：我们已经造出了能学习人类无法明确规定的系统。识别一张图里是猫还是狗，规则根本写不出来，但模型能学会。既然这样，人类偏好也可能被学习。OpenAI 技术安全团队的核心方向就落在这里，他说已经有一些令人鼓舞的进展。

人类婴儿可能长成一个好人，也可能长成一个坏人，很大程度取决于他从数据里学到了什么。我们唯一拥有的通用智能样本，就是靠反馈和数据学会人类价值的。那我们对机器用同样的方法，不该感到意外。（格雷格·布罗克曼）

技术问题解决了，接下来是谁的操作员

布罗克曼认为真正的难题在政策这一层，而且被严重低估了。

假设最理想的情况：技术安全全部搞定，系统完全听话，操作员让它做什么它就做什么。那么最重要的问题立刻变成：谁是操作员？他想要什么？这会如何影响其他所有人？

这个问题不需要上升到存在主义的高度就能感受到难度。你只要看看世界上不同国家、不同文化对“社会应该怎么运转”的理解差异有多大，就知道“什么是好的”这件事本身没有现成答案。

他描述的理想状态很具体：美国、中国、俄罗斯，以及另外几百个国家，都能继续按自己认为合适的方式存在，同时这个世界里有一套极其强大的系统在人类身边运转，结果是人的存在变得更有意义，人更幸福、更富有、能过更充实的生活。

一旦你真的拥有了那个强大系统，怎么设计这个世界并不是显然的事。

2015 年 7 月的那顿晚饭

OpenAI 成立于 2015 年。布罗克曼说，起点来自一个很朴素的问题：这个领域已经有六七十年历史了，如果人类智力劳动可以被自动化，什么会变成可能？

这个问题被反复问过，也被反复辜负过。两次 AI 寒冬之后，整个圈子几乎不敢再做梦，公开谈论 AGI 在学术共同体里近乎禁忌。

他认为大家从历史里学错了东西。

1959 年感知机发布，《纽约时报》那篇报道说这东西将来能识别面孔、叫出名字、实时翻译语音。当时的人看了系统，说它什么都做不了，然后花了十年时间试图证明感知机这条路走不通，成功了，经费全断，人们转向别的方向。八十年代有一波复兴，他以前一直听说那是因为反向传播算法被发明出来了。查了当年的文章才发现因果是反的：是个人电脑的普及让更大的神经网络跑得起来了，人才兴奋起来，反向传播是随后的事。

而那时候所谓的“更大的神经网络”，也就二十个神经元。二十个神经元能学到什么？当然出不了好结果。

直到 2012 年，这个五十年代就提出的、最简单最自然的方法，突然成了解决各类问题的最好办法。他列出深度学习的三个性质：

• 通用性：一小套工具，深度神经网络加上一些强化学习，能解决语音识别、机器翻译、游戏博弈等一大批完全不同的问题。
• 有效性：四十年积累的传统计算机视觉方法，被一个深度网络替换掉，效果更好。
• 可扩展性：更大的网络、更多算力、更多数据，效果会继续变好。这一条被反复验证。

这三条加在一起，第一次让人感觉到通往通用智能的路径是存在的。当然不意味着把现有系统放大就自动得到 AGI，推理这块明显还缺东西，但至少有了一个能被相信的范式。

布罗克曼说，一旦你真的相信这件事可能发生，而且可能比多数人预期的更早，你看自己的方式就变了。你不再想自己，你开始想怎么让这件事顺利发生，怎么把人和资源组织起来，以及万一成功了，那个世界是不是我们真的想生活的世界。

一切顺序都反了

正常公司的路径是：创始人和 CEO 起步，做产品，拿用户，找到产品市场契合，融资，招人，扩张，然后大公司发现你存在，试图弄死你。OpenAI 的顺序完全相反。

2015 年 7 月那顿晚饭，讨论的核心问题只有一个：现在才开始建一个实验室，还来得及吗？

AI 正在从学术追求变成工业追求，最好的人都在大公司的研究实验室里，OpenAI 无论攒多少资源，和巨头比都是苍白的。而且不是两个人写个产品就行，你至少需要五到十个人的临界规模。

他们的结论很克制：这件事并非显然不可能。既然并非显然不可能，就值得一试。

一个上限被写死的公司

2019 年，OpenAI 成立了 OpenAI LP，一个 capped-profit 实体。原来的非营利机构继续存在，持有 OpenAI 非营利的名号。莱克斯请他解释这个结构的由来。

布罗克曼的回答从使命开始：确保通用人工智能惠及所有人。实现这个使命的主要方式是 OpenAI 自己去造，然后让收益流向全世界。同时他们也接受别人造出来，只要收益没有被锁死在一家公司、一群人手里。这两条路都写进了章程，也写进了 LP 的结构。

所谓 capped，是说如果 OpenAI 真的成功了，投资人可以拿到回报，但回报有上限。通用人工智能创造的价值会以数量级超过任何现有公司，而这些价值在法律上归非营利机构所有，用来完成使命。

为什么需要这个结构？因为两年前他们意识到，要造 AGI，需要的钱远超一个非营利机构能募到的规模。不是几亿，是几十亿美元。

于是问题变成：怎么拿到这些钱，同时不背叛使命？他们把市面上所有法律结构都看了一遍，没有一个合适。布罗克曼说这其实不奇怪，你要做的事前所未有，那用来做它的结构大概也得前所未有。

我们花了大约一年时间起草 OpenAI 章程。你看第一条就写着，我们预计要调动巨量资源，但我们要确保与使命之间的利益冲突被降到最低。（格雷格·布罗克曼）

对齐“我们到底代表什么”这件事，是设计整个结构的起点。

章程里埋着的两条路

章程里其实同时写了两条路：我们主要靠自己造 AGI，但别人造出来我们也接受。布罗克曼承认这对一家公司来说很怪。

他说这正是设计 LP 时的核心张力。一方面，你要有成为主要参与者的可能性，而这真的需要建组织、募巨资、有执行一个极难愿景的意志力，需要签下一段很长的痛苦和风险。通常的做法就是导入创业公司心态，全力竞争。

另一方面，真正的使命落在“AGI 对全人类是好的”上面，而不是“由 OpenAI 造出 AGI”。那么你做的每一件事，都不能把那些同样符合使命的正面结果关在门外。

百分之百倒向任何一边都是错的。他提到自己脑子里始终有一根弦：不要只对外说 OpenAI 的目标是造 AGI，这个说法太窄了。第一，目标里必须包含“安全”；第二，目标不是由我们造出来。

非营利太纯，营利太满

莱克斯提了一个直接的问题：为什么一家营利公司就不能对世界好？谷歌大部分收入来自广告，这不代表它不能做好事。利润本身不必然损害影响力，真正影响公司的是章程、文化、里面的人，利润只是燃料。

布罗克曼说这个问题背后缠着人类社会最古老的争论之一。他给了一个经验性的观察：让你列世界上最有影响力的非营利组织，很难；让你列最有影响力的营利公司，很容易。今天世界的组织方式确实让营利机构拥有巨大的影响力，其中一部分原因在于营利机构能自我维持，能靠自己的动量往前滚。

这套机制的副作用也很真实。伐木公司开进雨林，那是我们不想要的结果，问题出在护栏没设好。

他接着做了个类比，这个类比是整段对话里最锋利的地方：怎么让一家营利公司产生正面效益，和怎么让一个 AGI 产生正面效益，本质上是同一个问题。你有一个比任何人都强大、在多个维度上超越人类、某种程度上自主运转的系统，你必须设好护栏。设好了，收益巨大。

非营利的问题是“发生的事太少”，它们很纯粹，但推动事情很难。营利的问题是“发生的事太多”。如果形状设计对了，它可以非常正面。OpenAI 走的是中间那条路。

他补充了一个容易被忽略的算术：在 OpenAI 成功的那个世界里，创造的价值是天文数字，所以那个上限只占其中很小一部分，投资人和员工拿到的回报，看起来和一家非常成功的创业公司差不多。他们优化的正是这个成功场景下的分配方式。

普通营利公司不同，它们的信托责任指向股东。在 OpenAI 的结构里，信托责任指向章程，公司永远可以做出章程认为正确的决定，即使这个决定损害股东利益。

董事会握着开关，员工握着钥匙

章程里有一条：避免让 AGI 被用来不正当地集中权力。莱克斯问，OpenAI 自己为什么不会把系统的全部权力攥在手里？

答案分两层。

结构上，决定 OpenAI 行动的权力最终归属于董事会，也就是非营利机构的董事会，它对完成非营利使命负有责任。这是把使命和公司绑在一起的方式。

日常层面是另一回事。董事会决定大方向，真正握着技术王国钥匙的是每天在这里干活的员工。这一层怎么保证？布罗克曼说，答案和任何一家公司的价值观如何落地是一样的：你需要一群真的相信这个使命、相信章程的人，他们愿意做对自己不利但对章程有利的选择。这是文化，也是一件必须长期努力维护的事。

他举了一个大公司很难做到的点：在巨头里，一个基层员工很难走到 CEO 面前说我觉得我们做错了。但在这里，任何人都可以随时把布罗克曼或萨姆拉到一边说这件事，而且经常发生。他提到谷歌员工围绕 Maven 项目发起的那次集体行动，说别的公司也许有自己的机制，但在这里这件事的门槛极低。

竞赛一旦开跑，安全就是第一个被扔掉的东西

章程里还有一条：在后期从竞争转向合作。莱克斯问这条怎么落地。

布罗克曼说，假设技术问题解决了，部署 AGI 有两个关键难题。

第一个是造出第一个 AGI 之前的军备竞赛。看自动驾驶就知道了，这里是竞争性的比赛，而竞争性比赛里永远会发生的事就是：巨大的压力会让人把安全砍掉。

他最担心的是这个场景：多个团队都发现自己能做到，但走慢一点、更安全的路线会输，于是大家都选快的那条。

OpenAI 想做的是不制造这场竞赛。如果竞赛已经在跑，别人跑在前面，他们不打算去跨过去，而是去帮对方成功，只要对方的目标是完成同一个使命。这件事不必自己来做。

但这个承诺不能是单方面的。布罗克曼强调，其他认真做 AGI 的玩家也应该做出类似承诺。如果所有人都相信 AGI 应该惠及所有人，那么是哪家公司造出来的，其实不该重要。所有人都该担心的，是为了抢先而跑得太急，结果出了事。

现在不是监管的时候，是测量的时候

莱克斯问政府对这一领域的角色。

布罗克曼说政府必须在场，这不用讨论。他们做了多次国会听证，和不少议员交流过。目前传达的核心信息是：现在不是监管的时候，是测量的时候。

具体建议是让政府投入精力搞清楚技术现在到哪一步了、跑得多快，让监管者真的具备判断力。

不过他把这件事分了两个层次。

对于当下的窄应用，已经存在合适的监管机构。自动驾驶该由 NHTSA 管，这很合理，因为这些系统在做的是人类已经在做的事，我们已经有关于标准和安全的思考框架，现在就该给这些机构授权。

对于 AGI，将来会有更好的答案，先测量，再讨论规则。他特别提醒，过早扼杀一个正在成长的领域非常容易，这是必须避免的。他随即补了一句：避免扼杀的方式不能是关起门来自己往前冲、把其他利益相关方排除在外。

GPT-2 不发布的那个决定

2019 年 2 月，OpenAI 发布了 GPT-2 的论文，但没有放出完整模型，理由是担心模型被滥用。莱克斯说，光是这个决定本身就有意思，因为它逼着整个社会开始讨论这件事。

布罗克曼先讲了背景。语言模型的路径很清楚：把模型放大，效果会出现质的提升。GPT-2 只是把 2018 年 6 月发布的那个模型放大了很多倍，然后就突然开始写出连贯的散文，这是之前没见过的。

那接下来呢？放大十倍、一百倍、一千倍，会发生什么没人知道。

6 月的那个模型，他们判断是安全的，算学术作品，能带来的正面价值远大于潜在危害。到了 GPT-2，能力已经实质性增强，必须有一条线，从这条线开始认真考虑安全问题。

这条线画在哪里，内部争议很大。宣布不发布之后，外面的反应同样分裂：一批人说这显然该发布，另一批人说这显然不该发布。

如果一件事是否有益并不明显，你大概应该默认选择谨慎。几乎可以确定，不发布是对的决定。（格雷格·布罗克曼）

他把这次决定当成一个测试案例。真正要回答的问题在更后面：一个社会怎么从“完全没有负责任披露这个概念”，走到“我们有强大模型，先走个流程想一想”。

安全社区建立这套规范花了很多年。你发现一个漏洞，报给公司，公司可能起诉你，也可能根本不理你。那怎么办？永远公开漏洞吗？听起来也不好。最后形成的是一整套共识：交给公司，公司在一定时间内不处理，你就可以公开，而且你不是坏人，你做对了。

布罗克曼说 AI 领域眼下完全没有这套东西，GPT-2 就是一次演练。

和机器人区分这件事，注定要输

莱克斯把话题推向一个更大的问题：如果假新闻可以用越来越聪明的方式生产、通过复杂的网络传播、混在真人的原创想法里，我们怎么办？有两种世界。一种是人类永远能设计出识别机器人的系统，另一种是我们接受自己在假信息的海里游泳。

布罗克曼引用了那个流行梗图：机械臂拿着笔点“我不是机器人”。

真正试图区分机器和人类，最终是一场必输的战争。（格雷格·布罗克曼）

他拿验证码举例。最早的验证码就是一张简单的图，因为当时的 OCR 很差，加几个干扰点，人还认得出来，机器不行。今天呢，他自己都经常做不出来。验证码只在某个阶段成立，随着 AI 变强，那些人类很容易、机器做不到的任务会越来越少。

但希望还在，方向要换。人类早就有身份认证的方式：社保号，把现实世界的身份和数字身份绑定的各种机制。他更看好的路是验证内容的来源，而不是验证内容本身。

代价是隐私和匿名性。如果唯一可信的内容是能追溯来源的内容，匿名还怎么存在？他提出声誉网络可能是一个解法，但也承认这个问题没有显然的答案。

他对当下的判断很具体：今天他读到一条推文，会隐约感觉这是真人写的，或者感觉不太像。将来这种感觉会失效。他举了 FCC 网络中立性意见征集，后来发现其中数百万条是自动生成的，研究者当时还能用统计方法识别出来。等到统计方法也失效呢？等到最有说服力的论证是 AI 写的呢？他说，这已经不能算科幻了。

欺骗要划红线，陪伴不必

莱克斯把问题反过来问：为什么和 AI 交互这件事本身是个问题？为什么思想不能来自用人类数据训练出来的模型？

布罗克曼的答案很克制。他说有一条线必须划死，就是欺骗。图灵测试式的场景里，一个 AI 假装成人来骗你，这感觉是错的。人需要对自己所处的环境有掌控感，需要知道对面是 AI 还是人，不能在这件事上被蒙。

另一件事他觉得完全可以。他又提到电影《她》，说这部片最好的一点是，它一开始就在问虚拟关系能有多真实，然后你跟着主角一起被卷进去，所有情绪按钮被触发的方式和对面是真人时一模一样。

一个好笑的段子，有时候是不是人写的并不重要。我们造 AI 的目的是增强人的生活，让人能做更多事，让人更充实。如果能做到，我签。（格雷格·布罗克曼）

语言模型离推理还有多远

莱克斯问：光靠无监督语言建模，能走到图灵测试吗？

布罗克曼说图灵测试真正考的是推理，语言只是外壳。真要过测试，他得能教对面微积分，对面真的懂了，还能解新的微积分题。语言模型做不到这一层，需要把推理接进去。至于接的方式是全新的想法，还是对现有系统稍作改造，这是开放问题。

但他也强调，语言模型已经走得比很多人预期的远。GPT-2 读到“水下着火”这类描述时可能确实不理解那是什么，但它也知道烟来自火，这些是从静态文本里学到的，它没有身体，没有物理经验。

至于“把 GPT-2 放大就能长出推理吗”，他判断不太可能。他给了一个技术上的说法：类型签名不对。

人类思考的时候会投入可变的算力，想得越久答案越好。这个“多花算力换更好答案”的签名，没有被编码进语言模型。模型在进化史上花了极长时间把预测这件事做到极致，但运行时只做一次前向传播就往外吐字。要让签名对上，至少得做点改造，比如生成一整串思考过程，只保留最后收敛的那一段。

另一个缺失是分布外泛化。遇到没经历过的东西，还能持续修正自己的心智模型，这件事在他看来同样和推理纠缠在一起。可能只是一处小改动，也可能是需要几十年的一堆新想法。

莱克斯在这里开了个玩笑：也许从来就没有什么新想法，莎士比亚的所有故事拆开看都是爱与戏剧的不同排列。布罗克曼笑了，说确实。

萨顿那篇博客被误读了

莱克斯提到理查德·萨顿的一篇博文，核心观点是：七十年 AI 研究最大的教训是，能利用算力的通用方法最终会赢。

布罗克曼说，那篇文章的反应很有意思，很多人读成“算力就是一切”，并因此感到威胁。他不认为这是对的。算法上的想法显然极其重要，要造 AGI，算力规模和人类创造力两边都要推到极限。

但他认可那个问题的问法：我们应该追求什么样的想法？答案是那些可扩展的想法。一个想法如果投入更多算力、更多数据就会变得更好，那它就是圣杯。

莱克斯提出一个更现实的角度。一个十三岁的孩子坐在堪萨斯州某处，手上可能只有一块 1080 显卡，甚至没有 GPU。看到“规模决定一切”这种说法，他会觉得自己没法参与。那么要不要把算力的民主化看得和算法民主化一样重要？

布罗克曼把可能性空间切成两块。

一块确实需要巨量算力，没有捷径，这也是 OpenAI 要建大集群的原因。另一块不需要，而且这块里的好想法有个特征：放大后会变得更好，但你在小规模就能发现它。GAN 和 VAE 都是这样的例子，实际做出它们的人当时也没有海量算力。

不过他也补了一刀：最早的 GAN 生成结果相当糟糕。发明者聪明到知道这条路能走通，但东西本身还很粗糙。

他讲了一个哈佛系统教授 Matt Welsh 的故事。Welsh 拿到终身教职的那场报告，布罗克曼就在台下听。那个夏天 Welsh 去了谷歌，然后决定不回学术界了。他在博客里写：作为系统研究者，我做出漂亮的系统想法，做个原型，最好的结局是谷歌或雅虎的人把它实现、真的跑起来。我造了个小东西，他们造了个真正在运转的大东西。我不想再当那个人了。

布罗克曼说这里有个很个人化的取舍：你可以做提出想法、做出原型的人，你拿不到最酷的 GAN 图像，但 GAN 是你发明的。两边都有价值。

也有反例。2018 年 6 月那个模型在小规模时已经创下一些记录，生成结果虽然远不如 GPT-2 惊艳，但能看出苗头。可是有时候规模会催生质变，涌现出小规模完全看不到的行为，连算法最初的发明者都会说“我没想到它能做这个”。

“我没想到它能做到那个”

Dota 的故事就属于这一类。

OpenAI 选 Dota 是因为它比国际象棋和围棋更接近真实世界。棋类是纯脑力的、离散的、回合制的。Dota 是连续时间，动作空间巨大，一局四十五分钟，不同单位、大量混乱因素，之前的游戏都没捕捉到这些东西。而且所有手工写的 Dota 机器人都是灾难，根本没法写，太复杂了。

他们从一对一版本开始，用自我对弈：两个什么都不会的智能体互打，其中一个摸索出一点优势，另一个立刻也学会了，然后双方无上限地互相推高。他们打赢了世界冠军，技能曲线是干净的指数增长，人类迭代循环带来了非常稳定的进步。

然后扩到五对五。这相当于从单挑变成篮球，需要大量团队协同。同一套自我对弈方法，推到了职业水平。

布罗克曼有个比喻：这些智能体更像昆虫智能。一只昆虫在环境里活很久，把大量经验烘进身体里。它不会学微积分，但在自己的环境里导航得极好，面对没见过的东西也能应付。Dota 机器人也是这样，它们要对抗人类，而人类这种事在其训练环境里根本不存在，打法完全不同，但它们处理得很好。

这一点在小规模 PPO 上看不到。训练用了十万级别的 CPU 核心和几百块 GPU，每一天灌进机器人的经验量，相当于数百年。在那种规模下，熟悉的老算法开始表现出完全不同的行为。

2018 年国际邀请赛，OpenAI 上台和世界顶级战队打了两场，都输了，但每场都打到二十五三十分钟，来回拉锯。他们判断那已经是职业水平，只是运气没站在自己这边。国际邀请赛的时间是固定的，他们只能在那一天之前把系统推到极限。两周之后，对同样的对手胜率大约八成。

所以那场比赛是一个快照，不是终局。布罗克曼说他们很快会宣布最终一战，对手是世界冠军，比赛会在这期播客上线前公布。但对他而言，成败判定不在这里。项目的目标从来都是推进强化学习的技术边界，那个目标已经达到了。

项目有生命周期

莱克斯问未来几年深度学习和强化学习往哪走。布罗克曼说方向和规模都要，缺一不可。

OpenAI 内部有一套项目生命周期。一开始是几个人做一个小规模的想法，语言模型就是典型例子：很长一段时间只有一个人在推。然后出现生命迹象，比如初代 GPT 的效果让人兴奋，那就到了放大阶段，加人、加算力，继续推，最终形态像 Dota 或机器人那样，十几二十人的大团队，大规模运转，工程和机器学习研究拧在一起，做出否则根本不可能的结果。

这套流程他们跑过好几轮，一个周期大概一到两年。组织成立才三年多。

2019 年新开的一个团队是 Reasoning Team，由伊利亚和另一位研究员牵头，专门攻“怎么让神经网络推理”。布罗克曼预期这里是长期项目。

莱克斯问，什么样的表现会让你觉得推理真的成了？布罗克曼说逻辑，尤其是数学逻辑。他补充了几类在他看来同构的问题：编程，甚至代码的安全分析，这些捕捉的是同一套核心推理能力，以及分布外泛化。

莱克斯顺势开了个玩笑：如果 OpenAI 推理团队证明了 P=NP，那挺好。布罗克曼说那会非常非常激动人心，尤其如果最后发现 P 确实等于 NP，那就更有意思了。

火星和木星之间有个茶壶

莱克斯问：我们是不是生活在模拟里？

布罗克曼的回答方式很能说明他的思维习惯。他说自己会把问题分成两类：能对世界给出可验证的不同预测的，和只是好玩但不知道怎么影响生活的。模拟假说在他这里属于后者，性质接近“火星和木星之间是不是飘着一个茶壶”。也许是，但很难说这对我的生活意味着什么。

不过模拟在工程上确实有用。OpenAI 的机器手系统 Dactyl 就是在模拟里训练的，用的还是 Dota 那套系统，然后迁移到实体机器人上。外界总说这只是个游戏，你怎么可能跨到真实世界？答案是他们已经用一只没人能手工编程的机械手跨过去了。只要方法对，模拟能走的路比你想的远得多。

但“模拟里的智能体会不会醒来、有没有意识”，他觉得这个问题难得多。

二十个神经元和一只猫

莱克斯追问：造通用智能，需不需要意识？需不需要身体？

布罗克曼先给了不宏大的答案。看看已经在运转的东西：很多人会说，要得到这些结果，你需要真实世界经验，需要身体，需要 grounding，否则你怎么理解烟和火？而 GPT-2 证明你可以走得比这种推理远得多。它没有身体，没有意识，却在某些维度上显得通用了，虽然远不如 AGI 那样能干、学得快。

所以答案大概是：不需要。至少现在这些系统不需要。

然后是宏大的那一半。如果神经网络已经有意识了，我们怎么知道？

他提到动物身上明显存在意识连续谱。他的猫有某种程度的意识，只是不如人。你可以想象造一台意识测量仪，对着猫测出一个数字，对着人测出大得多的数字。那对着一个神经网络测呢？如果你在训练一个巨大的模拟，里面的网络会感到痛苦吗？

他说，要确信答案是“不会”变得很难，要思考“如果是会”意味着什么，也变得很难。

他给了一条可能的解释路径：也许人类有意识，是因为意识是一个方便的计算捷径。一个需要躲避疼痛、需要进食才能生存的存在，最省事的实现方式可能就是让它有意识。如果这个说法成立，那我们应该预期，足够强的强化学习智能体也会有某种意识。但这里有个很大的“如果”，反方向的论证也不少。

莱克斯接过话头说，觉得 GPT-2 有某种程度的意识，这个想法也许没有想象中那么疯狂，就像我们讨论狗的智能、猫的智能、人的智能一样。

最后一个问题，莱克斯问得很轻：我们会不会像《她》里那样，和 AI 相爱？或者 AI 爱上人类？

布罗克曼说，我希望会。

莱克斯说，用爱收尾再好不过了。

如果只记三件事

这期对话发生在 2019 年 4 月，GPT-2 刚发布两个月，OpenAI LP 刚成立一个月，Dota 的最终一战还没打。回头看，布罗克曼当时说的很多判断后来被验证了，也有很多地方他自己承认不知道。对今天读这段对话的人来说，真正有用的或许不是那些结论，是他处理问题的方式。

• 判断一个技术方向，先看它的可扩展性。一个想法如果投入更多算力、更多数据就变得更好，它值得押注；一个只能靠人工反复调优才成立的想法，天花板摆在那里。这个标准可以用来评估你自己在做的项目，也可以用来识别别人给你讲的技术故事里哪一部分是真的有生命力的。
• 把“谁是操作员”当成必须回答的问题，别留到事后。技术安全解决的是系统听不听话，治理解决的是谁在说话、他的价值观会影响谁。任何强能力系统上线之前，这两个问题都得有答案，缺一个都不算完成。这条对做 AI 产品的人成立，对做任何有杠杆的工具的人也成立。
• 遇到“有益还是有害并不明显”的判断，默认选谨慎。布罗克曼对 GPT-2 的处理逻辑可以迁移到很多场景：如果内行吵成一团、两边都有强论证，说明风险不对称，此时不做的成本远低于做错的成本。真正需要警惕的是那种“显而易见该发”的自信。
• 在你没有算力的方向上找可扩展的想法。GAN 和 VAE 都是在资源有限时被提出来的，它们的价值在于放大之后会更好。个人的策略很少是与巨头比集群规模，更可行的是去找那种“小规模能验证、大规模会爆发”的想法，然后把它做出来当作证据。
• 警惕竞争压力对安全标准的侵蚀。军备竞赛里第一个被砍掉的永远是安全冗余。如果你所在的团队正在“慢一点更安全但会输”和“快一点但有风险”之间做选择，那说明赛道本身有问题，值得退出来重新看，或者像布罗克曼说的那样，去找那个跑在前面的人合作，而不是加速跨过去。