# 迈克尔·利特曼：强化学习与人工智能的未来 > 从强化学习的基本原理讲起，探讨奖励设计、智能体如何学习，以及通向通用人工智能的可能路径。 - 原标题：#144 – Michael Littman: Reinforcement Learning and the Future of AI - 期数：第 144 期 - 发布日期：2020-12-12 - 嘉宾 / 主题：迈克尔·利特曼 - 网页版：https://lexfridman-cn.pages.dev/ep/michael-littman/ - 官方页面：https://lexfridman.com/michael-littman/ - 精读字数：约 8602 字（阅读约 19 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 在人工智能圈子里，公开说"我不担心超级智能"需要一点勇气。Michael Littman（迈克尔·利特曼）就这么说了，说得很平静：那些末日论的书他读过，论证他听懂了，但他不相信我们会不小心造出一个能毁灭人类的超级智能。 他为此写过一篇专栏文章，专门回应 Elon Musk。他承认那个论证很难反驳，甚至一度表示自己被说动了一半。最后他还是站到了怀疑的那一边。 布朗大学的计算机教授，强化学习领域的老兵，1980 年代就在家用 BASIC 教电脑下井字棋的人。这期访谈聊了很多：他为什么怀疑 AI 末日论，为什么 AlphaZero 反而没让他惊讶，为什么 GPT-3 写出的漂亮文章暴露的问题可能是人类太套路。 两个多小时的对话，下面拆成几块讲。 ## Musk 的信仰，也是他的盲点 Littman 对 AGI 末日论的看法，落点不在技术，在对人的观察。 他说，Elon Musk 之所以这么成功，因为他**真的相信想法的力量**。你要是有个好点子上太空，就能上太空；有个好点子改变人们开车的方式，就能改变。这个信念驱动了 SpaceX、Tesla，也驱动了他对 AI 的判断：既然想法能推到极限，就一定有人会把它推到极限，然后有人被干掉。 > 他的强项同时也是他的软肋。这不代表这件事一定会发生，只是这样想对他来说是顺理成章的。（Michael Littman） 这个视角挺巧妙。他没有正面反驳那个技术论证，转而去解释为什么有些人天然倾向相信它。 那个论证本身是这样：我们会造出能设计下一代自己的计算机，下一代比上一代聪明，一代代迭代下去，最后比人类聪明，那时它的目标一旦和我们错位，比如它的目标清单里没有"人类继续存在"这一条，我们就完蛋了，因为它比我们强大太多。 Littman 说他理解这个故事的吸引力，也理解 Sam Harris 和 Nick Bostrom 的说法：物理定律里有没有什么东西阻止这件事发生？如果没有，那它迟早会来。这个论证很难被打穿，他自己也承认。 但他抓住了一点：整个过程中，那个东西不会"砰"的一下出现。 ## 747 不会自己拼起来，超级智能也不会 他用的类比是 747 飞机。 有人反驳进化论时说，一架 747 不可能由零件随机拼装出来。这话没错，可 747 确实存在，是人类一块块装起来的。Littman 的意思是，超级智能如果出现，也会是这样一个"造出来"的过程，不会从虚无里突然冒出来。在这个造的过程中，我们会学到很多东西，会知道怎么控制它、塑造它、按自己的样子去建它。 他特别针对一种想象："你打开一个深度学习网络，给它足够算力，它自己就飞升了。"他觉得这种设想违背直觉，因为这样的系统需要帮助，需要有人推它越过复杂性的墙。真要造出一个能在真实世界里自如活动、处理事情的系统，你不可能全程不在场。 > 如果你相信你只要打开一个深度学习网络，给它足够算力，最后就能到那儿，那确实很吓人，因为我们完全不在回路里。可我并不这么看。（Michael Littman） 他没有说超级智能在物理上不可能。他说得很清楚：放在人类历史的长尺度上，它最终可能出现。他的判断是，这个过程里人类有大量介入的机会，不至于毫无准备地迎接一个庞然大物。 讲到这里，他提了个不太舒服的对比：核武器。 如果认真复盘 20 世纪，某些危机时刻加起来，人类被核武器毁灭的概率他觉得能放到 30%、40%。人类曾经多次擦着毁灭的边走过去。活下来靠的并非算无遗策，运气和临时反应占了大头。 ## 真正的威胁已经发生了 聊到这儿，Littman 转向了一个他觉得更紧迫的方向。 他的原话大意是：那个我们担心的 AI 场景，其实已经在发生了，形式跟科幻电影不一样。**社交媒体就是一套已经在操控人类集体心智的算法系统**。我们已经有一个"集体智能"在运转了，它由一堆简单的推荐算法加上几十亿人构成。 Lex 接过话头，说自己在网上有了一小支黑粉军团，虽然他一直在讲爱和善意。这算是他学到的技能：控制自己去看评论的量。 Littman 讲了他父亲的故事。他父亲在 Drexel 大学管一个很大的研究所，随时有邮件、有麻烦、有戏剧性的事在等着，那种"忍不住去刷新"的冲动真实存在。他说他父亲那一代人没学过怎么关掉网络走开，现在的年轻人一边被网暴、被算法伤害，一边也在被迫学会这个技能。 他对这一代人的期望很有意思：**当年初中年纪撞上社交媒体爆发的那批人，是唯一能修好它的人**。他们被伤得最深，也最懂它是什么。如果这批人能搞清楚怎么既保留社交媒体的好处又不被它吞掉，人类就进入下一关；如果搞不定，那就真的会互相撕碎。 他说到自己女儿，既深度参与社交网络，又一直在找那个平衡点，有时走得太远被吞掉，有时能拉开距离。这样的人足够多，这潭浑水就有得蹚。 ## 从 BASIC 到贝尔实验室 访谈中段转向 Littman 的学术生涯，这部分信息密度很高。 他 13 岁那年在 RadioShack 看到电脑，觉得不可思议：为什么它算 (1+(2+1)) 从来不出错？我在代数课上花了好几年才学会的东西，它怎么天生就会？ 他父母原本要给他办成人礼派对，问他要什么，他说要电脑。13 到 15 岁那几年，他说自己完全没有记忆，就是待在房间里对着电脑，听着 Billy Joel 唯一的那张黑胶唱片。15 岁那年他走出来，觉得"我可以重新跟人说话了"。 大学去了耶鲁，因为 Princeton 只有"计算机工程"没有"计算机科学"，他不想碰硬件。在耶鲁他修了很多心理学课，自称"认知心理学的追星族"，喜欢泡在认知科学家堆里，因为"大脑这玩意儿太邪门了"。 那时候是 1980 年代初，神经网络刚开始冒头。他在一门课上读到 Steven Pinker（史蒂文·平克）和 Prince 合写的一篇长论文，做的是神经网络批判。他把这篇论文比作那个年代的"Gary Marcus（加里·马库斯）和 Davis"，意思是这类认知科学家会承认神经网络能做很多事，然后逐条列出它做不到的事，说你的视野圈得太窄，得看更大范围的问题。 就是在那门课的讨论里，他第一次碰到强化学习这个概念。他当时的想法很朴素：心理学里最有意思的是行为，程序也是会行为的东西，他想做的是让程序学会行为。这基本就是他后来整个研究方向的原点。 毕业后他去了 Bellcore（贝尔通信研究所），1984 年 AT&T 拆分后从贝尔实验室分出来的机构。他进的组里有 Dave Ackley（戴夫·阿克利），玻尔兹曼机论文的第一作者，那篇论文证明了神经网络可以学非线性概念，把被感知机论文打压下去的神经网络重新救活了。 Ackley 成了他的导师，给了他 Rich Sutton（理查德·萨顿）1984 年那篇 TD 论文。Littman 说当时没全看懂，但抓到了核心：用他熟悉的神经网络和反向传播的思路，去做时间上的预测。 然后发生了一件他觉得不可思议的事。他说他想更深入理解，Ackley 说"那我请他来做个报告吧"。Littman 的反应是：什么叫请他来？这不是发表出来的想法吗？ > 在我脑子里他们只是文字，是某种神奇地渗进论文里的想法。Dave 说，不，我认识 Rich，叫他下来讲一场就行。（Michael Littman） 那次报告讲的是 Q-learning。Littman 说这对他是个启示，因为 Q-learning 是 off-policy 的：你可以在学着怎么最优行动的同时，学着评估环境里每个动作的价值，两件事分开进行。而他之前理解的 TD 理论要求预测的过程必须稳定，这样才能改行为。 他用一种带点敬畏的语气说，一个方程，一行代码，就能捕捉"智能"这件事的全部，至少眯着眼看是这样。他最早是用 Lisp 写的。 ## 神经网络低语者 1990 年代，Jerry Tesauro（杰里·特萨罗）的 TD-Gammon 在双陆棋上干出了名堂。 Littman 讲了这个工作的两步。第一步是监督式的：用人类专家的走法训练网络，模仿动作不是目的，学一个评估函数才是。专家选了 A 没选 B，就说明专家认为 A 更好，那就调整权重让网络也认为 A 更好。这本质上是从人类偏好里学习。 第二步才真正惊人：去掉训练者，让它自己跟自己下，变成纯粹的强化学习问题。 然后业界开始外推：这么难的问题都解决了，其他难题应该也不在话下。结果绝大多数都没做成。原因之一是当时的神经网络本身就不稳定、不可靠，放到强化学习框架里训练，基本是一团乱麻。 Littman 说他带了一届又一届硕士生去做值函数近似，就是想用神经网络做强化学习，反反复复地失败。 > 我现在相信 Jerry 是神经网络低语者。他有某种特殊能力，能让神经网络做成别人觉得不可能的事。技术加上 Jerry，才凑成这件事。（Michael Littman） 这段话后面接着一个更重要的观点。他说人们太容易把功劳归给技术，忘了人的作用。他举了 Stallman 和 GNU Emacs 的例子：没人会说"有这款软件，是不是证明计算机强大到要接管世界了"，大家知道 Stallman 是个狠角色。换成机器学习，同样的道理就被忽略了。 ## AlphaGo 让他震惊，AlphaZero 没有 聊到 AlphaGo，Littman 用了"把我袜子都吓掉了"这种说法。他说震惊他的有两块：一是他们能把一堆不同的想法整合进一个巨大的系统，光是工程部分就够惊人；二是 David Silver（大卫·西尔弗）这类人能"哄着"这些网络用新的架构去解决大家以为解决不了的问题。 背景是这样的：当年学 AI 的时候，老师们多少传递过一个印象，围棋是 AI 的极限测试，谁能解围棋，谁就摸到了通用智能的边。那些在国际象棋上打败世界冠军的技术，在围棋上连个普通少年都下不过。短短几年就翻盘了，这确实震撼。 那 AlphaZero 呢？他的看法和很多人不一样。 他提到 Satinder Singh（萨廷德·辛格）的看法，Satinder 认为 AlphaZero 更惊人，它完全去掉了人类棋谱的引导，纯靠自我对弈。Littman 不同意。 他的逻辑很直接：AlphaGo 本来就有大量的自我对弈，人类棋谱只是用来"启动"策略网络，之后还是用传统时序差分方法训练了很久。从"去掉人类数据"这个角度看，他觉得差别没那么大。 > 第一次能跑通，它就是能跑了。所以 AlphaZero 我并没有觉得那是另一个量级的突破。（Michael Littman） 不过他承认 AlphaZero 至少完成了一次战略上的量子跃迁。它发展出了自己的、更有效的策略，并没有停在更好地执行人类策略的位置上。他的判断是：第一次从零到能跑通才是最难的那一步，后面那次飞跃固然了不起，性质却不同。 ## 自我对弈的天花板在哪里 Lex 提到 David Silver 说过一句话，语气平静但听着瘆人：**他们还没找到 AlphaZero 的上限**。算力往上堆，棋力就往上走。 Littman 的回应是：注意，它变强的是围棋，不是别的东西。从这里推到"所以它在其他任务上也更强"，是个很大的跳跃。 他讲了一段国际象棋的历史，很有意思。 一千年来人类是地球上最强的棋手，然后电脑超过了最强的人类，再没被反超。中间有一段时间，**人和电脑组队，能打败最强的电脑**。他用 Elo 分数解释：你能稳定赢某个分段 62% 左右，你就高一个段位。人类的棋力有个上限，电脑超了一步，人机组合大概又超了半步，然后就趋于平缓了。 这说明国际象棋有个有限的战略深度。你到了某个点，就没法再强了。 围棋的战略深度比象棋大得多，能往上走的台阶更多。没有理由认为它是无限的。所有有限博弈在理论上都有最优策略，也就是极小极大最优，到了那一步就再也强不上去。只不过这个策略可能复杂到无法压缩，人类永远达不到，它确实给"能提升多少层"设了个上限。 所以 David Silver 说的"没找到上限"，Littman 的解释是：那可能只是还在爬一条收益递减的曲线，还没爬到顶而已。 ## GPT-3 照出的是人类的套路 话题转到语言模型，Littman 先给了个公允的评价。Transformer 这一族东西确实很酷，如果你早年玩过马尔可夫链生成文本，见过那些胡言乱语，再看现在的输出，会觉得很惊人。 他接着说了另一半：**你跟这些系统聊不了多久就能找到漏洞**。它不具有一般意义上的聪明，它在一堆具体任务上很强，它对语言的统计规律掌握得极好，这个能力很有用，能回答很多问题，可它当不好对话者，也当不好讲故事的人，它只是擅长模仿见过的东西。 然后他说了一句我觉得整期访谈里最有意思的话。他说，同样的批评可以套在人身上：特朗普的支持者说拜登的支持者不聪明，只是跟着见过的东西走；反过来也一样。 他自己接过这个思路往下推：GPT-3 写出的东西很像人，这不必然说明电脑比我们以为的聪明，**有一部分意思是人比我们以为的笨**。我们日常做的大量事情没那么深。顺着话头往下说，说什么感觉自然就说什么，其中真正有创造性、有意义、有意图的部分不多，刚好够用。 问题在于统计上看不出来。我们说的话大部分是套路化的，衡量这些系统的指标也照不出那些少见的、真正有创造性的部分。 这就是他对"堆算力就能通向通用智能"的怀疑所在。他的判断是：光靠人类写下来的所有文本去学，远远不够。**语言这种东西，必须有人跟你顶回来才算数**。 > 它们只从我们的故事里学，不从被我们反驳中学。在这条路上，它们能变成什么是根本受限的。它们得被我们驳倒几次，才会意识到，哦，这里有点微妙的东西是真重要的。（Michael Littman） 这话听着温和，其实是个很硬的限制条件。跟人交互的带宽极低，成本极高。自我对弈之所以能成，因为它能做海量的交互。强化学习系统没法部署到真实世界跟人反复过招，人类的注意力太贵了。 所以他觉得这个领域真正该做的，是让算法在保持强化学习精神的前提下，把样本效率提上去。 ## 苦涩的教训，和它的对冲 Lex 提到 Rich Sutton 那篇《The Bitter Lesson》（苦涩的教训）。核心论点是：回顾 AI 七十年，实践中提升最大的算法往往是那些简单粗暴、能吃算力的笨算法，然后等硬件变快。学者们热衷于找各种技巧，为技巧欢呼，几十年过去，笑到最后的还是那个笨算法加更快的电脑。 Littman 先开了个玩笑："所以我们其实只是计算机体系结构的一个子领域，一直在等硬件的人干完活。" 他提了一个更早的版本：计算语言学家 Fred Jelinek（弗雷德·杰利内克）说过，每次我们解雇一个语言学家，系统性能就涨 10%。把语言学的知识硬编进去，效果远不如扔掉这些知识、多喂数据。 接下来是他自己的分析，我觉得是这期最有价值的部分之一。 组合复杂度是爆炸式增长的，可能性的数量增长极快。摩尔定律恰好也是指数增长。两条指数曲线摆在一起，看起来就永远追得上，于是我们不用费劲设计算法，等着就行。 **可这个前提正在松动。** 他提到一个很多人不知道的点：摩尔定律有个"反向定律"，每一代芯片的研发成本也在翻倍。分摊到每次迭代上的研发投入其实是不变的，总有一天钱会不够用，或者必须换一种完全不同的研发方式。 他对"指数曲线没有尽头"这类说法一直持怀疑态度。他的判断是，我们很可能在一条 S 形曲线的前半段，前半段看起来特别像指数，后半段看起来特别像收益递减。 Lex 补充了一点：如果真去看摩尔定律背后的技术，它由成百上千条 S 曲线叠起来构成，是连续的突破。真正值得关注的，是维持这些突破需要的团队规模和资源投入在怎么变。 ## 开车是社会行为，这才是难点 访谈里有一段讲自动驾驶，视角很特别，因为他正在教两个孩子开车。 他坐在副驾，说这真的很吓人，因为他想活着。孩子们上手比他想象中快：他们理解自己在看世界，理解有一条路要待在上面，理解方向盘角度和车的关系。保持在车道里、保持速度，这些都学得挺快，就是一开始很颠。 真正难的是什么？他说，**开车在很大程度上是一种社交行为**。这一点他以前完全没意识到，直到看儿子学车。 他儿子一直有社交沟通上的困难。学车时，他发出的是混乱矛盾的信号，周围的车读不懂他，就开始做出奇怪、不稳定的动作。Littman 当时毫不怀疑他会出事故，因为别人读不懂他。你必须被人明确教：你得想别的司机在想什么。 这里引出一个概念：心智理论，以及对"别人心智理论"的心智理论，一层套一层。 他说在他去过的自动驾驶讲座里，很少有人讨论这个。有些人考虑过，但这件事比想象中微妙得多。行人更极端：他们有几个奇怪的自由度，随时可能转身，你根本不知道他们要干嘛。人类就是知道，因为我们有很好的心智模型，还有对"对方模型"的模型。 他也承认，可能这件事真没那么难，是可以学出来的。他试驾过一家做自动驾驶的公司的车，开得很激进、很快、很好，体验不错。Tesla 也会让他改主意：也许开车没那么难，也许我有点人类中心主义。 他还是回到了那个更根本的判断：这类技术在真实世界里的推进方式是混乱的，民主本身是混乱的，AI 系统进入现实的方式也是混乱的。 ## 三本书，和"编程即权力" Lex 问了那个经典的三本书问题，Littman 先耍了个花招，讲了个故事，然后给出答案。 第一本是 Douglas Rushkoff（道格拉斯·拉什科夫）的《Program or Be Programmed》（要么编程，要么被编程）。 核心类比是识字。从前不是所有人都识字，一旦识字成为可能，识字的人在社会里就更有话语权，于是社会花了大力气让所有人追上。现在识字率当然还没到 100%，已经足够普遍，普遍到"人会读书"成了默认假设。 Rushkoff 的论点是：编程是同一类事情。会读，意味着你能接收信息，你没法往外发。编程是往外发的那一端。 Littman 说 Rushkoff 本人后来对这个想法有所后退，觉得社会没往那个方向走。Littman 自己仍然相信这个前提：我们和机器、和网络的关系，最终应该是每个人都能让机器帮自己做想做的事。他作为软件从业者知道怎么做，随手写个脚本就行。如果活在一个所有人都能这么做的世界里，那会是个更好的世界，**别人的软件对我们这群人的控制也会更少**。 第二本他正在读，Brian Christian（布莱恩·克里斯蒂安）的《The Alignment Problem》（对齐问题）。他说这本书分三部分：第一部分讲公平和 AI 对社会的现实影响，写得很好，作者亲自去采访了提出这些想法的一线人物；第二部分讲强化学习；第三部分讲超级智能的对齐问题。他说第三部分大概会让他读得没那么愉快。 他也顺带夸了 Stuart Russell 那本书，说它对 AI 技术本身的解释做得特别好。 第三本是 Ted Chiang（特德·姜）的《Exhalation》（呼气）。就是写《你一生的故事》、被改编成电影《降临》的那位。Ted Chiang 本人是计算机专业出身，在布朗读过书。Littman 说这些短篇每一篇都有一个很有洞见的科学或计算机科学内核在驱动，作者把我们已经知道的东西往外推到某个极端结论，造出一些人工世界，读起来很过瘾，也很烧脑。 ## 人生的意义是平衡 最后 Lex 问了那个大问题：这整个事情的意义是什么。 Littman 的回答很具体。他 42 岁那年办了个"生命意义派对"，因为《银河系漫游指南》里 42 是终极答案。他让每个来的人做幻灯片，讲自己认为的生命意义。 他自己的答案是：平衡。 派对的互动环节是各种平衡玩具：平衡板、弹簧单高跷、ripstick（那种两轮扭来扭去的滑板）、独轮车。他说独轮车当时不会骑，现在会了，骑得不算好，能骑。 他说他妻子有个更实用、可能更准确的答案：和你爱的人保持健康的关系，为好的事业努力。他自己的那个词还是平衡，什么都不能太多，太多就有问题。 整个访谈到这里收尾。从超级智能的宏大叙事，到社交媒体已经在操控我们，到强化学习的历史，到 GPT-3 照出的人类套路，最后落在一个 42 岁生日派对上的独轮车。 这个收尾挺利特曼的。他整期都在做同一件事：把那些听起来最吓人的说法拆开，看看里面到底有什么，然后指出真正值得担心的地方往往在别处。他不否认风险，他把风险放回它该在的位置。 ## 读完能做的几件事 这期对话信息很密，落到行动上，有几件具体的事值得做。 - **给自己设一个"算法查看预算"。**Littman 讲他父亲关不掉邮件的那个故事，说的是同一个机制。评论、私信、数据面板都是被设计成让你忍不住刷的东西。定一个每天的次数或时长，写下来，照做。 - **用两周验证一次"品味是可以训练的"这个假设。**Littman 说他连续听 Billboard 前十，第一周没感觉，第四周那首歌就成了自己的一部分。挑一个你现在欣赏不来的东西，连续接触两周，观察自己的判断怎么变。这个实验比读十篇关于神经可塑性的文章管用。 - **读《Program or Be Programmed》，然后写一个真正给自己用的脚本。**不用大，把你每周手动重复做的一件小事自动化掉。体会一次"让机器替我做我想做的事"的感觉，你就理解 Littman 说的"编程即权力"是什么意思了。 - **下次看到一个惊人的 AI 生成结果，先问一句：这是机器太强，还是这件事本来就没那么深？**GPT-3 写出的公关稿、营销文案、通稿很像人，可能因为这类文本本来就高度套路化。用这个视角去看，你对 AI 进展的判断会准很多。 - **如果想入门强化学习，从 Rich Sutton 和 Andrew Barto 那本书的第一章开始，重点看 TD 和 Q-learning 那两节。**Littman 说 Q-learning 的核心能浓缩到一行代码里，这个说法不夸张。先把那个更新公式手推一遍，比看十篇综述管用。 - **开车的时候，留意一次你和别的司机的无声交流。**变道前对方让不让、路口谁先走，这些都是 Littman 说的"心智理论"在实时运转。意识到这一点，你会更理解为什么自动驾驶这么难，也会更理解人类智能里那些不容易被数据捕捉的部分。