戴维·费鲁奇:IBM Watson、《危险边缘》与和 AI 的深度对话
David Ferrucci: IBM Watson, Jeopardy & Deep Conversations with AI
Watson 项目负责人回顾它击败人类冠军的过程,复盘构建这种人机深度对话系统的经验。
医生告诉戴维·费鲁奇(David Ferrucci),他的父亲已经脑死亡。理由是统计学:在类似的四个条件下,有98%的概率大脑功能已经停止。费鲁奇问,能不能不靠归纳统计,直接告诉我,你们凭什么知道他大脑不工作了?回答是,这就是我们做决定的方式。他拒绝签署不抢救同意书。大约24小时后,他父亲坐在病床上,没有任何脑损伤。
这个故事出自他和Lex Fridman聊AI可解释性的一段,几乎能串起整场对话的每一个主题:统计推断的边界、演绎推理的价值、人类做判断时的偏见,以及为什么我们最终需要能“讲道理”的机器。
费鲁奇是IBM Watson背后的负责人。那套系统在《危险边缘》(Jeopardy)上击败了人类顶尖选手。后来他离开IBM,创办了Elemental Cognition,换了一个目标:造出能和人类深度对话、共享理解的AI。抢答速度已经不重要了。
生物大脑和硅基系统,到底差在哪
费鲁奇本科读的是生物,本来打算去医学院,后来转了计算机博士。Lex把这个问题抛给他:生物系统和计算机系统有什么本质区别?
他的回答很坦率:他不确定有实质性区别。把他拽进AI的,恰恰是这个预设:如果我们能让机器思考、理解、处理信息,如果智能本身可以被描述成一个过程,那生物和硅基的差别在哪?可以往灵魂、往灵性的方向走,但从理智和物理层面看,他说自己没有被说服“生物系统本质上更强”。
他补了一句关键的:我们不应该把目标设定成“复制人类智能”。人类智能有很多让人羡慕的地方,也有很多毛病。真正该问的是:我们想要一个什么样的智能?想怎么和它交流?想让它怎么表现?
而他马上意识到这里有个自我指涉的循环:他正作为一个生物大脑的人类,坐在那里评判人类智能的优缺点,还说我们有能力退后一步反思“智能到底是什么”。这件事本身就说明人类智能相当值得羡慕。
智能的第一层:能找到函数并预测
费鲁奇把智能拆成两层。第一层是预测能力:给你一点先验数据,你能不能找到背后的模式,准确、稳定地预测接下来会发生什么。变量越多、可能性越多,问题越复杂。但如果你能用更少的数据、更少的训练时间做到,你就更聪明。如果你还能判断“什么值得预测”,那你更聪明,因为你在选择通往目标的路径。
他说,这基本上就是深度学习和机器学习在做的事。给出足够的历史数据,告诉它哪个输出变量重要,它就能学着预测。能做到,就是智能的一种形式。
但这层能力有个特点:它不需要“理解”,只需要找到那个函数。机器可以预测得很准,却完全说不清自己是怎么做到的,也没法把方法教给你。这时候你可能承认它厉害,但你会觉得它像个“白痴天才”(savant),它在做一件奇怪的事,而你没法跟它交流。
智能的第二层:说服别人你懂
第二层是费鲁奇更在意的:你能不能把推理过程讲出来,让别人理解、复现、认可。他把这称为智能的社会属性。
“理解”本质上是一个社会概念。我得说服足够多的人,相信我是用合理的方式得出结论的,是别人能理解、能复制的方式。(戴维·费鲁奇)
这个说法听着抽象,其实非常具体。他举了个例子:你坐在办公室里问团队该不该买某只股票,有人说“买”,你问为什么,对方说“我感觉挺好”。哪怕这人过去一直判断准确,你也不会满意,因为你要押上整家公司。他必须给你一个能说服你的解释。这个解释可能和真相无关,但它必须具备说服力。
Lex追问:那数学证明不也是这样吗?费鲁奇说,当然。数学证明本质上也是说服。历史上有些证明,数学家研究很久才被说服它真的证明了什么。在数学共同体点头之前,没人能确定它成立。
这就是为什么他说,人类的智能是“绑在一起”的。我们谁也没法单方面宣布自己理性,得靠彼此说服、彼此审阅。
《危险边缘》那个疯狂提案是怎么被接下的
2004年,Ken Jennings在《危险边缘》上连胜。IBM内部有人提议:让计算机来玩这个节目吧。这个想法在高层转了一圈,几乎所有人都说不行,太疯狂了,不能拿IBM的声誉冒险。提案一次一次转到费鲁奇桌上,一次一次被否。
费鲁奇当时在IBM研究院带着一个团队做开放域事实型问答(open domain factoid question answering):不告诉系统问题是什么、关于什么,让它自己去找准确答案。这正好是他多年的研究方向。2006年底,提案又转了过来。这次他接住了。
他给自己定的期限是三到五年,最后用了四年。他说自己运气好。
接下这个项目的时候,他私下有多大把握?Lex追问得挺直接。费鲁奇的回答是:他觉得可行。原因很朴实,他做过一些初步实验,又对开放域事实型问答的现有方法很熟。他一条一条列出已知的困难:问题不好解读,速度不容易赶上,置信度算不准。这些事过去都没人做好过。
真正驱动他的是一句更朴素的话:他在IBM研究院,这是研究院该干的事。这类项目属于那种“把技术推到极限”的类型。成了,说明路走通了;不成,至少能拿出证据说清楚这个坑到底有多深。
他后来向高管汇报时的论证方式也很工程师:给出可行性研究,展示哪里成功、哪里失败、为什么失败,再给一个高层架构说明为什么值得做。而高管们当时真正在找的,其实就是一个愿意押上声誉的人。
难点一:题目根本看不懂
《危险边缘》的题目不会直白地问“哪座城市”。它绕弯子、玩文字游戏、藏双关。几十年前的老题目还比较直接,后来越来越含蓄、越来越幽默。人类选手读完题目,冠军已经抢答完进入下一题了。
费鲁奇说,很多不太熟悉这个节目的观众会有个误解:以为只要知识面广就能赢。实际坐下来读题才发现,光是搞清“它到底在问什么”就得花上几秒,而那几秒里,台上的冠军已经答完三道题了。
难点二:答案类型是一条极长的长尾
如果题目只问“哪个城市”“哪个人”,系统还能针对性地编码。但《危险边缘》里有成千上万种答案类型,是一条极长的长尾。就算你把最高频的几十种类型全覆盖,也只能覆盖很小一部分数据。想靠“穷举常见答案类型”这条路走通,从一开始就堵死了。
难点三:机器不能上网
比赛要求一个自包含的设备。可以跟房间一样大,可以占几台冰箱的位置,但不能连互联网,不能有任何外部生命线。所有知识必须预先装进机器里。这个限制把“实时搜索”这条最省事的路径直接砍掉了。
难点四:光靠搜索远远不够
费鲁奇说,按当时的水平,即便做了网页搜索,大约只有65%的情况下正确答案出现在前10到20篇文档里。而想进冠军圈,得知率超过70%,还得快。
更麻烦的是,系统并不知道哪个答案是对的。它手里有一堆文档,正确答案藏在里面某个位置。它得自己把候选找出来、逐一打分、再算出一个可信的置信度。这个置信度还必须快到能在抢答窗口内算完,否则答得再准也没机会按下按钮。
三秒钟内的工程奇迹
Watson的做法是:不真正理解语言,但用尽全力把问题答对。
费鲁奇从项目一开始就明确表态:我们不会去真正理解语言。不会去解析问题背后的知识领域再做推理。但他同样不认为简单搜索就够了。他的假设是,现有的NLP和机器学习技术已经足够,关键是能不能把它们集成好,看看哪里会崩,崩了就补。
他有个研究员跟他说,做问答系统需要“麦克斯韦方程组”级别的突破。费鲁奇回了一句:如果我们真需要一套理解语言的全新基础公式,那我们就完蛋了。他赌的是架构整合,没打算等一个新发明从天而降。
具体怎么跑?
- 先做语料筛选。核心资源是维基百科、百科全书、词典、WordNet之类的语义资源,再加上一些网页抓取。然后用统计方法生成种子,拿种子去扩展搜索,把语料扩充了一个数量级。即便如此,相对整个互联网还是极小的一块,大约相当于几百万本书,几个TB。
- 把所有语料预先分析到极致:做句法分析和语义分析,打上标注,建一个极快、极丰富的索引,全部放进内存。Watson不读磁盘。
- 硬件用IBM自家机器,接近3000个核全互联,共享大内存。
- 拿到问题后,做多种解读,生成多个搜索查询,并行发射出去,取回成千上万段候选段落。
- 每段段落再并行处理,用一堆候选答案生成器(candidate answer generator)找出可能的答案。
- 每个候选答案用几百种打分器(scorer)打分。一千个候选乘两百个打分器,就是二十万个分数。
- 最后用机器学习把这些分数融合起来,排序,输出答案和置信度。
这里有个关键设计:每个组件的研究者不需要理解其他组件在干什么。你只要证明你的组件能提升端到端的答题准确率,就能进系统。这靠的是用机器学习做分数融合,把人从“集成”这件事里解放出来。
费鲁奇的管理原则非常硬:只认端到端指标。你说你的解析器提升了2%的组件指标,那它到底怎么影响整体答题表现?估不出来、做不出实验,就不许进系统。这是整场对话里最值得记下来的一条工程经验,因为它同时解决了两件事:技术上的可验证性,和组织上的可扩展性。
他自己是这么分工的:一条线死盯端到端准确率,看能不能答对更多题、置信度算得更准;另一条线专门分析工作流瓶颈,琢磨怎么并行、怎么提速。准确率和速度被拆成两条独立的战线,各自推进。
Watson和人类选手,其实没那么不一样
项目开始时,有研究人类认知的人想加入,费鲁奇拒绝了。他当时立的另一个桩是:我不在乎人类是怎么做的。至少在这个项目里不在乎。他在乎的是在期限内把系统做出来,不能被“人类大脑会怎么处理”这类问题带偏。
但项目做完后,他回头和Ken Jennings聊,发现答案和他预想的不太一样。顶尖人类选手在《危险边缘》里,其实也在抄近路:快速扫一眼题目,抓几个关键线索,拿这些线索飞快地在记忆库里做浅层匹配,一堆直觉式的判断同时亮起,然后按下按钮。他们并没有在做深度推理。
所以Watson做的事,可能离人类选手没他原先以为的那么远。他的出发点一直很清楚:把搜索和NLP能做的事推到极限,从来没打算模仿人类。这两条路最后撞在了同一个地方,这件事本身挺有意思。
从抢答到理解:什么叫框架
《危险边缘》的系统不解释问题,也不解释它读到的内容。它做句法分析,借用语法这种人类框架,但没有更深的语义框架:人怎么想、为什么做一件事、什么导致什么、事情在时间和空间里的位置,这些它都不碰。
Elemental Cognition要碰的正是这些。费鲁奇反复用“框架”(framework)这个词。框架是你看待世界时带进来的一套底层假设和概念。比如理解一次社会政治事件,你会自动想:涉及哪些人?他们各自想要什么?资源如何稀缺?谁对谁有权力?这些是人类共享的、几乎不用言说的底层结构。
他认为,这些框架的数量是有限的,具体知识的数量近乎无限,但框架可以被机器习得,然后用来解释具体情境。框架比知识更重要,因为框架是解释和推理的骨架。你有了骨架,新读到的细节就能挂上去;没有骨架,细节就是一堆散落的字符串。
Lex举了个例子:让AI读一条关于电力的课文,回答“电是怎么产生的”。系统可以直接从文中抄“水流过涡轮机”,但完全不知道那是什么意思。费鲁奇回应说,这正是他女儿一年级时遇到的问题:她能靠文本匹配答对,但没有任何理解。能够匹配到答案,和能够理解答案,是两件事。
他提到推理里最有力的一种方式:类比。你没听过足球,但你知道篮球,球要进筐,有后卫、有防守、有进攻。那足球和篮球哪里像、哪里不像?有这个底座,你就能快速把新信息挂上去。人类学习大量依赖这个机制,而机器目前几乎没在用。
深度对话难在哪
费鲁奇想要的对话,不是模仿闲聊。他形容得更像《星际迷航》里跟企业号计算机对话:你想思考什么?我来告诉你我掌握的信息,我给你总结,我问你问题,你回答,我们来回推进,我搞清你的心智模型,再把你和我的信息对齐,用你能理解的方式呈现,然后你追问。
这是结构化、目标导向的对话,但必须流畅、有参与感,不能让人分心。机器得有一个人怎么思考、怎么讨论问题的模型。
难的地方在于:没有足够的数据可以学。如果你说“去收集人类进行高质量结构化知识对话的数据”,你会发现这样的数据本来就少,而且很难标注。什么样的追问算好追问?什么样的打断算有效打断?这些判断依赖大量的隐性语境,标注成本高得离谱。
他的解法是手工启动。先靠人的创造力,设计出“一段好的对话应该长什么样”,搭出一个初步系统去跟人交互,生成数据,再反过来训练机器。这是个先手工启动、再自动学习的循环。没有第一步,后面无从谈起。
他还提到另一个相关项目:IBM的辩论系统(Project Debater)。那个任务相对可控,因为辩论的结构清晰,你可以收集大量结构化的论证,标注某个回应在某个领域里好不好。但对话更难,因为对话要求你既目标明确,又必须随机应变。你想问清一个问题,同时得抓住对方刚说的一句话里那个意外的线索。
幽默、身体与超级鹦鹉
Lex提到《周六夜现场》那版名人《危险边缘》,所有人在分数上都是负的,但在喜剧上大获全胜。他问费鲁奇怎么看幽默。
费鲁奇的回答分两层。一层是:幽默有很多部分可以形式化。做Watson时他们真的坐下来研究双关怎么运作,无非是文字游戏,有规则可循。也可以直接学:收集人们笑什么的数据,让机器给特征加权,判断什么好笑什么不好笑。机器未必能解释为什么好笑,但能判断好不好笑,这本身已经有用。
另一层更难:幽默依赖于“我能不能和讲这个笑话的人产生联结”。如果我知道那是机器人,知道它没有我这样的意识、没有我经历过的体验,我还会觉得好笑吗?他把它类比到艺术:有些天才技艺惊人,但真正被记住的,是能让观众产生情感共鸣的人。他们传递的不只是作品,还有自己对作品的情感反应。你感到我能和这个人连接。
但费鲁奇也承认,人类非常擅长拟人化。给机器加一对眼睛、让它动动眉毛,人就会产生情感反应。他怀疑,就算你告诉所有人这只是算法在动眉毛,大多数人还是会投入。尤其当机器自己说“我有意识”的时候,你作为造它的科学家出来解释算法原理,大家只会觉得你在撒谎。
他提出一个概念:超级鹦鹉。给足数据,机器可以模仿你的情绪反应,说出在类似情境下一个人会说的话,听起来很聪明。但它未必能给出经得起追问的逻辑解释。麻烦在于,人类很多时候也只是超级鹦鹉。我们既是统计语言模型,也是能推理的存在,而且别人很难分辨此刻是哪一个在说话。
Lex接了一句自嘲:你这是在说我。费鲁奇笑着说,很可能是,人类确实两种模式都有。而这两种模式混在一起说同一套话,正是判断一个人(或者一台机器)有没有真本事的难点所在。
身体、感官和那些我们以为天经地义的东西
Lex问,身体重要吗?Watson没有身体,这对它的智能有影响吗?
费鲁奇说,如果目标是造一个和人类兼容的智能,也就是能和人类建立共享理解的那种,那你可能真的需要给它类似的身体。因为人的身体持续产生大量输入:情绪、感觉、各种信号。这些信号进到大脑,加工完又反过来影响这个身心复合体,形成一个不断循环的回路。机器没有这个回路。
他区分了两件事。一件是造人形机器人,让它长得像人;另一件是把智能系统装进人体,像Neuralink那种思路。他说的都不是这两件。他说的是:想让机器获得和人类共享的世界理解,你得给它大量相同的基底,包括相似的感官、相似的内在信号生成机制。
但他也明确说,这不是他的目标。他要造的是思想伙伴,不是物理伙伴。他也提到有其他公司在做物理伙伴,那是另一条路。
那个关于父亲的故事
Lex问费鲁奇怎么看AI做医疗诊断、司法判决这类事,是接受“不解释也能用”的世界,还是坚持“不解释就不许用”。
费鲁奇讲了他父亲的事。
他父亲心脏骤停,救护车到得晚,没有立即复苏。医生告诉他,父亲脑死亡。理由是统计学:在这四个特征下,有98%的概率脑已死亡。费鲁奇说,我理解统计,但还有2%的可能他还活着。我不要归纳结论,我要你演绎地告诉我,你凭什么确定他大脑不工作了。医生回答,这就是我们的决策流程。他拒绝签不抢救同意书。
他当时跟医生讲了一句很关键的话:如果按你的方式处理,他最后也是走,那为什么不按我的方式试试?医生没有给出让他信服的答复。他坚持了。大约24小时后,父亲坐了起来,零脑损伤。
他从这件事里得出的结论:当你明知模型不够健壮时,不该用统计平均值替代对具体个案的逻辑推理,并且要为此负责。医疗系统整体对他父亲是净正面的,没有这套系统他父亲可能活不到那么久。但在那个具体决策上,用统计推断替代演绎推理是错的。
他把这个逻辑推到社会层面:统计上说男性暴力犯罪率更高,但我们仍然要求对每个个体做个别判断,拒绝把统计推断直接用在个人身上。这是一种有意识的社会选择,出于对个体的尊重,而它需要推理能力。这条原则是人主动立起来的,它和统计结论相反,我们依然选择它。
Lex由此引申到种族、性别这些敏感变量进入模型的问题。费鲁奇的态度是一致的:技术上你得先搞清楚这个预测在这个具体场景下到底有多准,有没有做过对照研究,直接去挖证据、做演绎推理,能比统计平均多救多少人。这些都是可以研究的问题,而现在的很多系统连这个研究都没做就上线了。
AlphaZero、偏见与杠杆
费鲁奇对AlphaGo/AlphaZero的评价很高,称之为AI的巨型里程碑。他特别欣赏它解决数据问题的办法:让机器自我对弈,生成足够的数据来学习。这是靠自我搏弈完成了数据启动。这一步棋很漂亮,因为它绕开了“人类专家数据不够”这个死结。
但他也指出它带来的老问题:它找到了围棋的函数,可我们能理解那个函数吗?能谈论它、概念化它吗?如果一台机器在下判决、定政策、做医疗决定时说不清自己在干什么,我们敢不敢让它做?
他对AI的社会风险用的词是杠杆。给机器太多控制权是问题;更现实的是,机器是巨大的扩音器。人类本来就在用营销、政治宣传利用情绪和恐惧,机器可以把这个过程放大几个数量级,还能针对每个人的偏见精细定制信息。这套玩法很老了,但力量对比完全变了。
所以他对社交媒体推荐算法有一种很冷静的批评:算法在做的事其实很简单,看你点了什么,找特征相似的东西再推给你,它不做任何价值判断,也不做任何关于意义的推理。你说这是算法的错吗?它只是在匹配模式。它错在根本没参与理解这一层,就把决定权还给了人性的弱点。
他反复强调一件事:当下最重要的公共对话之一,是搞清楚什么是好的推理、什么是认知偏见、人脑怎么容易被骗,以及机器如何放大或纠正这一切。他建议从孩子教起:告诉他们大脑是怎么运作的,有多容易被骗,有哪些思维模式,在什么条件下哪种思维更管用。然后再告诉他们AI能怎么把这件事变糟,能怎么把它变好。
AGI还有多远
Lex问时间线。费鲁奇的回答很谨慎:变量太多,投入多少、多重视、能吸引什么人才、激励结构如何,都会影响结果。他猜大概更接近20年,而不是几百年。
但他提了一个更尖锐的问题:我们真的有动力去做通用智能吗?从商业角度看,把某项技术拿去解决某个具体问题,动力很明确。可“通用智能”本身,我们连定义都还在挣扎。你没法为一个说不清是什么的东西建立激励机制。他说得挺实在:大家理解得不够,但随着它显现出商业潜力,理解会跟上。
他也说到物理任务这一侧。割草、开车、做三明治、吸尘,这些任务的学习能力会持续变好,机器会在许多指标上超过人类。支撑这些的底层机制可能是一样的:深度网络、训练基础设施、可复用组件。你可以说这套“通用学习基础设施”本身就是某种通用智能。真正变难的是共享理解那一层,因为那需要机器长期、持续地和人类在意义层面互动。
语言、框架和人与人的分歧
对话里有一段特别精彩,关于同一句话为什么会被读成两个意思。
费鲁奇说,一句话的意义从来不止字面。你带着什么先在的经验、什么价值假设、什么推理链条来读它,决定了你最后得出什么结论。同一个陈述,让一个民主党的框架去读,和让一个共和党的框架去读,结论可以完全相反,而两者的推理过程可能同样严密。
这在他看来正是AI能帮上大忙的地方:机器可以同时把两套框架跑一遍,然后告诉你,按这组假设你会走到这里,按那组假设你会走到那里,你们的分歧其实在这条最底层的假定上。这一步做出来,争论的性质就变了。
有意思的是,要让机器做到这一点,你必须先让它读懂那些框架,而框架之所以难懂,恰恰因为人类从来不把它们写下来。我们共享它们,所以默认它们存在。费鲁奇说,这就是为什么他和机器的关系必须是协作式的:机器负责发现模式、负责计算,人类负责提供解释框架,双方一起把理解对齐。
他还提到一个更宽的观点:每个人的框架不同,但底层的思考机制是相似的。分歧往往来自几条最根本的假设不同,而推理过程本身可能一样清楚。把分歧追溯到那几条假设上,比在结论上互相指责有用得多。
为什么这件事值得做
访谈最后,Lex问:如果有一天你真的造出了那个能和你进行深度对话、一起求真的系统,你会想和它讨论什么?
费鲁奇说,真到了那天,我就不用挑了。今天关心什么就问什么:去把相关的东西读了,我们聊聊;帮我找类比;这件事会怎么影响那个决策;如果这个假设成立呢?如果那个假设成立呢?有哪些我该知道却不知道的知识会影响判断?我现在的推断是这个,你能证成它吗?能给我支持它的证据吗?也给我支持反面说法的证据。
参与进那场对话,无论是医疗诊断、治疗方案、法律案件,还是一个社会议题。一场对自己、对我们都要求理性和客观的对话。我说这话会起鸡皮疙瘩,这就是我想要的。(戴维·费鲁奇)
这大概就是整场对话的内核。Watson证明了一件事:在足够窄、足够明确的指标下,机器可以把人类冠军拉下马。但那只是智能的第一层。第二层是能不能把推理摊开在桌面上,让另一个人看懂、质疑、复现,然后说一句我信了。
这一层,人类自己也做得不好。费鲁奇讲他父亲的故事,讲的其实是同一件事:医生拿着一个覆盖率98%的统计模型,却没办法把一个具体病人的具体情况推演清楚。机器犯的错,人早就在犯了。而这恰恰是费鲁奇认为机器最该帮我们的地方:接过我们做不好的那部分,逼我们把道理讲清楚。
他在IBM的四年里还证明了另一件事:不用等某个全新的基础公式出现,把现有的东西组合好、把指标体系立对、把每个人的贡献都拉到同一个可验证的标尺上,也能造出击败世界冠军的系统。这个方法论本身,比Watson赢下那场比赛走得更远。
而现在他在做的事,难度大得多:没有《危险边缘》那样清晰的记分牌,没有现成的训练数据,连“成功”长什么样都得自己定义。他自己也说,这可能更接近20年。
- 做AI项目时,把端到端指标当成唯一的验收标准。任何组件想进系统,先证明它对最终结果有可测量的贡献,否则别进。
- 用机器学习做组件融合,而不是靠人做集成。让每个研究者只管自己的组件,融合交给模型,团队才能并行推进而不互相拖累。
- 面对一个统计模型给出的结论,先问一句:这个模型对眼前这个具体个案够健壮吗?如果不够,宁可退回演绎推理,也别拿平均值替个体做决定。
- 评估一个AI系统时,别只看它答对了多少,还要看它能不能把推理过程讲到让外行听懂、让内行挑不出硬伤。
- 在自己做重要判断时,刻意区分“我这么想是因为证据”还是“我这么想是因为它符合我原有的立场”。这个区分能力,是抵抗信息杠杆的第一道防线。
- 和观点不同的人争论时,别急着在结论上互相说服,先去找到那几条最底层的假设,看看分歧到底出在哪一层。
- 如果你想做真正有价值的AI产品,去找那些数据不够、必须靠人先设计出结构再启动学习循环的问题。那里既有护城河,也真的需要人动脑子。
本集资源与出处
- 视频在 YouTube 收看
- 音频官方 MP3 直链来自 lexfridman.com 官方播客 RSS
- 官网Lex Fridman 官网本集页面