彼得·诺维格：《人工智能：一种现代的方法》

某个商业累犯预测系统给被告打分，满分十分里拿到六分，意味着大约 60% 的再犯概率。这是设计者公开承诺的目标：不管你是黑人还是白人，同样的分数对应同样的再犯概率。他们做到了。

另一组数字是：这个系统判断出错的概率，对不同种族并不相等。它对黑人做出有害错误判断的几率，是白人的两倍。

两组陈述同时成立。彼得·诺维格（Peter Norvig）在访谈里说得很平静：如果你把这两件事都当成必须同时满足的公平性指标，数学上可以证明，你不可能同时达成。

诺维格是谷歌研究总监，也是《人工智能：一种现代的方法》（Artificial Intelligence: A Modern Approach）的作者之一，合著者是斯图尔特·罗素（Stuart Russell）。这本书 1995 年出第一版，然后 2003 年第二版、2009 年第三版，第四版正在写。很多 AI 研究者书架上都并排摆着红、绿、蓝三本书，包括这次访谈的主持人本人。

公平性的两个目标，只能选一个

把这件事讲清楚，是整场对话里最有信息量的几分钟。累犯预测这类系统，通常被用来辅助判断谁可以假释、谁可以保释。它涉及两类不同的公平性诉求。

第一类叫校准。给定同一个分数，不同族群的人应该有相同的实际结果概率。六分就是 60% 的再犯率，对谁都是 60%。这个目标可以量化验证，那家商业公司也正是朝这个方向优化，并且声称达到了平衡。

第二类叫误差均等。系统总会出错，但出错的代价不该由某一个受保护群体承担。这里的问题是，它对黑人犯错的概率是对白人的两倍。

诺维格强调，这两个目标在数学上被证明无法同时满足，你必须做取舍。这个结论的用处，在于让你知道你没有在追一个幻觉；至于取舍点该落在哪，数学管不了。

你不可能什么都要。但这个分析至少能告诉你，我们没法同时拿到。于是我们可以作为人类，去认真地讨论这个取舍点应该落在哪里。至少我们是在有信息的基础上争论，而不是在要求一件不可能的事。（彼得·诺维格）

这一点值得所有做机器学习系统的人记住。公平性没法用单一指标同时满足所有定义，定义之间本身就冲突。工程师能做的是明确你优化了哪一个，牺牲了哪一个，然后把这个取舍交给公共讨论。

第四版真正改变的地方：效用函数本身

诺维格说，前三版里，作者们默认一个前提：我们教你最大化期望效用，至于效用函数是什么，你告诉我。全书 27 章讲的都是怎么做得更好、优化得更快。

第四版的口径变了。他们开始说，也许优化是容易的部分，难的是搞清楚我的效用函数到底是什么，我到底想要什么。如果面对的是一群智能体、一整个社会，那我们作为整体想要什么。

技术上往前走一步，就撞上哲学。这本书里一直有一章讲哲学，以前讨论的是中文屋这类论证，现在更多是公平、偏见，以及如何聚合不同人的效用。

怎么把人类价值编码进去？诺维格承认没有好答案，只有一些开端。其中一个方向叫逆强化学习（inverse reinforcement learning）。

普通强化学习是：你采取行动，拿到奖励，然后学会该做什么。逆强化学习倒过来：你观察别人采取行动，反推他到底想干什么。如果他做了这个动作，那大概是因为他想要那个结果。

这条路有个明显的问题。很多人会做自我毁灭的选择，会做出各种次优决策。你不想把这些也学进来。要学的是理想行为，被观察者实际做过什么，得先放到一边。这是这个领域自身的难点。

注意力市场里，应用在和你抢东西

访谈里聊到另一类优化问题。愤怒的小鸟这类游戏，到底在优化什么？是让你在短期获得多巴胺快感然后不断回来，还是帮你获得某种长期改善？

诺维格不把这个当成纯粹的 AI 问题。他说，我们建立了这样一个社会和一个基础设施：有一个注意力市场，我们作为一个社会决定了我们喜欢免费的东西，手机上所有应用都得免费。这意味着它们全都在竞争你的注意力，最终靠广告或游戏内购买赚钱。

它们想赢，唯一的办法是击败所有其他应用，也就是把你的注意力抢过来。在这个市场里，它们看起来是在和你作对，没打算和你站在一起。

短期让你开心，长期也帮到你，这两件事本身不冲突。冲突的是当下的激励机制，它站在了更容易的那一边，也就是喂给你多巴胺的那一边。（彼得·诺维格）

他的表述很清楚：矛盾出在激励结构上，跟技术能力没什么关系。这一点在讨论推荐系统时经常被模糊掉，好像算法天生如此，其实算法只是在忠于我们设计出来的那套激励。

这本书几乎没写成

回过头讲这本书的来历。90 年代中期，诺维格还在伯克利，和同事吃午饭时聊起，这个领域在变，市面上的教材有点跟不上，好久没有人出新书了，我们应该写一本。所有人都说，对，这事值得做，然后谁也没动。

后来他去了工业界，进了 Sun Labs，以为自己的学术出版生涯就此结束。一年后在会议上又碰到罗素，他问，那本我们一直说要写的书，你们肯定写了一半了吧。罗素说，我们一直在聊，从来没动手。

于是他提议，那就写吧。诺维格说，他们真正下决心，是因为都觉得这个领域正在两个方向上变化。

第一个方向：从布尔逻辑转向概率。老的 AI 建立在布尔逻辑上，再配一些处理不确定性的小技巧。

第二个方向：从知识工程转向机器学习。以前的做法是，出去采访一位专家，把他知道的东西一条条手工写下来。

如果从头就以这两个新视角组织全书，就能做出一本不一样的书。其他教材还没有完全转过这个弯。

写的过程放在今天看很原始。诺维格搬到了波士顿，罗素在伯克利，两个人靠互联网协作。拨号上网，不能传图片和图表，要用 cat 命令把文件打出来，然后祈祷对面收到了。

他们当年低估了什么

访谈者问了一个直接的问题：当时有没有预见到后面这一二十年，会走向深度学习和大数据？

诺维格的回答很坦诚。他们知道学习重要，但低估了它会有多重要。他们没看见大数据这件事。深度学习当时还没被发明。

他说，其实完全可以一开始就把整本书写成纯粹的机器学习视角，但他们选了另一条路：先讲各种类型的知识表示，再讲各种类型的环境，完全可观察还是部分可观察，确定还是随机。他们沿着这些轴增加复杂度，机器学习那条轴被排到了后面。

这个选择回头看不完美，但它解释了为什么这本书能覆盖整个领域，而不只是覆盖当时最热的方法。专注单一方法的教材，方法一换代就过时了。

第四版里，深度学习的章节交给了伊恩·古德费洛（Ian Goodfellow）。他把整本深度学习专著压缩成了一章。诺维格提到一个细节：他们把旧的神经网络章节交给他，让他随便改，结果古德费洛说，原来那章有一半还是对的。核心内容没变，变的是外面那一圈。

深度学习擅长感知，不擅长推理

诺维格对深度学习位置的判断是：起步于卷积网络，非常靠近感知，后来扩展到动作和一定程度的长程规划，但在表示、推理、单样本学习这些方面还得做得更好。

他反复用“表示”这个词。有些时候你手上根本没有足够的数据，无法从零学起。这时候你需要先有一个关于世界的表示，不管是人编进去的还是告诉它的，然后在这个表示上一步步推理。

老式 AI 的问题跟符号和推理本身无关，出在另外两件事上。

第一，符号是原子的。原子符号适合定义三角形的性质，因为三角形有充分必要条件。但现实世界是 messy 的，没有锐利的边界，动态符号才有。用非黑即白的符号去描述灰色的世界，匹配度很差。

第二，推理是通用的，可以应用在任何地方。这听起来是优点，实际意味着没有任何指引告诉你该在哪里用。于是出现了古希腊那个经典悖论：一堆沙子拿走一粒还是堆，一直拿下去，总有一刻不是堆。逻辑本身不会阻止你把规则重复应用一万次，它没有“够了”这个概念。

诺维格说，他也不知道该给这东西起什么名字，但方向可能是这样的：把“山”这种概念从原子符号换成词嵌入那样更复杂的表示；同时学会什么时候可以反复用某条规则，什么时候不行。在整数上做归纳，无限次没问题；从沙堆里拿沙子，几十次就到头了。策略本身不该是完全中立、随处可用的，它得学会自己被允许使用的范围。

他更愿意换个词，不谈可解释性

神经网络从数据里学出表示，自动把很多东西抹掉了。它为什么在这么多场景里表现惊人，又为什么在某些看起来微不足道的扰动下惨败，人类从外部看不出内省式的答案。这是不是靠更多数据、更好的数据就能解决，还是必须把符号系统请回来？

诺维格的回答是换词：他更愿意谈信任、验证、校验，解释只是达成这些目标的一种工具。

他举了贷款被拒的例子。你在欧洲有 GDPR，法律要求银行必须能给出解释。但解释本身远远不够。我们早就习惯了和人、和机构打交道，它们能给你一个解释，而你完全无法保证这个解释和真实原因有关。银行说，你没拿到贷款是因为抵押物不足。这话可能是真的，也可能是他们不喜欢你的宗教。从这一句解释里，你分辨不出来。这件事跟决策是人做的还是机器做的无关。

所以他要的东西得能来回对话，一句解释撑不住：你给了这个理由，那如果当时是另一种情况呢？我要改什么才能拿到？

第二层是测试。单看自己这一个案子，你没法判断决策依据是抵押物还是肤色。但把所有人的案子放在一起看，模式就出来了。

如果我只盯着自己这一个案例，我什么也看不出来。但如果我看所有案例，我就能检测出一个模式。（彼得·诺维格）

第三层是对抗测试，这一层最能说明问题。图像识别一度被认为接近人类水平，直到对抗样本出现。在图上加一点人类完全看不出的扰动，模型就彻底判断错了。诺维格说，人类当然也有类似的漏洞，比如那条裙子到底是什么颜色，大家谁也说不清。但人类被攻击的方式和机器被攻击的方式完全不同。

猫是空间里一条极细的线

他把问题归到一件事上：我们被低维隐喻骗了。

翻开教材，你会看到一张图，猫在这边，狗在那边，中间有一小块模糊地带分不清。如果你信了这张图，你会觉得，我们基本上搞定了，对抗样本大概就那么几个特例。

真实的几何差得很远。我们面对的是百万维空间，猫是从原点出发延伸到某个疯狂方向的一条极细的线。你往任何方向偏一点，就掉进了无人区，不知道会发生什么。

这个比喻解释了为什么对抗样本属于结构性现象，修修补补解决不了。高维空间里，一条曲线周围几乎全是空白。模型只见过那条线上的点，线外一毫米的地方它没有任何依据，但它照样会给出一个高置信度的答案。

顺带说一句他对人和机器双重标准的观察。你和访谈者素未谋面，坐在一起聊了一个小时，你默认对方不会突然失控，这种信任建立得非常快。而对 AI 系统，我们的默认姿态是怀疑，它必须靠大量工作证明自己配得上一点点信任。

他引用了博物学家马克·莫菲特（Mark Moffett）的说法：人类最了不起的地方是，你走进一家咖啡店，周围全是从未见过的人，你们不会互相残杀。黑猩猩做不到这一点。如果一只黑猩猩遇到不属于自己族群的对象，尤其旁边还有好吃的，事情会很糟。人类学会了共处，虽然我们仍然打仗，仍然做可怕的事，但大体上学会了。

这件事对 AI 同样重要。但诺维格在这里加了一个限定：很多被算作 AI 的问题，主要变量落在通信技术上。我们能建立起这些系统，前提是我们能收集数据、能触达全世界的人。这个变化比算法本身更大。

十六万人报名，完成率是个假指标

诺维格在 Udacity 上开的 AI 入门课，有十六万人注册，是最早一批 MOOC 的成功案例。他从中得到的最大教训，和他进去时的预期相反。

进去的时候他以为挑战在信息：只要我把要教的东西想清楚、讲明白，我的工作就完成了，好事自然会发生。做完课程他发现，信息当然要有，但真正重要的是动机。学生不坚持学下去，内容再好也没用。

关于完成率，他的态度很直接。他本人大概报过五十门课，一门都没学完，但他得到了想要的东西，因为他本来就没打算学完，只是想看看这个主题，或者看看别人怎么讲这门课。

我大概开过五十门不同的课，没一门是学完的。但我从中得到了我想要的，因为我从来没打算学完。（彼得·诺维格）

他也承认，最早这批课吃到了外部动机的红利：这是新东西，能参与其中本身就让人兴奋，学生自带动力。而那些最需要帮助的人，恰恰缺乏这种动力，也看不出坚持下来对自己有什么好处。在线教育真正还没解决的问题就在这里，光靠技术不够，还得有社区，需要把人真的聚在一起，有些环节必须在物理空间发生。

在线和线下的真正区别，不在屏幕

访谈者提了一个观察：自己如果不是被按在教室里，无聊到犯困，也得硬着头皮熬过那些极难的计算机课程，大概学不到今天这么多。

诺维格的拆解很干脆。这里面混着两件事。一件是物理位置，另一件是承诺和归属。你在教室里坚持下来，一半是因为看到旁边所有人都在受同样的苦，另一半是因为你交了学费，父母、同学、整个社会都预期你坚持下去。

这两件事可以分开。你完全可以设想：学费很贵，所有人都知道你在读，然后你在自己房间里，同学在各自的房间里。物理离散，承诺完整。反过来，坐在同一间教室里，心思全在外面的也大有人在。

所以决定成败的变量落在承诺上，跟屏幕没什么关系。当然，课后在教室外面碰到同学随便聊两句，那种非正式交流很重要，既维持动机，也是真正重要的学习发生的地方。等带宽更高、AR/VR 更成熟，这部分也许能远程实现。

至于斯坦福、MIT 会不会全面转向线上，他的判断是不会。这些学校在实体校园上有巨大的投入，财务上和文化上都有惯性。而且有些东西真的没法虚拟化：计算机专业有台电脑有纸笔就能干活，但生物实验室里的设备你家里没有。

学编程不需要十年，也不用先学语法

2001 年诺维格写过一篇流传很广的文章《十年学会编程》（Teach Yourself Programming in Ten Years），是对着市面上那些“21 天精通 XX”的书写的。多年过去，他的看法有调整。

当时他脑子里想的是成为职业软件工程师，那确实是个需要终身学习的行当。但现在有大量场景，编程只是解决问题的手段之一，你不需要达到职业水准。

一个生物学家、物理学家，甚至历史学家，手上有一些数据，想从中问出一个问题。这种情况不需要十年，有很多捷径。

关于教小孩编程，他觉得方向对，但话术该改。代码本身不重要。他不在乎你会不会 JavaScript 的语法，也不在乎你能不能在可视化语言里把积木拼起来。他在乎的是你能不能分析一个问题，想出解法，建立一个模型，跑起来，测试，看结果，判断结果是否合理，然后再提问、再回答。

练的是建模和解决问题，代码只是工具。学会了也不为了拿去写代码，为了拿它去回答自己关心的问题。

他在这里讲了一段自嘲。和年轻同事做项目，同事说有个新包能解决这个问题。诺维格开始读文档，两小时后，同事回来说搞定了：下载、安装、试了几个调用，第一个不行，第二个成了。诺维格还有一堆问题，这东西内部怎么工作的，那个参数什么意思？同事说，管它呢。我不需要理解整个东西，我的问题解决了。这个包很大很复杂，剩下的我不懂，但我拿到了正确答案。

我很难进入那种心态。我想把整个东西搞明白，如果它附了手册，我就该去读。但那不一定是对的做法。我得学着对不确定性和“不知道全部”更自在一点。（彼得·诺维格）

他自己把这条光谱的两端点了名：一端是高德纳（Donald Knuth），你要说任何关于一个问题的话，得先下到机器码和汇编；另一端是他组里二十岁的学生，几小时能解决他可能要花几周的问题，因为他会先去读手册。

从制造到组装

抽象层次一直在往上走。你不需要懂机器学习的内部原理，也能用现成的框架做出很多东西。这让“专家”的定义发生了变化。

诺维格说，我们本来就不该把焦点放在“程序员”这个身份上。技能只是手段，结果才算数。我们建起了这样一个生态，你要做成事，就得自己写代码。他刚入行的时候，库函数里有个开方就差不多了，其他全得从零造。后来生态长起来了，你想要的东西大部分都能下载到。

现在已经不是制造，更多是组装。（彼得·诺维格）

这个转变在招聘上也能看到。谷歌早期面试，问题本质上是在问：这个人离杰夫·迪恩（Jeff Dean）有多近？大多数人差得远，就录取那些差得不那么远的。结果是招进来一批高度同质的优秀程序员。

公司长大以后，这个标准就不对了，不该所有人都一样。于是开始招生物学家进健康方向，招物理学家、机械工程师，招社会科学家和人类学家，不同背景带来不同技能。

至于他本人做代码审查时看什么，答案很具体：看设计的延展性。这个 API 解决了眼下的问题，但它以后要往哪走？还有谁会来调用它？你怎么让别人更容易用？这是设计问题，也是文档问题，但根子在设计上。设计对了，文档好坏人们总能摸索出来；设计错了，文档再好也难用。

他自己作为程序员最大的变化，是不再那么在乎效率的细枝末节。90 年代写书时，他演示怎么实现一个对象系统：每个对象是个哈希表，查方法，这样就行。他特意声明，真正的 Common Lisp 对象系统复杂得多，有各种效率考量，这个只是玩具，实际没人会这么干。结果 Python 基本上就是照他说的做的，对象就是字典，加了点小技巧。

80 年代会慢上一百倍的写法，今天对几乎所有场景都够快。真正该计算的是项目完成的总时间，而这里面绝大部分是程序员的时间。稍微低效一点，但更容易理解和修改，那就是正确的取舍。

半页纸定义一门语言

Lisp 美在哪？诺维格的答案是简洁。半页纸就能把整门语言定义完，你能把它整个装进脑子里。别的语言有一两百条语法规则，你的大脑装不下。

有人会说，那不就太简单了吗，我要做的事那么多。他的回答是：不，我们只给你八条左右的语法规则，剩下的你自己定义。

这就是他说的最强大的那个想法：从我的问题和我的数据出发，造一门为这个问题和这份数据量身定做的语言，然后让 Lisp 去定义它。你同时是这门语言的使用者和设计者，代码和问题之间能贴得更紧。

为什么没普及？他给了两个原因。

一个是社会性的。Lisp 是为单个程序员或小团队设计的，前提是这个程序员品味够好，做语言设计时能做出好选择。做对了很棒，做错了会伤到自己，而且团队里其他人很难看懂。项目人数一多，就撑不住了。而整个行业恰好长过了这个规模。

另一个是括号。流传的玩笑是 Lisp 的全称是“大量烦人的愚蠢括号”（Lots of Irritating Silly Parentheses），他自己的版本是“Lisp 语法纯粹”（Lisp Is Syntactically Pure），你只需要括号和原子。

他讲了一个学生的故事。书写于 90 年代，正文用伪代码，附录配 Lisp，因为那是当时 AI 的语言。有学生抱怨看不懂伪代码和 Lisp 怎么对应。实际上两者符号一一对应，唯一区别就是括号。诺维格由此得出结论：对某些人来说，左括号超过一定数量，大脑就关机了。

于是他决定书里不能只有 Lisp。一门课只有十来周，不能花两周教括号。他需要另一门语言，当时最流行的是 Java，但 Java 太啰嗦，做不到和伪代码一一对应。于是他做了一轮调研，找最像自己伪代码的语言，答案是 Python。

不知道为什么，我设计伪代码的时候，好像隔空抄了 Guido 的作业。那时候我还没听说过 Python。（彼得·诺维格）

他的 GitHub 仓库 pytudes 就是这些谜题和练习的积累，先有 Udacity 那门用 Python 讲问题求解的课，然后一直往下写，纯粹因为好玩。

搜索是博弈，编目录没这么麻烦

2001 到 2005 年，诺维格在谷歌做搜索质量总监，公司规模每年翻倍。那段时间的挑战，本质上是定义什么叫“正确答案”，实现它，保证效率，然后持续测试。

好答案的意思是：用户敲进去几个关键词，返回结果的排序符合他们想要的程度，第一个点击的大概率就是他真正在找的。指标有一堆，有的盯第一次点击，有的盯整页，有的盯前三名。他们还会切分出某类做得不好的查询，专门去修。

早期有个认知转变很关键。一开始他们以为自己是图书馆的卡片目录：书在那儿，我们在旁边，只负责如实反映。后来意识到，每次我们改动，站长们也会跟着改，这是个博弈。你不仅要判断这一步对自己是否有利，还要判断对手的下一步会把局面带到哪里，如果结果更糟，这一步就不该走。

他们也确实改变了网络的形状。早年拉里和谢尔盖有 PageRank 论文，乔恩·克莱因伯格（Jon Kleinberg）有 hubs and authorities 模型：网上有大量“我的狗狗相关链接”这样的导航页，指向那些被链接最多的权威页面。现在没人做导航页了，谷歌把这个功能接管了。

访谈者问他当年有没有预见到互联网会变成今天这样。他说自己预测未来一向不准。80 年代做研究生时用 ARPANET，后来有人提议商业化，搞成互联网，还有位参议员戈尔觉得这主意不错。他当时的想法是：算了吧，你不可能指望商业公司搞懂这种技术，他们永远做不成。有个 .com 域名，但成不了气候。

所以我错了，戈尔是对的。（彼得·诺维格）

人类水平不是终点，甚至算不上目标

关于通用智能，诺维格的第一句话是：人类水平的智能没有单一含义，它是一堆不同的任务和能力。第二句是：它也不该是目标。

他说得很形象：我不会想要一个只能做到人类水平乘法的计算器，那是倒退。很多能力上我们该瞄准远超人类；另一些能力上，人类水平是个合适的门槛；还有一些，既然人类已经能干，就别费劲了。

他关心的是工具是否有用。有些场合，达到人类水平正好是让工具变得有用的那道坎。个人助手就是典型：你希望能像和人说话一样和它对话。而整个行业还没搞清这类产品的正确模型。现在你能问天气，能点歌，再问五六件事就到头了，谈不上任何深度的、有意义的连接。

能不能和人一样，从问天气跨到建立深层连接？他提到了电影《她》（Her）。有人问他，这片子像哪部电影？他的答案是《万世魔星》（Life of Brian），跟科幻完全沾不上边。共同点是，人渴望相信某种不一定是真的东西。

孩子会爱上自己的泰迪熊，而泰迪熊几乎没有任何交互性。那全是我们把自己的感情投射到物件上。我们就是喜欢这么干，所以我们会一直这么干。（彼得·诺维格）

他还补了一个例子：搞自动驾驶的人告诉他，很多人对自己的车投入了很深的感情。门槛真的不高，到狗的水平就够了。

那什么是好的智能测试？象棋、星际争霸，都挺酷。短对话也很重要，但很多测试太容易糊弄，聊天机器人聊着聊着，永远不进入一个必须暴露深度的地方。

至于图灵测试，他认为图灵本人如果活着，大概会说“我没那么当真”。他的解读是：图灵的重点在于“有个测试这件事本身是对的”，至于对话是不是好测试，那在其次。与其让哲学家争论 AI 是否可能，不如设一个测试，让结果来回答。这个测试不必是对话，随着技术演进不断提出更好的测试，才是正路。

真正该担心的，跟终结者没关系

关于存在性风险，他的态度很明确：不担心机器人末日和终结者场景，但担心几件具体的事。

第一是就业。我们能不能反应得足够快。今天已经能看到很多人对收入分配不满，自动化可能加速这类问题。

第二是武器化。强大的技术总可以被当武器用，机器人、无人机都是。而且很多威胁根本不需要 AI。他反问：自主无人机和 CRISPR 技术普及，哪个更糟？很难说。

访谈者问，你总体上乐观吗，技术会缓解这些威胁，还是制造新问题？他的回答很克制：不知道，未来难预测。作为社会我们活过了核弹，但只有活下来的社会才有资格做这场对话，所以这可能只是幸存者偏差。

至于接下来值得做的事，他点了几个方向。

一是对话助手，把常识推理和数据的力量结合起来。

二是编程工具。不只是让现有的框架更好用、让更多人能用，还包括把机器学习用到传统编程本身。

你去谷歌搜索，拼错一个词，它会说“您是不是要找”。能做到这一点，是因为大量其他人犯过同样的错然后改正了。我们也应该能进到代码库和 bug 修复记录里，当我敲下一行代码时，它告诉我：你是不是想写这个？你今天写这行，明天大概会去写这个修复。（彼得·诺维格）

三是让这些能力覆盖到更广的人群。这几件事听起来都不宏大，但每一件都有明确的下一步。

整场对话里，诺维格几乎没有做过任何关于未来的强断言。他反复说不知道，反复把问题从技术层面挪到制度层面：公平性冲突要靠公共讨论定取舍，注意力市场要靠改激励结构，在线教育的瓶颈在动机和社区，AI 的风险主要在就业和武器。这些答案不炫目，但每一句都指向具体可做的事。

补一句他自己的方法论。访谈者问他，作为写教材的人，是不是有一种“把整个领域装进脑子”的冲动。他的回答是承认这种冲动存在，然后承认它不一定是对的做法。这种自觉，可能比任何一个具体结论都更值得学。一个人写了二十多年领域全景教材，最后讲的是：别急着读完整本手册，先把问题答了。

• 做涉及人的预测系统时，先明确你优化的是校准还是误差均等。这两个目标在数学上无法同时满足，把没选的那个写进文档，别假装两个都做到了。
• 别只交一句解释，留出对话的入口。贷款、拒信、风控决策，用户真正需要的是“如果我当时是另一种情况会怎样”，事后归因解决不了这个问题。
• 评估模型时做群体切片测试。单看一个案例看不出偏见，看全部案例才能发现模式，这是可操作的最小动作。
• 把对抗测试当成必做项。高维空间里模型没见过的区域占绝大多数，它在那些地方照样会给出高置信度答案。
• 教人编程时，把重点放在建模和验证上。能不能分析问题、建模型、跑起来、判断结果是否合理，比会不会语法重要得多。
• 算总账，别只算 CPU 时间。写得更慢但更好懂、更好改的代码，在今天的硬件条件下通常是正确取舍。
• 判断技术影响时，先问主要变量是不是 AI。很多被归到 AI 头上的变化，真正的驱动力是通信能力和数据触达。
• 做评估时保留对“完成率”这类指标的不信任。用户可能只想看看，不想学完，把他们的真实动机当成设计前提，而不是当成失败。