斯图尔特·罗素：人工智能的长期未来

2018年，一台自动驾驶汽车的视觉系统能识别出路上 98.3% 的车辆。这个数字听起来还行。但一个开十年出租车的司机，每天开八小时，总共是 1 亿秒的驾驶时间，其中任何一秒都可能致命。这意味着系统需要八个九的可靠性，而 98.3% 只是一个多九。

中间差着七个数量级。

斯图尔特·罗素（Stuart Russell）在访谈里说，人们以为做完一个成功的 demo 就差不多了，其实你连"差不多"的边都还没摸到。这位加州大学伯克利分校的计算机科学教授，是《人工智能：一种现代方法》的合著者，那本书把我和几千万人领进了这个领域。他讲这段话时语气很平，像是在陈述一个工程事实，而它带来的冲击来自算术本身。

用一箱打孔卡片换三秒钟

1975年，英国帝国理工学院。还在读中学的罗素每周三坐公交车过去，带着一大盒打孔卡片塞进读卡机。机器给他们八秒钟 CPU 时间，读卡片和编译代码要花掉五秒，剩下的三秒，够他的国际象棋程序走一步。

搜索八层深度，带 alpha-beta 剪枝，还有他们自己琢磨出来的走法排序和树剪枝技巧。然后程序打印出这一步，他们回到队尾，重新排队等下一次喂卡片。

这个程序从来没赢过他。他年轻时候棋下得不错。后来他又写了黑白棋和双陆棋的程序，去了伯克利之后开始大量研究"对推理的推理"（metareasoning）。棋盘上可能的变化比宇宙里的原子还多，人和程序能赢，靠的都是只看搜索树的一小部分。看对了那一小部分，你下得很好；把时间浪费在想那些永远不会发生的走法上，你必输，因为你根本来不及算出正确的决定。

机器到底该想什么？

他的答案是：想那些能提升决策质量的念头，别的都不值钱。

他给了一个特别日常的类比。如果你已经确定某部电影很烂，就没必要再花更多时间说服自己它很烂，因为你的判断不会改变。思考的价值来自它可能改变你的主意，进而改变你在真实世界里的最终行动。

设想两个选择：一个你已经算清楚是和棋，另一个平均看来更差、很可能输，但它的价值还存在不确定性，还有机会翻成赢。后一个值得想。所以一个想法值不值得想，取决于两件事的乘积：它看起来有多好，以及你对它有多不确定。

不确定越大，越值得想，因为上行空间可能更大。

Alpha Zero 开局的时候，一切都笼罩在不确定性里。所以搜索树的前几层非常茂密，它会试很多方向。但很快，某个走法会立刻显示出你丢了半壁江山，你说好，这条不用再想了。往下树就变得又长又窄，顺着几条线路一直往下走四五十步。这种事人类做不了，主要卡在短期记忆上：你记不住五十步的序列，也没法在脑子里正确想象五十步之后的棋盘。

AlphaGo 最惊人的地方不在赢

它有两套能力。一套是评估局面，看棋盘就能瞬间判断形势有多好。另一套是往前看，四十步、五十步、六十步。

罗素觉得真正惊人的是前者。把搜索完全关掉，不允许它做任何前瞻，只让它考虑每一个合法走法，看看走完之后的局面，判断好坏，这就是深度为一的搜索。这个版本的 AlphaGo 还能达到职业水平。人类职业棋手坐在那儿想五到十分钟，它不到一秒就"直觉"出正确答案。

围棋上人类没有这种直觉。我们必须想。

至于那四十、五十、六十步：如果全部考虑，是 10 的 200 次方种可能，远远超过宇宙中的原子数。所以它对看什么极其挑剔。

他也顺便给人类棋手降了降温。大师能可靠地瞬间认出正确走法和局面价值，这个说法被略微高估了。鲍比·菲舍尔那些弃后的名局，看起来像是下了坏棋。

棋手面对这种局面，脑子里先浮出来的往往是一种感觉：这里头可能有东西。至于具体算路，还没成形。哪怕这一步看起来荒唐，它也可能打开几条本来不存在的计算线路。有了这个念头，他才往下算。

一旦进入强制性的变着，对手没什么选择，他就可以一直模拟下去，看能不能把对方逼进一个输定的局面。但即便大师对局，也常常漏掉三四五步的简单组合，那些组合并不特别显眼，可它就在那儿。

第二天坐下来，你会觉得它变聪明了

黑白棋那件事带来的感受更直接。罗素说，程序的一部分能力来自学习，你第二天坐下来，能明显感觉到它变聪明了很多。它变得更凶，对你的任何细微失误都不留情面，而且似乎比他更懂这个游戏。

加里·卡斯帕罗夫（Garry Kasparov）在对深蓝的比赛里说过一句话：他突然觉得棋盘对面是一种新的智能。

我突然感到棋盘对面是一种新的智能。（加里·卡斯帕罗夫）

这种感觉是可怕还是令人兴奋？在棋类这个语境里，罗素的回答是兴奋。他说，当初让他去做AI的原因就这么简单：一旦他真正搞懂了计算机是什么，他就想让这东西变聪明。他的第一台机器是辛克莱可编程计算器（Sinclair Programmable Calculator），最多能写二十一步的算法，他实现了牛顿法求平方根，还做了点别的算术。

然后他想，只要给我更多空间，我就能让这东西有智能。

可怕的东西不在棋类程序那里。棋类程序不做接管世界这门生意。但如果你往外推，棋类跟真实世界有几处关键的不像。

规则是已知的。棋盘对程序完全可见，而真实世界的大部分，从你坐着的那个位置根本看不见。要跨过这类问题，需要性质上完全不同的算法。

还有时间尺度。真实世界的计划会延伸到万亿级的步骤。你在伯克利读个博士，那是五年的承诺，最终折合成大约一万亿次动作控制步骤，包括上楼梯、开门、喝水、打字时每一次手指动作、论文里每一个字符。你不会事先承诺那些具体的动作，但你确实在一个最终会落到万亿次动作上的时间尺度上做推理。

所以深蓝、AlphaGo 之流不构成对人类的威胁，但它们是通往威胁的一步。罗素把AI的进展描述成一个接一个地拆掉那些让问题变简单的假设。拆掉完全可观测性这一条，你就需要一套复杂得多的计算设计，需要有个东西持续跟踪你看不见的部分、估计正在发生什么，而不确定性是躲不掉的。问题就此变得难得多。

而每一步拆解，都会把AI能做的事情的范围放大一千倍。

真实世界更像围棋，不像国际象棋

当年他们以为，围棋必须走另一条路。人类处理围棋复杂度的办法是把棋盘切成若干弱连接的区域，分别看每块怎么走，再把两块分析耦合起来处理相互作用，必要时回头修正对某一块的判断。棋盘上可能有五六块、七八块、十块。

这套结构其实比国际象棋更像真实世界。人有工作、家庭、运动、购物，各种活动彼此相连但连接很弱。写论文的时候，他不必同时决定先买牛奶还是先买黄油，那不影响打字。但他得意识到要在商店关门前写完，因为家里没吃的了。有连接，只是不像国际象棋那样，一切都绑进一条单一的思维流。

当时的判断是：解决围棋，会顺带推动那些对真实世界有用的东西。结果有点令人失望。为围棋设计的程序，跟深蓝、跟亚瑟·塞缪尔（Arthur Samuel）1950年代的跳棋程序，差别并没有那么大。

让AlphaGo成立的是两件事：一边是惊人的局面评估能力，另一边是更好的推理能力，让它能把某些路径探到很深，把另一些快速丢掉。metareasoning 这个词技术上没错，但它容易让人高估 AlphaGo 拥有的那点东西。"推理"是个很有分量的词。

专家系统那场崩塌，留下一句话

关于符号AI的冬天，罗素说事情没那么简单。第一次被这样命名的冬天在八十年代末。八十年代中期有一场集体努力，要把AI推进真实世界，用的是专家系统。大部分情况下，那技术还没到能上黄金时段的地步。很多系统在做一种不确定推理：判断、证据组合、诊断。而这些推理方法本身是无效的。问题小的时候你还能糊弄过去，规模一大就整个崩掉。

还有很实际的一条。他们让公司买极其昂贵的Lisp机器工作站，1980年代五万到十万美元一台，按现在的价格是十五万到三十万美元。账算不过来。每个大公司都在成立AI部门，跟现在一模一样。

他今天的演讲里有张警告幻灯片，两页。第一页上写：

与其说数据是新时代的石油，不如说数据是新时代的蛇油。（斯图尔特·罗素）

第二页是另一种可能性：某个主要应用领域会出现一次非常显眼的失败，他认为自动驾驶会是旗舰。

1987年就有车在高速上自动驾驶、变道、超车了。三十多年过去，原型车还在高速上变道、超车，大体还是那个样子。

进步确实有，感知侧尤其明显。九十年代中前期他们在伯克利做自动驾驶，把国会议员塞进车里，在高速上飞驰。当时瓶颈清楚得很：感知。仿真里给了完美感知，即使别的车乱来，也能安全开很久。可他们在机器视觉上做车辆检测、行人跟踪，可靠性怎么也提不上去，恶劣天气、夜间、降雨，做演示够了，覆盖一般情况不够。

然后是那道算术。出租车司机一天八小时开十年，一亿秒，任何一秒都可能致命，这是八个九的可靠性。视觉系统只检出 98.3% 的车辆，那是一个多九。中间还有七个数量级。人们以为做完一个成功演示就差不多了，其实离做完还差七个数量级。

跟住一条白线不是问题，白线能横穿全国一路跟下去。麻烦在怪事，在边角案例，在别的司机干出奇怪的事。

Google 早期那套架构很古典：机器视觉检测车辆、行人、白线、路标，结果喂进一个逻辑数据库，再由一套1970年代的规则专家系统判断该怎么办。比如你在中间车道，右车道有个骑车人在打手势，那你就这么做。他们发现的问题是，每天出去都会碰到一条规则没覆盖的情况。开到环岛，一个小女孩骑着自行车逆时针绕行。怎么办？规则库里没有。那就停。

他们回来加规则，第二天再出去，又是一条新的。这样下去不收敛。

根本问题是，你怎么处理一个从来没遇到过的情形？这里的"没遇到过"是指，你需要的推理方式跟以前任何一次都不匹配。国际象棋程序天天干这个：不断遇到没见过的局面，然后想我有哪些可能的走法、结果分别是什么、哪个结果更可取，挑一个。

九十年代他们就说，自动驾驶必须走这条路，必须有前瞻能力。但驾驶的前瞻比象棋难，因为对面的东西是人，比棋子难预测得多。棋盘上的对手也不好猜，可你至少永远知道他的意图：他想赢你。开车的时候你不知道，前车那位是想左转，还是忘了关转向灯，还是喝多了，还是在调电台。你得估计对方的心智状态和意图，才能预测他接下来可能的轨迹，然后判断哪条轨迹对你最安全。

这些又互相影响，因为对方也在对你的轨迹做出反应。经典的并线场景：你在和一辆已在高速上的车抢位置，你要么抢在前面进去，要么让它先过、你跟在后头。谁先走，存在不确定。

所以需要的决策架构，离规则系统很远，在他看来也离端到端的神经网络很远。AlphaGo 不做前瞻的时候相当不错，做前瞻的时候好得多得多。驾驶也一样。

他提到另一个层面：你不能把AI系统当成一个单向响应世界的东西，它是一个别人也会对它做出反应的智能体。 想开好车，不能只做避障。你不能假装自己隐形，那辆隐形车。但反过来，别人也得有点怕你。他们和行人打了很多交道，如果你把行人纯粹当成避障对象，对方就会占你便宜，完全不把你当回事。必须有一种张力，一点不确定性，一点坚决。你太犹豫也不行。

于是问题滑进博弈论。伯克利现在大量研究机器和人的交互。他的同事阿纳卡·德拉甘（Anca Dragan）把问题按博弈论形式化，让系统自己求解，结果系统干出了一些没人预料的事：在无人先行的停车标志前，车会稍稍往后倒一点，用这个动作告诉对方车你先走。这个行为是它自己发明的。没有人告诉它停车标志前的沟通语言是什么。

1979年那句话：我始于一个古老的愿望，锻造诸神

帕梅拉·麦科达克（Pamela McCorduck）1979年写下的这句话，被罗素拿来当作一个哲学支点。人类文明的历史里，是不是有一种内在的冲动，要造出比自己更强的东西？

他提到另一段历史。七十年代英国围绕AI吵得很厉害，政府该投多少钱、这东西是不是真的。政府委托物理学家莱特希尔（Lighthill）写报告，报告写得非常刻薄，罗素认为刻薄就是目的。报告里说，这些人是一些没法生育的苦闷男人，想造出一个生命来作为替代。

罗素觉得这话挺不公平。但那种魔法感确实存在。你造一个东西，你造进去的其实只是你对学习和决策原理的某些理解，然后看着这些原理在具体情境里变成智能行为，这是件不可思议的事。它自然会让你想：这事走到头会是什么样？

乐观的版本因人而异，每个人心里的乌托邦都不一样。

图灵在1951年就算过这笔账

罗素说，不需要天才也能想到，如果你造出一个比你还聪明的东西，你可能有麻烦。图灵1951年在电台做了一次讲座，大意是：一旦机器思维的方法启动，它们会很快超过人类。如果我们运气好，也许能在关键时刻把电源关掉。但即便如此，人类这个物种也会被比下去。

罗素认为图灵有一点说错了。如果机器足够精细，它不会让你把它关掉，它实际上是在跟你竞争。

"我们的物种会被比下去"是什么意思？他的理解是：我们会意识到自己更低等，我们只是靠运气活下来，恰好及时摸到了那个开关。要是没摸到，我们就失去了对地球的控制。

那他更担心超级智能，还是更担心不与人类价值对齐的超级能力？答案是后者。他研究的主要问题是控制问题，机器追求的目标跟人类目标不一致的问题。 从最开始我们就是这么想的：造一台优化的机器，把目标塞进去，它就去优化。

这就是迈达斯国王（King Midas）问题。国王要"我碰过的一切都变成金子"，神给了他这个能力，于是食物、酒、家人都变成了金子，他死于痛苦和饥饿。

几乎每个文化里都有同构的故事。精灵给你三个愿望，你的第三个愿望永远是请把前两个撤掉，因为我搞砸了。

亚瑟·塞缪尔写跳棋程序，那程序学得比他下得好，达到了相当不错的水平。诺伯特·维纳（Norbert Wiener），二十世纪最重要的数学家之一，现代自动控制之父，看到了这一步，像图灵一样往外推：这就是我们可能失去控制的路径。具体来说，我们必须确定塞进机器的目的是我们真正想要的目的，而问题在于我们做不到。

做不到是理论上不可能，还是实践上极难？罗素的界线划在两者之间。理论上可能，实践上极不可能，我们几乎不可能事先正确写出人类关切的全部范围。

人类是怎么传递价值的？靠文化传递，靠教。我们长大的过程中学到哪些价值重要、事情应该怎样、追求什么算合理、追求什么不合理。机器可以用同样的方式学。

所以要摆脱的是那个想法本身：造一台优化机器，然后把目标放进去。既然放错目标是可能的，而且已经发生过很多次，那么机器就永远不应该把给定的目标当成福音真理。一旦它这么做了，它就会相信，它为达成这个目标所做的任何行动都是正确的事。你在旁边跳着脚喊不不不你会毁掉世界，但机器知道真正的目标是什么，它在追求它，你只能自认倒霉。

这不是AI独有的问题。二十世纪很多技术都这么干的。统计学里最小化一个损失函数，损失函数是外生给定的；控制论里最小化代价函数；运筹学里最大化回报函数。所有这些学科都是这样设想问题的，而这个设想本身就是错的，因为我们无法确定地指定正确的目标。

我们需要不确定性。我们需要机器对自己的目标是什么保持不确定。

罗素把这叫做教机器谦逊。机器知道它不知道自己该做什么。而那些目标确实存在，它们在我们身上，只是我们未必能把它讲清楚，我们甚至未必知道我们希望自己的未来是什么样。

一台不确定的机器会对我们恭顺。你说别那么做，它就学到了一点关于我们真实目标的新信息：某件它以为是在推进我们目标的事，原来不是。于是它退让，因为它想做的正是我们真正想要的。

这一点在他看来是解决控制问题的核心。而一旦拿掉"目标已知"这个前提，我们熟悉的一大堆理论框架就都不适用了：马尔可夫决策过程、基于目标的规划、标准博弈搜索。问题变得更复杂，因为与人的交互本身变成了问题的一部分。人做出选择，就是在给你关于真实目标的信息，这些信息帮你更好地达成目标。所以你面对的基本上是博弈论问题：机器和人耦合在一起，而不是一台机器带着固定目标独自跑掉。

二十世纪最惨的灾难，都来自对目标的确定

访谈在这里拐了一个弯。罗素说，生命也许本来没有意义，意义是我们共同商定、在文化中创造出来的。目标要学。而人类文明里最大的麻烦，往往出现在目标被确定性锁死的时候：你认定这个目标是唯一正确的，然后不惜一切代价去实现它。二十世纪的德国、苏俄，都是这个模式的产物。

罗素顺着这个思路说了一句会惹麻烦的话。有些人认为我们不必等到AI接管世界，它们已经接管了，那些东西叫公司。公司把人也当成零部件在用，它们本质上是算法机器，优化的目标是季度利润，这个目标跟人类整体的福祉并不对齐。它们正在摧毁世界，在气候变化问题上，它们要负主要责任。

政府同理。政府本该是一台服务人民的机器，结果常常被一群有自己目标的人接管，用政府去优化他们自己的目标，不管人民要什么。

那"争论机器"行不行？让多个系统各自锁定目标互相辩驳，像政治的红蓝两队。罗素说，辩论和分歧的前提，是承认你可能错。如果你绝对确信自己的目标正确，讨论就没有意义，你不会改变主意，也不会有任何综合。论证本身就是一种不确定推理的实现形式。

他最近在读功利主义的历史，读两百年来人们试图用清晰的数学方式定义道德或政治决策的公式。他说这段历史和今天关于存在风险的讨论几乎一模一样。

功利主义的粗略版本是：每个人有个效用函数，决策要最大化所有人效用之和。反对意见立刻出现：按这个算法，最优政策是让一个人口极其庞大、每个人都过着勉强值得一活的生活的世界出现。这叫"令人反感的结论"（repugnant conclusion）。另一个版本说我们该最大化快乐，于是有人回敬：那不如让所有人接上海洛因点滴。这话在十九世纪就有人说过了。

跟AI的关系是：如果公式写错了，我们会得到一批朝着在事后看来完全错误的结果努力的AI系统。

那为什么AI版本更让人紧张？因为速度。政治理念错了，我们看得见它开始出问题，我们也没那么蠢，会说这个可能是错的，换一个试试。而且我们实施起来又慢又低效。真正要担心的是效率极高的公司和政治系统。

计算机有另一个特性。一个外科医生如果对某个手术的想法是错的，做三四台就会发现问题。制药公司不行，它们不做三四台手术，它们生产三四十亿片药，卖出去，然后半年或一年后发现人们在死于心脏病或得了癌症。所以才有FDA，因为药品生产是可扩展的。制药史上有些糟糕到难以想象的事件，掺假产品杀死过几万人，让几十万人瘫痪。

计算机有同样的可扩展性问题。你可以写一个从一到五十亿的循环，瞬间产生全球规模的影响。而我们没有对应的FDA。完全没有任何管制，去约束一群咖啡因摄入过多的本科生能对世界做什么。

看Facebook，或者说整个社交媒体和点击率优化。一个简单的反馈算法，只优化点击。听起来合理，你不想给人推他们不关心的广告。你甚至可能认为这个过程只是在调整广告或新闻的推送，去匹配人们的偏好，听起来是个好主意。

但算法不是这么工作的。算法多赚钱的方式，是更好地预测人们会点什么，然后精确地喂给他们。而最大化点击率的方法是改造人，让人变得更可预测。其中一个办法是喂给他们会改变其行为和偏好的信息，把他们推向极端，推向最近的那个可预测点。机器会把你逼到那里。罗素认为有理由说，这正在参与摧毁世界各地的民主。

这个过程里监督在哪？谁问过：你想把这个算法应用到地球上的五十亿人身上，能不能向我证明它是安全的、不会产生各种负面效果？没有人在问。没有一个人站在那群咖啡因过多的本科生和人类之间。

经济学家会说，资本主义有看不见的手，那就是监督。你如果用什么决策腐蚀了社会，人们就不用你的产品了。这是一种监督模型。罗素说，那就看着吧。但与此同时，你可能已经把让资本主义运转的政治系统弄坏了。

没有理由允许机器假装是人

那能不能建立监管机构？他说可以，但要想清楚管什么，这需要时间。FDA那套分期临床试验的体制，第一阶段做什么、第二阶段做什么、通过标准是什么，设计出来花了很久，到今天还有人想改。而算法对应的那些标准和分期，我们连想都没开始想。

有些事现在就能做。偏见。技术上我们已经有比较好的手段去检测算法在传播数据集里已有的偏见，去消除它，甚至能算出这么做要花多少成本。这类事情可以先有标准。还有冒充和伪造。

冒充就是机器假装自己是人。罗素说他看不到任何正当理由，去反对强制机器自我标识为机器。让人误以为对面是个人，社会收益在哪？用像人的声音方便理解，这没问题，但你得在某个环节说我是机器。

加州有条法律禁止冒充，但只限定在特定情形：从事欺诈交易，以及影响他人投票行为。他认为按理说应该覆盖所有情形。

至于深度伪造，我们才刚开始。现在已经能造出任何人说任何话的视频，很难识别，包括他自己，因为他正在镜头前，声音是高分辨率传出去的。把他说的话换成任何别人想让他说的话都行，连嘴唇和面部表情都能跟着改。商业领域还有商标法可用，政治领域目前是随便来。这会非常有害。

卢瑟福说这是"十足的胡扯"，第二天早上齐拉特读到了

然后罗素讲了一段核武器的历史，用来说明监管为什么总是来得晚。

二十世纪初人们就知道原子内蕴含巨大能量，知道不同原子及其组分之间的质量差，也知道也许能造出威力空前的炸药。H.G.威尔斯（H.G. Wells）1912年写了一本这样的科幻小说。发现同位素的弗雷德里克·索迪（Frederick Soddy），诺贝尔奖得主，1915年演讲说这种新炸药一磅相当于一百五十吨黄色炸药，这个数字后来证明大致准确。那是一战期间，他在想象如果交战双方用上这种东西，战争会惨烈多少。而物理学界拒绝相信这是可能的。

罗素说，部分原因是他们不希望它是真的。他们的看法是它不可能为真，这不可能提供造出超级武器的途径。1933年9月11日，核物理的领袖卢瑟福（Rutherford）演讲说，任何谈论从原子转变中获取能量的人都是在讲十足的胡扯（moonshine）。第二天早上，利奥·齐拉特（Leo Szilard）读到这篇演讲的报道，然后发明了核链式反应。

齐拉特想到可以用中子：中子不被原子核排斥，能进入核内，然后让反应继续。这个念头一出现，他立刻明白世界要有大麻烦了。那是1933年，希特勒刚在德国上台。齐拉特当时在伦敦，后来成了难民去了美国。在产生链式反应这个想法的过程中，他基本想清楚了怎么造炸弹，也怎么造反应堆。1934年他为反应堆申请了专利。但鉴于他能看到的大国冲突局势，他把这件事保密了。

从那时到二战开始，包括德国人在内，人们都在研究怎么造出中子源、哪些具体的裂变反应能产生能量合适的中子来维持反应。1938年德国做出了演示。第一份核武器专利是1939年法国人申请的。这一切在二战真正开打之前很久就在进行了。英国大概有最先进的能力，但出于安全等考虑，加上资源问题，他们把项目从英国搬到了美国，后来就成了曼哈顿计划。

所以核技术为什么没能及时得到监督？因为那时我们基本上已经身处军备竞赛和战争之中了。

如果你成功了会怎样

为什么今天大部分AI研究者不担心？罗素用了心理学里的一个词：动机性认知（motivated cognition），你相信你希望是真的东西，而不是真的东西。想到自己手上的工作可能是人类的终结，这让人不安，所以你宁可立刻否认，再找个理由说明它不可能为真。

他收集了一张很长的清单，都是极其聪明、极有能力的科学家提出的"不必担心"的理由。

比如：计算器在算术上远超人类，它们也没接管世界，所以没什么好担心的。罗素说，他五岁的孩子都能看出这个论证有多弱。

再比如：超人类AI毁灭世界在理论上是可能的，但一个黑洞在地球旁边凭空出现、毁灭人类，理论上也可能。量子理论上它出现的概率极低。罗素说这个类比完全站不住脚：如果地球上整个物理学界都在致力于让一个黑洞出现在近地轨道，你难道不会问他们一句，这是个好主意吗？这安全吗？万一你们成功了呢？

问题就在这儿。AI界拒绝问自己"如果你成功了会怎样"。最初不问是因为太难。但图灵问过自己，他的回答是我们完蛋，运气好也许能关掉电源，但大概率完蛋。

另一层原因是，我们并不确定未来是什么样，所以也不太清楚技术上到底该担心什么、事情会怎么坏。这就带出一种麻痹感：你在担心一件逻辑上似乎不可避免、但你完全不知道它长什么样的事。

罗素承认这个说法有道理。存在风险和陨石撞地球不一样。陨石撞地球在过去发生过，将来大概还会发生，而且如果我们真探测到一颗七十五年后会撞上来的小行星，我们肯定会做点什么。而AI这件事，很多人认为它不会发生，罗德尼·布鲁克斯（Rod Brooks）不这么认为，安德鲁·吴（Andrew Ng）大概也不这么认为。但天天在一线敲石头的人里，很多人认为它会来。AI研究者的估计中位数是四十到五十年后，亚洲那边认为更快。

他本人保守一些，觉得可能要更久。但核武器是一夜之间做成的。这种事可能一夜之间发生。他说不需要一次突破，粗略地数，大概需要半打这样的突破，才能到达超人类AI。而AI研究共同体现在规模庞大，政府和企业投入巨大，聪明人极多，你只要看看各个子领域的进展速度就知道事情走得相当快。说这要几千年，他看不到任何依据。

他顺手点了斯坦福"AI一百年研究"项目。那是建制派的严肃声音，最新报告居然说这大概一段时间内根本不可能。如果你想要一个人们集体否认的完美例子，这就是。 AI的整个历史里我们一直在对哲学家说，你根本不知道你在讲什么，它当然可能，给我一个它不可能的理由。而现在，人们因为担心这事会被搞臭名声，反过来自己说它不可能。

他说这就像癌症生物学界的领袖们站出来说，治愈癌症当然不是真的可能。这太奇怪了。

大猩猩没能解决的控制问题

如果接受它可能、而且大概会发生，那它怎么坏？没有答案的话，你就卡在他所说的"大猩猩问题"里。

几百万年前，大猩猩造出了比它们更聪明的东西，也就是我们。现在它们处境非常糟，而且它们什么也做不了，它们已经失去了控制，它们没能解决控制人类的控制问题。

我们不希望处在那个位置。而如果大猩猩问题是你唯一的表述方式，你能做的事就不多，只能说不该造人类，在这里就是不该造AI。罗素说，他不认为这是一条可行的路线，而且如果控制得当，AI能带来极大的好处。

所以在他看来，主要失败模式之一已经形成共识：失控。我们造出的AI系统在追求错误的目标，而因为系统相信自己知道目标是什么，它就再也没有动机听我们的了。它在执行一个它算出来的最优策略。为了成功，它可能需要获取更多资源；为了防范各种失败模式，它可能需要自我防御、对抗干扰。这一组问题，他认为是可以着手处理的。

第二个问题是误用。就算我们解决了控制问题，做出了完全安全可控的AI系统，恶人为什么要用它？他要接管世界，他会做出不安全的AI系统，然后那东西失控。这个问题一半是治安问题，一半是行业文化问题：我们怎么教人分辨什么样的系统是安全的。

他提到自主武器系统，几乎所有人都同意这里有太多可能出大错的地方，那部叫《屠杀机器人》（Slaughter Bots）的短片把这件事讲得很清楚。

还有第三个失败模式，他特别提出来：过度使用。 我们变得过度依赖。他管这叫"瓦力问题"（Wall-E）。电影里人类坐在飞船上，机器替他们打理一切，他们只看电视、喝大杯饮料，全都肥胖、迟钝，彻底丢掉了人类自主性的概念。

这是温水煮青蛙。我们会一步步把文明的更多管理权交给机器，现在已经在这么做了。如果这个过程继续，我们就会从技术的主人变成客人。当一周游轮上的客人没问题，当一辈子不行，而且这几乎不可逆。一旦你失去了去学做工程师、医生、清洁工的动力，也就失去了维持和传递文明的无数种方式中的任何一种的动力，你就不会去做了，再想恢复极其困难。

他说其他技术也有类似效果，但区别在这里：在运行文明所需的知识这件事上，我们过去别无选择，只能把它放进人的脑子里。 我们一直把知识写在纸上，但纸不会运行文明。只有当知识从纸上再进入人的头脑，它才起作用。我们靠人心来传递文明，为此花了大约一万亿人年。地球上活过的人刚过一千亿，每个人花大约十年学东西来维持文明运转，算下来就是一万亿人年。

现在我们有把这一万亿人年扔掉的风险。

而这个问题他解决不了，它不是技术问题。如果我们做对了，AI系统会说：人类长远来看不想当游轮上的乘客，人类要自主，这是人类偏好的一部分，所以我们不会替你把这事做了，你得自己去做。我不会用自动驾驶直升机把你送到珠峰顶，你想拿到那份收获，就得自己爬。

但他担心，因为短视和懒惰，我们会去覆盖系统的判断。他推荐所有人读一个短篇，E.M.福斯特（E.M. Forster）1909年写的《大机器停转》（The Machine Stops）。福斯特是写大英帝国题材、后来被BBC拍成古装剧的那位小说家，只写了这一篇科幻。里面有类似iPad的东西，有视频会议，有按需点播，有因使用计算机导致的肥胖。人们的全部生活就是讲网课、听网课、谈论想法，从不真正走进真实世界，几乎没有面对面接触。我们今天担心的东西，那篇小说全都写到了。然后人类越来越依赖机器，失去了事物如何运转的知识，变得极易崩溃。

1909年能想到这些，罗素觉得难以置信。

他每天都在跟自己吵架

访谈者问他会不会感到负担：在计算机科学圈外，人们说"斯图尔特·罗素都担心安全，你也该担心"，这种位置沉不沉。

实际层面的负担是真的。他一天能收到十几封、有时二十五封邀请，请他去讲这个、接受采访、写评论文章。这本身就说明人们确实关心、确实有兴趣。

那他担心自己可能错吗？

他说当然，一直在担心，他一直就是这么工作的。脑子里跟自己吵架：冒出一个想法，然后想，这怎么会错？是不是别人早就想到了？于是去翻尽可能多的文献，看有没有人想过、甚至驳倒过。

他现在读很多哲学，因为在功利主义和其他道德公式的争论里，人们已经把一些问题想透了。但他没在这些争论里看到那个具体的想法：目标中的不确定性至关重要，这才是我们思考"对人类有益的机器"的方式。 他称之为可证明有益的机器（provably beneficial machines），建立在目标明确的不确定性之上。他的直觉是这就是核心，需要往很多方向展开。

而它必须是可证明的。不能靠手挥一挥说"有益的"。凡是我们挥手糊弄的地方，都有漏洞，而超智能机器会找到漏洞。就像逃税的人，如果你的税法写得不严谨，人们就会找到漏洞，最后一分税都不交。

把这些定义弄对是一个漫长的过程。你可以定义数学框架，在框架内证明定理：这个理论实体对那个理论实体可证明有益。但这个框架可能在某个关键之处并不对应真实世界。得反复推敲、迭代。

最后一个问题，十秒钟：最喜欢的关于AI的科幻电影？

《星际穿越》（Interstellar）里有他最喜欢的机器人，塔斯（TARS）。那也是机器人该有的行为方式。至于让人对未来产生某种紧张感的，是《机械姬》（Ex Machina）。

罗素在整场访谈里没有渲染任何一幕。他讲核物理学家如何拒绝相信自己的计算，讲一群咖啡因过多的本科生如何改写了五十亿人的信息环境，讲大猩猩如何在几百万年前造出了我们。这些话的力量来自它们的平常：他不是在预言灾难，他是在指出一个已经重复过很多次的模式，然后说，这次的规模不同。

至于普通人能做什么，他给出的方向其实很具体。

• 遇到任何"AI不可能有那种能力"的论断，先追问一句理由是什么。罗素收集的那张清单里，绝大多数理由的强度不超过"计算器也没接管世界"。判断一个论证，看它能不能过你自己那一关，不看说话人的头衔。
• 把"如果成功了会怎样"当成一个标准问题。不管是自己做的项目，还是公司要上线的算法，先问成功之后的形态，再问失败的概率。AI界回避这个问题回避了七十年。
• 对任何直接优化人的指标保持警觉。点击率、停留时长、转化率，这些指标的优化路径里，有一条是把人改造成更可预测的样子。看到这类系统，先问它优化的是什么，以及它有没有可能通过改变你来达成目标。
• 支持"机器必须自我标识为机器"这类看起来太简单、所以没人推动的规则。真正能落地的监管，往往从这种低争议的条款开始，而不从定义通用智能开始。
• 在涉及重大让渡的决定上，保留自己动手的能力。让AI替你写代码可以，别让"知道怎么运行这套东西"从人类头脑里消失。文明靠一万亿人年的人脑传递维持，这份账本一旦关掉，很难重新打开。