# 安卡·德拉甘：人机交互与奖励工程 > 机器人学研究者谈人机协作中的冲突处理、如何为机器设计奖励函数，以及自动驾驶的伦理。 - 原标题：#81 – Anca Dragan: Human-Robot Interaction and Reward Engineering - 期数：第 81 期 - 发布日期：2020-03-19 - 嘉宾 / 主题：安卡·德拉甘 - 网页版：https://lexfridman-cn.pages.dev/ep/anca-dragan/ - 官方页面：https://lexfridman.com/anca-dragan/ - 精读字数：约 14695 字（阅读约 33 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 整条逆向强化学习（inverse reinforcement learning）的路，建立在一条极其简单的假设上：人的行为，相对于他真正想要的东西，是最优的。 这条假设撑起了机器人学里的一大块研究。给机器人看一段人的驾驶录像，它能反推出这个司机优化的到底是什么，是激进还是保守，是抢道还是让行。给人演示一遍怎么把碗放进柜子，它能反推出你真正在意的边界在哪，是碗的朝向，还是柜门的开合角度。 安卡·德拉甘（Anca Dragan）是加州大学伯克利分校的教授，专门研究机器人怎么理解人。她调了十年的成本函数。但这几年，她撞见这条"人是理性的"假设不成立的场景越来越多。 人玩月球着陆器那个游戏，几乎全是狠狠摔在两边的旗子之间。人推着轮椅上的机械臂想去够一个杯子，手的轨迹在各个方向乱飘，看起来完全不像在最优地实现某个目标。人见到机器人靠得太近，会伸手把它推开。 2020年3月，她和 Lex Fridman 聊了近两个小时。这场对话有意思的地方在于，她没有绕开这条假设的裂缝，直接钻进去找新路。 ## 她进机器人这行，纯属偶然 德拉甘出生在罗马尼亚。数学奥林匹克在那边算是全民运动，她从五年级就开始参加。她说那时候的数学对她来说只是纯粹的理论，好玩，但不知道往哪儿用。 四年级的时候她报了一个课外班，可以选舞蹈、音乐或者编程。她选了编程，妈妈当时还问，为什么要选这个。她写的第一段代码是用 QBasic 画一个圆，她说她现在也不会画了。 大学她才真正接触人工智能。申请研究生的时候，她投了 MIT、伯克利、斯坦福，全被拒了。卡内基梅隆的机器人研究所是唯一录取她的地方。她当时的想法很朴素：机器人是一个能把自己喜欢的优化理论真正落到物理世界里的地方。 她对车的兴趣也是偶然长出来的。2014年她还在伯克利读博，学校组织了一次坐谷歌自动驾驶车的机会。她坐进去，看着方向盘自己转，车一个决策接一个决策地做对。下车时她拿到一张贴纸，上面印着"我坐过自动驾驶汽车"，还有那只谷歌无人车的小萤火虫标志。那张贴纸在她笔记本上贴了好几年，直到换电脑才取下来。 她说那是她经历过最接近"恋爱"的一刻。那辆车在工程上没什么魔法，车头、传感器、转向的动作都很普通。真正让她震住的是自己脑子里发生的拟人化，那些零件在她大脑里拼成了一个"看着我"的存在。 > 我意识到，机器人可以远远不只是操作物体的工具。它可以是与人有连接的东西。（安卡·德拉甘） ## 她先生用一台七自由度的 WALL-E 求的婚 问她最喜欢的机器人，她说是《机器人总动员》里的 WALL-E。喜欢的原因很具体：它太会表达了。两个镜头当眼睛，一对机械臂，靠动作的节奏、停顿、朝向，就能演出好奇、犹豫、孤独、喜欢。她自己研究的就是机器人怎么用动作表达内部状态，WALL-E 在她眼里几乎是一个完美的范本。 然后她说了一件更私人的事。她先生求婚的时候，亲手做了一台 WALL-E。七个自由度，包括那两个能动的镜头。机器人端着一个小盒子走过来，盒盖慢慢打开，戒指在里面。那台机器人她家留到现在。 这段插进来并不突兀。它正好说明了她一直在研究的那件事：机器人怎么用动作传达意义。她自己就是被一台手工做的机器人打动的。 ## 人机交互不是一个问题，是两个 她把这个问题拆得很清楚。 一个机器人在实验室里独自完成任务，那是它自己的事。你把它放到真实世界，让它去帮一个人，问题的性质立刻变了。 第一个变化是：机器人不再是在场唯一行动的智能体。它旁边有别人也在同一个空间里做决策。你让它去咖啡厅拿杯咖啡，路上有人也在伸手够东西。车在路上开，旁边全是别的车。机器人知道自己的目标还不够，它得让自己的动作和别人的动作咬合到一起。 第二个变化更微妙：谁来定义"好"？程序员写下的目标是程序员的偏好。可机器人进了你家，你有你自己的想法。你想让房子被打扫干净，但干净到什么程度，机器人该离你多近，这些是程序员猜不到的。 **机器人真正要优化的，是终端用户的偏好。程序员写下的那套东西，只是这件事的代理。** 这件事听起来简单，做起来很难，因为"搞清楚别人想要什么"本身就是个硬问题。 ## 理解人类，其实是两件几乎相同的事 她说理解人类可以拆成两件任务，而且在她看来这两件事本质上是一回事。 第一件是预测：这个人下一步会去哪儿，会怎么开车。自动驾驶的预测模块干的就是这个。 第二件是推断：这个人到底想要什么。他心里那个"好"是什么样子。 这两件事看起来不一样，她认为它们连着。人的动作总有来由。人做某个决定，是因为他想达成某个东西。如果你能从行为里读出意图，预测下一步就容易多了。 这就引出了逆向强化学习。正向强化学习是已知奖励、求最优策略。逆向是反过来：看人的行为，反推他优化的奖励函数是什么。 这个人怎么打方向、怎么跟车，这里藏着他的驾驶风格。你演示一遍希望房子怎么被打扫，这里藏着你愿意在哪些地方妥协。这些都能通过逆向强化学习从行为里抠出来。 这条路在机器人学里已经走了不少年，也确实有效。它有效的前提，就是开头那条假设：人的行为相对于他想要的东西是最优的。 ## 这条假设的谱系，从经济学走到行为经济学 她把这个思想史上的链条讲得很清楚。 最早是冯·诺依曼和摩根斯坦在20世纪中叶提出的效用最大化：人在做选择的时候，是在最大化某个效用函数。 到1950年代末，Luce 和 Shepard 补了一刀：人是有点噪声的，是在近似地做这件事。一个选项被选中的概率，大致跟它的效用成正比。这个噪声版本后来被搬进机器人学，就是所谓的"玻尔兹曼理性"（Boltzman rationality）。机器人用这个模型去反推偏好，在很多任务上已经够用了。 然后到1970年代，行为经济学起来了。这一派说的是：人根本不理性。人混乱、情绪化、充满领域相关的启发式，一堆乱七八糟的东西。 她说这段话的时候很坦诚。有些任务里人实在太混乱，简单模型撑不住了，那种时候她也想过收拾行李回家换个工作。 问题在于：机器人越来越强，你越需要一个可靠的机制告诉它"你该做什么"。而这个"该做什么"要从人的行为里读出来。读得准不准，直接决定这套系统靠不靠谱。 ## 也许人并不混乱，是我们漏掉了他们的假设 她这几年最看重的一个想法是：不要急着判定人混乱，先想想是不是我们漏掉了他们脑子里的假设。 我们做机器人模型的时候，默认智能体知道真实的状态、真实的转移函数、真实的时间视界。然后我们说人是理性的，意思是他跟我们共享这一整套假设。人不符合这个模型，我们就把人叫作"不理性"。 她提了一个替代方案：**也许人确实是相对理性的，只是在不同的假设下理性。** 这个想法的实验支撑来自月球着陆器那个游戏。人和机器人玩同一个游戏，但人的心理模型不一样。人不懂这个飞行器的复杂物理，惯性、推力、角度，人心里有一套朴素的、简化的物理直觉。认知科学里管这个叫"直觉物理"（intuitive physics），Josh Tenenbaum 和 Tom Griffiths 这些人做了很多这方面的工作。 德拉甘的团队做的事是：尝试去推断人心里用的是哪一套简化的物理模型。然后允许机器人根据这套模型去校正人的操作。你在屏幕上按了个方向，机器人不会直接执行你按的方向。它会先想：按照你脑子里那套简化物理，你以为这个操作会把飞行器送到哪儿？然后用真实物理反推，我该做什么，才能让你以为的那件事真的发生。 结果是，玩这个游戏的人，真的把飞行器降落在两个旗子之间了。她说这个实验还远远不算定论，但至少是个证据：当我们放弃"人就是乱的"这个结论，转而认真去建模人脑子里的世界观，人是可以被理解的。 她把这个思路延伸得很远。也许人并不混乱，只是他们的计算能力有界，注意力有限，对世界的理解有偏差。也许人对奖励本身的估计都是模糊的，他一边活一边在搞清楚自己到底喜欢什么。你打开 Netflix 翻来翻去最后选了一个，系统把这个当成你的偏好信号，可你自己可能都还没弄清楚你喜不喜欢这个。那一个选择本身谈不上"最优"的表达，它只是一个还在探索中的行为的副产品。 **人看起来乱，多半是因为他的信息、他的信念、他的计算资源和我们假设的不一样，跟放弃理性没什么关系。**这在机器人之外也是个好用的生活经验：当你觉得某个人做事莫名其妙，先别下"他不理性"的结论，先去找他脑子里那个你没看到的假设。 ## 机器人可以主动出击，去问清楚 回到开车。这一部分讲得很具体。 你开的是一辆自动驾驶车，想变道到旁边那辆车前面。你不知道那个司机的风格，他是激进还是保守，他会不会让你。 如果你只是被动观察，你会怎么做？你会开在他旁边，一直开在他旁边，等他的行为暴露偏好。可问题是，他只要直着往前开，你就什么信息都拿不到。他激进还是保守，在直行的时候看起来完全一样。 **机器人可以主动设计自己的动作来收集信息。** 德拉甘团队里 Dorsa 做的一个工作就是这个。车会先往那个司机的车道轻轻探一下，看对方会不会减速。如果对方减速了，它更新对这个司机的模型：好，你偏防御型，那我就可以放心过去了。如果对方不让，它也更新：你偏激进，我等下一辆。 这就是一个舞步。你用你自己的动作去问对方一个问题，对方的反应就是答案。 她说全世界认真想这件事的人一只手数得过来。原因是很多机器人研究者其实怕人，人太乱、太复杂，干脆绕开。她的态度正好相反：人可以乱，但人也在反应，反应里全是信息。 ## 机器人也在被人类看 Lex 在这里补了一个角度：人是会反过来建模机器人的。你对着机器人做一套动作，对方脑子里也在更新"这台机器是个什么东西"。 她顺着这个角度往下走。人天生就会对机器人的行为做贝叶斯推断。你看到一辆车强行插到别人前面，你立刻更新：这车挺凶。你看到机器人的头朝向一扇门，你猜：它要去那扇门。 那么问题来了：既然这个过程一定会发生，机器人能不能主动去影响它？ 答案是能。把"人对机器人内部参数的信念分布"也纳入机器人的状态空间。机器人每做一个动作，人就会用贝叶斯规则更新这个信念。机器人现在要解的优化问题变成了：我该做什么动作，才能让你更新后对我内部状态的判断，尽可能贴近真相。 数学上其实就是贝叶斯更新，人看到动作，假设机器人是理性的，于是反推出机器人想干什么。机器人反过来用这一点，去挑选那些"能把我的真实意图讲清楚"的动作。 这道题的解法，是把"人对我的看法"明确写进状态里，然后优化它。人和机器人同处一个空间，互相建模是躲不掉的。与其放任误解自然生长，不如让机器人主动把"我到底想干嘛"这件事表达清楚。 ## 孩子对 Alexa 没礼貌，这件事让她担心 Lex 在这里抛出一个他反复想的问题。他读到有孩子在对着 Alexa 大喊大叫、出言不逊，因为对它无礼不会有任何后果，Alexa 永远用同一个语调回复。 德拉甘接过这个话题，讲了两点。 第一点是关于表达。她认为机器人也该有一点"被欺负会显得不舒服"的样子。人有种本能，看到能表达的东西就会拟人化，会对它产生情感反应，哪怕你清楚地知道那只是一台机器。她举了一个经典的心理学实验：屏幕上几个三角形和一个圆点在动，其中一个三角形去追那个圆点，看的人会真的对那个三角形生气，觉得它干嘛不放过那个圆点。人控制不住这种反应。 既然控制不住，那么让机器人表现出一点情绪、一点犹豫、一点"被推了会退后"的姿态，反而能让人对它客气一点。这么做的好处主要落在人这一侧：让人自己舒服，也让孩子学会怎么对待一个会回应的对象。 第二点是关于脆弱。Lex 说他觉得机器人得像人一样，得有点态度、有点神秘、有点不怒自威，否则人不会尊重它。她补了一个不同的角度：**人会回应强势，也会回应脆弱。** 不必只靠"硬"来换取尊重。示弱、求助、明显地不知所措，这些同样能建立连接。她并没有说哪种更好，只是提醒，别把人机关系想成一场谁压过谁的角力。 ## 路口的博弈，比碰撞检测难一个量级 话题转回开车。Lex 提到吉姆·凯勒（Jim Keller）的观点。凯勒是传奇芯片架构师，也带过一段时间的 Autopilot 团队。他的直觉是：驾驶本质上还是个弹道学问题，把车当成一个运动物体，躲开别的东西就行，人这个因素可以暂时忽略。 Lex 自己不同意。他觉得一旦人掺和进来，难度至少要再乘个数量级。 德拉甘没有直接站队，她换了个问法。**先把旧金山市区里所有的人拿掉。**没有行人，没有人类驾驶的车，没有骑车的，没有电动滑板车窜来窜去。就剩自动驾驶车自己。她说，那种情况下，驾驶这件事基本算解决了。 这句话划出了一条清晰的界线：感知、控制、规划这些环节都不是眼下的死结，真正的死结是那个活生生的、会看你、会被你影响的人。 感知这块，她认为这些年进步很大。几年前说这话不成立，那时候连"路上有什么"都搞不清楚。现在把人类清空，感知不再是拦路虎。剩下的挑战在边缘情况，在施工区，在路面湿滑时动力学模型的漂移，但这些都不是根本性的。 真正让她心里没底的，是人。 她拿高速合流举例。一辆车想并进主路，一直并进不去。为什么？因为它观察后面的车流，预测这些车会继续直行，然后它发现任何一条可行轨迹都会和别人的轨迹相交。于是它停在那儿，永远等下去。 这个僵局是怎么破的？靠把对方也当成会反应的对象。这辆车往前探一点，主路上的司机看到有人要并，可能就会松一脚油门让它进来。**对方的动作会因为你而变化，这就是博弈。** 她把这个思路联系到控制论里的"欠驱动"（underactuation）。一个系统里有些自由度你能直接控制，有些你控制不了，但你能影响。人机交互就是这个结构。你没法直接操纵那个司机，但你能通过自己的动作去影响他的决定。 她说她喜欢把"人机交互"叫作"欠驱动的机器人学问题"，这里面有种诗意。 ## 过马路是一场每天都在上演的胆小鬼博弈 Lex 接了一段很个人的观察。他攒了几百小时的视频，专门看行人过马路。他的说法有点好笑：这是个奇怪的爱好，但他从中看到了很多关于人性的东西。 过马路这件事，在美国每天发生几千万次，本质上是一场微型胆小鬼博弈。谁先让，谁先走。尤其在路权模糊的地方，规则说不清，剩下的就靠默契，靠那个路口在一天里不同时段的"性格"。 他说有些人根本不"探"，直接迈步，用一种很确定的姿态走过去。他认识一个跑步的朋友，给过他一条建议：跑步的时候别跟人对视，所有人都会给你让路。 德拉甘说这有个名字，叫"礼貌性疏忽"（civil inattention）。她解释了背后的机制：**当你用动作传达出"我很确定、我不会改路线"的时候，你其实是在告诉别人，别指望我会让，你得绕开我。** 反过来，如果你犹犹豫豫、左顾右盼，你传递的信号是"我还在游戏里，我的动作可以被影响"。于是对方也会试探你。这就是为什么那种"毫不迟疑地往前走"的人能顺利通过，而那些犹豫的人反而被车流困住。 她把这段和之前讲的信息收集接上了。机器人探那一下，就是在玩这个游戏。不同在于，机器人得算清楚：我这一探，能不能换回我需要的那个信息。 ## 激光雷达是不是拐杖 聊到自动驾驶的技术路线，Lex 提到了埃隆·马斯克那句著名的判断：激光雷达是"拐杖"（crutch）。 她说这句话在直觉上有意思。**今天能用的东西，往往是通往明天更好的东西的拐杖。**在学术圈里，这一点看得特别清楚。一个方法一旦奏效，研究者的思路就容易被它框住，不愿意往外跳。 但安全攸关的系统是个例外。它的逻辑是反过来的：能用、可靠、经过验证的东西，就应该继续用。所以在真实世界的安全系统里，这条"拐杖"哲学不适用。 她说她自己的信息主要来自那些既用摄像头也用激光雷达的系统。在没搞清楚纯视觉能不能撑住之前，用激光雷达是稳妥的选择。她没有判定纯视觉一定不行，只说自己不了解足够多的细节去下结论。 ## 凤凰城那次无人驾驶，她记了很久 她提到自己去凤凰城坐过 Waymo 的无人车，还拍了视频。她说那是她人生里几个重要的机器人时刻之一。 听起来有点傻，但坐进一辆没有司机在驾驶座上的车，方向盘自己转，车按限速开，遇到行人会减速，过路口、左转、并线，处理得干干净净。**那种感觉和看演示视频完全不是一回事。** 她在这里给了一个很清醒的判断。这些系统在特定区域、特定条件下确实跑起来了，说明这条路能走，能扩。但这不等于剩下的都是工程问题。她说自己是在"相当宽泛地猜测"，新城市、新挑战会不断逼出新的算法，或者至少是改过的算法。 没有人已经跑遍所有地方。这个事实本身就说明，扩展还没到"只需堆人力"的阶段。 ## 机器学习在这条路上能占多大比重 Lex 问了个具体的问题：这些自动驾驶系统里，有多少是靠学习和数据堆出来的，有多少是人手工写进去的规则和启发式？ 她先给了一个不太讨巧的回答框架。她说，当人们把这个问题表述成"一堆人写下的规则，对阵端到端的强化学习或模仿学习"的时候，这个二分本身就漏了东西。 被漏掉的那一块是规划、搜索、优化。机器人学本质上是个序贯决策问题。让一个机器人在空间里自己搜出一条能到目标又不撞东西的路径，这里面没有一条是人写下的规则，它是搜出来的、优化出来的。这块东西在她看来极其重要，不该被"规则对阵学习"这个框架挤掉。 她也不认为只靠学习就够了。只做模仿学习，一旦偏离训练分布就完蛋。只做强化学习，你要么在真实世界里试错，代价太大；要么在仿真里学。而仿真里学，你又得先能建模这个世界、建模里面的人，才能保证学出来的策略在真实世界跑得动、还能继续学。 所以她的答案是：**学习、搜索、建模，这三样谁也替代不了谁，得搭在一起用。** Lex 顺着问仿真在人机交互里有没有用。她说有用，但有个前提：仿真里的人类模型，得是构造的和学习的结合。如果只是抓一批人的数据拟合出一个策略，然后让机器人去算"如果人就是这样，我该怎么做"，那机器人的最优反应会很快跑到数据分布外面去。到了外面，那个拟合出来的人模型就彻底失效了。 问题在于，符合你手上数据的人类策略有无穷多个。你从有限数据里根本没法确定，分布外的那个人会怎么动。 ## 人类怎么在分布外思考，这还是个谜 Lex 在这里追问了一个更深的东西。"分布外"这个说法本身是机器学习词汇，它隐含地假设了存在一个统计模型能代表你见过的那些数据。可人是怎么在完全没见过的情况下做出合理判断的？ 他说自己随便走在什么新情境里，都能大致猜到接下来会发生什么，虽然有时会错，但大体靠得住。这个能力是怎么来的？ 德拉甘的回应是，这最终要落到"你要给模型注入什么样的先验"这个问题上。数据能告诉你的东西有限，你得人为地加上一些假设，让模型在没见过的数据上也能泛化。什么样的假设才是对的？她也不知道。 她给了一个可能的方向：也许最合理的先验是"人是有意图的，意图驱动行为"。在没有近距离数据反驳这个假设之前，就默认这一条。至于这条先验在其他情境下会不会出错，会不会需要更复杂的信念结构，她说这是个完全开放的问题。 她还补充了一个容易被忽略的点：预测一个人的下一步，不光要看他现在的状态，还要看他到目前为止的历史。因为你需要从历史里判断"这是个什么样的人"。"历史"是最近几分钟，还是最近几个月，取决于任务。而这个从历史状态到动作的映射，同样有无穷多种可能。 所以她真正在意的是：**我们该下什么样的假设，才能让这些模型在数据之外还站得住。** ## 要不要把"怕死"显式写进奖励函数 Lex 提了一个他觉得绕不开的东西。行人过马路那场博弈，底层其实是对死亡的恐惧。人不想死。这个"不想死"是不是得显式编码进模型里？不然机器人怎么理解人在路口的那种谨慎和算计？ 德拉甘的回答出人意料地简单。她说，也许不用显式编码。 因为一旦你把一个智能体建模成"有目标、要达成某些事"的存在，你就隐含地给了它一个活下去的动机。**一个死了的智能体没法达成它的目标，所以它会自我保护，这是个自然推论，不需要单独写一条。** 她引了斯图尔特·罗素（Stuart Russell）那句很有名的话：**你死了就没法去拿咖啡了。**（You can't fetch the coffee if you're dead.） 她说这正是她被理性框架吸引的原因。尽管这个框架到处是漏洞，但它极其有用。你一旦把智能体当成有目标的，很多看起来需要单独处理的动机，会自动从结构里长出来。她的备选是什么？放弃，或者用完全的黑箱。可黑箱在分布外你什么都不知道。 所以她宁愿留在这个不完美的框架里，同时保持警觉，随时准备发现假设失效、去修正它。 ## 坐在副驾"监督"，和真的在开车，是两回事 话题转到已经在路上跑的 L2 级辅助驾驶系统上。Lex 特别提到凯迪拉克的 Super Cruise，那套系统带一个对着驾驶员的脸部摄像头，用来确认你还在看路，能脱手但不能脱眼。 他问：这种"机器人很笨、靠人补位、两个人一起活着"的设计，从研究角度看有多难？真正装到车上去卖，是不是条好路？ 德拉甘先点出了这类系统普遍暗含的一个假设：我现在不真的在开车，我在监督，我的任务是随时介入。这个假设要成立，得成立一件事：我监督时的安全水平，和我亲自开的时候一样。 她对这个假设存疑，从两个角度看。 **技术上，**如果让系统自己开一会儿，车会跑到人自己开时根本不会去的位置，也就是从人的视角看是"换了策略"（off-policy）的状态。而人在这类状态里的表现，是不是和他在自己熟悉的状态里一样好，这个问题不好回答。 **人的因素上，**她觉得主动参与和被动观察是两种非常不同的体验。哪怕你努力保持投入。她拿学习举例子：学生自己努力想答案，比被动听人给答案，学得好。航空领域在人机因素上做了几十年研究，这两者不等价，基本是定论。 但 Lex 在这里提出了一个他坚持了很久、也因此挨了不少批评的观点。他说这些研究里预测的很多东西，在真实系统上被推翻了。他跟很多人聊过、也看过大规模的数据，发现在监督"足够笨"的半自动系统时，人反而更警觉。人在观察状态下的状态，可能比主动驾驶时还好。 德拉甘在这里没有强硬地守住立场，她的回应很坦诚。她说她同意这个可能性真实存在。她想指出的只是：如果你天真地做，你就隐含地相信了那个可能错误的假设。但如果你把问题想清楚，去设计一个能让驾驶员持续参与、持续被调动起来的系统，那结论就不同了。 她把这个区别讲得很清楚：**"我想让人基本不开车，但随时准备接管"和"我想让人和系统配合起来表现远好于他自己单独开"，这是两种完全不同的设计哲学。** 前者的目标是减轻负担，后者的目标是放大能力。两者听起来都合理，但会导向完全不同的交互设计。 ## 奖励函数是怎么写出来的？答案是：写不出来 这一段值得慢慢看。 Lex 问：我们到底怎么设计奖励函数，怎么搞出"好"的奖励函数？ 德拉甘说：**答案是，我们不搞。** 她讲了自己的转变过程。她以前研究的问题是"怎么把奖励定制给终端用户"，因为奖励本来就是关于那个具体的人想要什么。后来她意识到，就算把交互那一层完全去掉，单纯设计一个奖励函数本身就极难。 她的意思很具体。假设有个智能体，它的任务是优化某一个目标，某个奖励、某个代价。你把它写出来，然后部署。你希望的是：不管你把这个智能体扔到哪个新情境里，你写下的那个函数所激励出来的行为，都是你想看到的。 做机械臂运动规划的时候，她写一个代价函数，比如离人应该保持多远、效率该占多少权重。她需要保证，机器人在每一个新情境下解这个优化问题解出来的行为，都是她要的那个行为。 她说，**我们根本不知道怎么做这件事。** 她实际能做的，是想几个她认为有代表性的情境，然后反复调那个奖励函数，直到在这些情境上的最优行为看起来是她想要的。 这件事让她很挫败。因为强化学习革命给出的承诺是：不用再手动写行为了，你把情境丢进去，机器人自己算出最优动作。听起来很美。可实际上，你把调参的工作从"写行为"搬到了"写奖励"。她承认后者少得多，但它仍然是大量工作，而且你永远无法确定自己有没有漏掉五十亿个重要的东西，以及这些东西该怎么组合起来告诉机器人什么叫好、好到什么程度。 她说这段话的时候带着自嘲：她调了十年的成本函数，有很长一段时间对这个事实视而不见。 ## 古德哈特定律，在机器人身上也成立 Lex 把这个问题提升了一层。他说这其实不专属机器人，这是人的问题。他提到古德哈特定律：**一个指标一旦成为被优化的目标，它就不再是一个好指标了。** 德拉甘接得很好。**你写下的奖励，机器人会忠实执行，但它执行的不一定是你想要的东西。**你尊重了规格，可规格错了。 这里有个很漂亮的转折。她原来研究"机器人怎么和终端用户协作，搞清楚用户想要什么"。但她发现，这件事同样适用于机器人和那个写代码的程序员之间的协作。 程序员写下奖励函数，那是他在这个情境里能做的事情。他没法扮演全知全能、精确无误的神谕。他尽力了，但他写的那个东西只是一份证据，是关于"人想要什么"的一份不完备的证据，一份需要在具体语境里被解读的说明，算不上一道终身有效的法令。 所以机器人对待奖励的态度应该是这样的：**这是关于我该干什么的有用信息，但远远不是全部信息。**它应该结合其他信号，去推断那个真正想被优化的东西。 这就把问题从"怎么把奖励写对"变成了"机器人怎么和写奖励的人一起，把奖励逐步修正对"。写奖励的程序员和机器人之间，也构成了一种新型的协作关系，也需要一轮轮的来回试探。 ## 推机器人那一下，是一次纠正，是一份偏好信号 她讲了一个很具体的场景。 想象一台机器人在你家里帮你搬东西、收拾东西。它有程序员给的一个初始目标，够用了，能干活。 然后你注意到它走过来的时候离你太近了。你伸手把它推开。 这是个物理交互。在传统控制理论里，这个推力被当成一个"扰动"（disturbance），控制器的工作是拒绝它，回到原定的轨迹。 她还提到另一种处理方式，更笨拙但更直觉：进入重力补偿模式，让机器人变得能被推动，你往哪儿推，它往哪儿走。 而她想的是第三种。**那个推力其实是一个关于奖励的信号。** 逻辑是这样的：如果机器人原本的动作是最优的，而我推开了它，那说明我不认可它的那个"最优"。我认为它认为的最优，其实不最优。换句话说，那个代价函数写错了，那不是我想让它干的事。 所以这么一推，机器人可以反推出：这个人希望我离他远一点。它改一下代价函数，下次就会自动保持距离。 同样的逻辑适用于急停。你按了急停，可能是因为恐慌，可能是因为它真要做坏事了。机器人从这一次信号里能学到的不只是"该停"，还有"我正要做的这件事，坏到了宁可停下来也不该做"。这也是一条关于偏好的信息。 她还提到更极端的信号采集方式。如果一次推力有多种解释，机器人可以主动设计动作去区分它们。比如它朝某个方向移动，看看你会不会再次纠正它，用这种方式把几种可能的解释分开。这正是前面讲的那种信息收集动作，只不过这里发生在物理空间里。 当然她也承认了难点。一次推力可能有上百万种解释，单靠一次修正学不会。你需要的也许是一段足够长的相处，让用户能逐渐把偏好刻进这台机器人的奖励函数里。每一次纠正都是一小笔存款，攒够了才看得见轮廓。 ## 环境本身，也在泄露人的偏好 她说，人不仅通过行为泄露偏好，环境本身也在泄露。 她的例子是鞋子。机器人走进你家，看到鞋子在门口摆成一条线。这个摆法不可能自己出现，得有人花力气去做。所以机器人应该能推出来：这个人希望鞋子摆成一条线，这件事对他来说重要到值得花这份力气。 这个推理不需要机器人看见你摆鞋。它只需要从"这个世界的当前状态是怎么来的"反推"有人做了哪些选择"。 她很小心地补了一句：这个推理不能太粗暴。我屋子乱，不代表我喜欢乱，只代表我没腾出手来收拾。我把精力放在了别的事上。那机器人该推出来的是"那件别的事更重要"，绝不是"这个人在意乱"。这里面的分寸很微妙。 这个想法的核心是：**世界当前的状态，本身就是人做过的一连串选择的沉积。**你了解了这一层，就等于读到了一部分人想要什么。 ## 阿西莫夫的三定律，问题在于它是字面的 聊到机器人的伦理边界，Lex 搬出了阿西莫夫那三条机器人定律：不伤害人类、服从命令、保护自己。 他承认这套东西听起来天真，但他反复被人问起这些。他的父母亲属这些普通人，都在用类似的框架想象未来机器人社会：要不要给机器人植入某种普世规则？ 德拉甘说她认为不该是三条定律。她说自己连那三条原话都记不清，而且核心问题是**你没法把它们翻译成数学**。什么叫"伤害我"？这一条怎么写成一个能优化的函数？ 她回到前面那个主题：你让机器人按你说的做，但你希望你写下的东西被理解，而不是被字面执行。你对机器人说的，你要让它结合具体的语境去解读。 所以在她的实验室里，程序员的奖励函数被当成一份证据，而非一道至高无上的律令。机器人应该持续地拥有"不确定自己的奖励到底是什么"这个状态，然后从所有信号里不断学，每一次纠正、每一次演示、每一次急停，都让它的理解更准一点。 她把这和物理交互那条线接上了。机器人对奖励的不确定性，让它有能力从每一份信号里调整自己。 ## 几条线索捋一下 聊到这里，其实可以把整场对话的骨架理一理。从头到尾都绕着"人到底是什么模型"这个轴转。 第一阶段，人被认为是理性的、在最大化效用的智能体。 第二阶段，加入噪声，人做的是近似最优的选择。 第三阶段，行为经济学说人不理性。这时候出现了一个分叉：要么放弃，承认人复杂到我们的模型处理不了；要么换一种理解，人也许是在不同的假设下、带着不同的信念、在有限的计算资源里，尽力做理性的事。 她选了后一条路。这条路把"人不理性"改写成"我们对人的假设不对"，把问题从无解变成有解的。 第四阶段，重点转移到了**人和机器人互相建模、互相影响**这件事上。人不是被动地被观察，人是会反击、会让步、会试探的对象。机器人也不只是被动的执行者，它可以主动发问、可以塑造别人对它的看法，可以设计动作来套出信息。 这个转向很关键。它把"人机交互"从一个静态的"人对着人"的问题，变成了一个动态的博弈：双方都在观察对方，都在调整自己，都在试图影响对方的理解。她讲的那台会先探一下再变道的车，那台会在孩子推它时退后半步的机器人，那台会盯着你纠正它的手去反推代价函数的机械臂，全都在这个框架里。 ## 一本 PDF 和一位免费补课的老师 Lex 问她，有没有哪本书影响过她的人生，或者会推荐给别人。 她讲了一段高中时的事。12 年级，她在罗马尼亚搞到了一份 Russell 和 Norvig 那本《人工智能：一种现代的方法》的 PDF。那时她对 AI 一无所知，只是看过《黑客帝国》。 她开始读那本书。让她着迷的是那个概念：你有一个目标，然后你可以从一个混乱、复杂的情境里，自己找出该做哪一系列决策，去达成这个目标。用自主的方式达成这个目标，这件事在她眼里太酷了。 她说自己知道这想法带偏见，但那真是本好书。把智能、把思考的过程，用数学的方式表达出来，这个概念一直跟着她。她今天的工作方式还是这样：**写一点关于人的数学，和数据、和学习结合起来，把它交给机器人去规划。**不写规则，不给启发式，让机器人自己算出周围有人的时候该怎么做。她说这是他们实验室的招牌招式。 她说这和她当年看那本书时的兴奋是同一个兴奋。当年是一个搜索算法在图上自己找到通往目标的路径，今天是机器人在人群里自己找到既安全又顺当的动作序列。同一件事，只是换了个舞台。 然后 Lex 问她，有没有一位老师特别帮助过她。 她讲出来的这一段有点动情。高中那会儿，同学们在外面做补习，准备毕业会考。她的物理一直没怎么上心，于是也去找了那位老师，名字她念作比卡（Bîcă）。 是这位老师给她打开了一扇门。老师跟她说，你该去参加竞赛，去申请国外的大学，把英语也练好。家里拿不出这些钱，老师就开始免费给她补物理，还坐下来帮她训练参加奥赛的那些东西。 **她能被伯克利录取、能站到今天这个位置，这条路上的一个关键节点，来自一个完全没有理由免费帮她的人。** 她说那个年代的那些小小的善意，就是有人单纯想拉一把，帮一个学生走得更远。 ## 如果医生说她只剩五年 Lex 提了一个假设：如果医生告诉你只剩五年，你会去做什么？ 她立刻说这是她最大的噩梦，因为她真的很喜欢活着。她说不喜欢死亡这件事，也不喜欢被告知自己会死。 Lex 接着追问：你怎么看死亡，是把它当作一个特性，还是一个 bug？如果可以选，你愿意永生吗？ 她说她也不想永生。她提到一部剧，《善地》（The Good Place），里面反复讨论过这件事。那部剧的结论是：连来世都得是有限的，不然人就会失去意义。 她说自己不是信徒，不信死后还有什么。她认为死亡就是终点，之后你就不存在了。而她喜欢存在，觉得能存在是一种巨大的特权。 接着她说了一句很动人的话。她说，她依然认为我们那么喜欢存在，是因为它会结束，这很让人难过。**她眼里几乎一切都是美的，连最傻、最日常的东西都是美的。**她也清楚自己之所以觉得它美，部分是因为它有限。 Lex 在这里把话接回机器人。他说，有限性似乎是人类存在的一个根本特性，也许这个特性应该被编码进我们的奖励函数里。 她笑着说，有人批评她这是俄罗斯式的忧郁和浪漫，但这种有限性，也许确实是人的存在里该被放进模型的那一部分。 回到五年那个问题。她想了一会儿，说她不确定自己会改变什么。她做的是理解人机交互这件事，她还想继续做下去。也许会多去几趟加勒比海。她尽量做那些让她快乐的事，包括思考这些问题，这些事本身就让她快乐。**不做不带来快乐的事，她大体上已经在这么活了。**也许少做些系里的杂务，不再管招生，但她的同事、她的学生、她的家人朋友都很好，她已经在做的事情就是她想要的。 ## 一次天文馆里的顿悟 最后，Lex 问了个大得不太正经的问题：生命的意义是什么？我们人类是被什么样的奖励函数驱动的？ 她说这个问题没法严肃地谈，太荒唐了。但她还是讲了一段。 她在一次天文馆里。那个节目先是展示宇宙，然后镜头不断拉远、拉远，拉到你只是一粒尘埃。那一刻她脑子里在想，我们人类其实就是在这颗小星球上，对宇宙来说无关紧要。 然后讲解员聊起了多重宇宙理论。镜头开始往下缩，说这是我们的宇宙，外面还有无数个其他的宇宙，它们在不断地诞生、消失。于是我们那整个连尺度都无法想象的宇宙，本身也只是一个冒出来又消失的泡。 她说那一刻她想：行吧，那宇宙没有意义。 她得出的结论很朴素。既然宏观上没有意义，那该做的就是**去影响你所能触及的那一小块，你的社区、你的朋友、你的家人，去为周围的人在场**，因为往更大处看，一切都很荒唐。 Lex 问她，怎么看待这些多重宇宙，是被它的浩瀚打动，还是被它弄得有点不知所措？ 她说她感到挫败。她挫败于自己理解不了。有些东西明明那么重要，她不懂，她知道世界上那些物理学家更懂，但也不完全懂。她说这感觉像是我们的大脑没有那个基本的容量。 然后 Lex 把话收回到了 AI 上。他说，这正是人工智能的梦想之一：造出系统，扩展我们的认知能力，去理解物理学里那个万物理论，去搞清楚这些多重宇宙到底是怎么回事。 这场关于机器人怎么理解人的对话，最后落在了"人怎么理解宇宙"上。落点也对得上：**我们一直在用人能听懂的语言，去建模那些我们看不懂的东西。对机器人来讲，那些语言就是奖励函数。对我们自己来讲，那些语言就是物理定律。** 而她把"擦窗"这件事做了一辈子。从逆向强化学习那条"人是最优的"假设开始，到玻尔兹曼理性的噪声版本，到行为经济学的"人就是乱的"，再到她自己那句"人也许只是假设和我们不同"，每一次她都在把上一层的假设擦掉，看看光能透进来多少。 节目结尾，Lex 引了阿西莫夫的一句话：**你的假设是你看世界的窗户，隔一阵就该擦一擦，不然光透不进来。** 这句话接得刚刚好。整场对话做的就是这么件事。把"人是不理性的""奖励函数写对了就行""人监督和开车是一回事"这几个假设一遍遍擦掉，光才慢慢透进来。 - 当你觉得某个人（或某个用户、某个同事）做事莫名其妙的时候，先别急着判定他不理性。往前一步，去找他脑子里那条你没看到的假设：他掌握的信息、他的信念、他的计算资源，和你默认的一定不同。 - 如果你在做产品、写规格、定指标，记得古德哈特定律会应验。把指标当成"关于用户想要什么的一份证据"，不要当成"我必须字面执行的命令"。给你的系统留出空间，在收集到新信号之后修正自己的理解。 - 面对不完全可控的系统（人、组织、市场），别只做被动预测然后躲开。像那台想变道的车一样，主动设计一个动作去发问，看对方的反应，再更新模型。被动观察换不来关键信息。 - 在安全和自动化交界的地方，别默认"监督等于驾驶"。如果你在设计辅助系统，明确地问自己：我是想让人少干活，还是想让人和系统合起来比人单独干更强？这是两个不同的设计目标，会导向完全不同的交互方式。 - 人不仅在语言里泄露偏好，行为里、环境里都在泄露。那些被刻意摆正的、花了力气维持的东西，其实都是有人在告诉你"这个对我重要"。反过来，当你想让别人（或机器）懂你时，比起写一条规则，不如留下一个能被解读的痕迹。 - 找个时间把"人的行为相对于他想要的东西是否最优"这条假设拿出来检查一次。理解同事、伴侣、用户的时候，这大概是最值得定期擦一擦的那扇窗。