# 凯特·达林：社交机器人、伦理、隐私与 MIT 的未来 > 机器人伦理研究者谈人机情感联结、隐私风险，以及 MIT 研究生态的变化。 - 原标题：#329 – Kate Darling: Social Robots, Ethics, Privacy and the Future of MIT - 期数：第 329 期 - 发布日期：2022-10-15 - 嘉宾 / 主题：凯特·达林 - 网页版：https://lexfridman-cn.pages.dev/ep/kate-darling-2/ - 官方页面：https://lexfridman.com/kate-darling-2/ - 精读字数：约 6792 字（阅读约 15 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 Stop & Shop 是美国东北部的一家连锁超市。它家门店里有个巡检机器人，叫 Marty，一米八的个子，头顶两只巨大的卡通眼睛，整天在货架之间慢慢晃，找地上的洒漏和空缺的货。 人们讨厌它。 讨厌到什么程度呢？Stop & Shop 有一回给门店里的 Marty 办了个生日派对，免费发蛋糕和气球。MIT 的一位研究者做了个推特情感分析，发现关于 Marty 的负面提及量在那一天冲到了最高峰。 免费蛋糕都救不了它。 这件事被 Kate Darling 反复拿出来讲。她是 MIT Media Lab 的研究科学家，研究方向是人机交互和机器人伦理，写过一本书，叫《The New Breed: What Our History with Animals Reveals About Our Future with Robots》（新物种：我们与动物的历史如何揭示我们与机器人的未来）。她和 Lex 聊了两个多小时，从“什么才算机器人”这种看似无聊的问题开始，一路聊到为什么大公司做不出好东西，为什么机器人该学会道歉，以及为什么给医院送药机器人起名叫 Roxie 和 Lola 是一种失职。 ## “什么算机器人”这个问题，没人答得上来 Kate 的书第一章就问了这个。她的回答是：她也不知道，而且这个问题本来就不该有标准答案。 她说，翻历史会发现一个规律：**一样东西在被叫作机器人的时候，往往是因为它身上还带着某种“魔法”**。这个魔法指的是超出普通人理解范围的那部分能力，那种“它是怎么做到的”的神秘感。一旦技术普及，魔法消失，它就不再是机器人了。自动售货机在几十年前就被称作机器人，现在没人这么叫。 Lex 给了一个自己的定义：机器人是某种具备一定智能、又保留一点魔法的东西，那点魔法让它可以应对生活里的不确定性。按这个标准，自动驾驶汽车算机器人，因为它要在混乱的真实路况里做判断。 Kate 说她认同这个角度。而机器人学家给出的技术定义是另一套：得有物理实体，得知觉，得感知环境，得自主决策，得作用于环境。这套定义听起来挺严谨，但拿智能手机一套就崩了：手机全都能做到，可没有一个机器人学家会承认手机是机器人。 > “我在这本书里没有给机器人下一个确定的定义，因为不存在所有人都同意的定义。” （凯特·达林） 真正让 Kate 在意的是另一件事：普通人脑子里的机器人形象，几乎都指向人形。你去 Google 图片搜“robot”，出来的全是有躯干、有头、两只胳膊两条腿的仿人机器。 她想把这条思路掰回来。因为一旦把人形当成默认设定，后面的讨论就全歪了。 ## 拿机器和人比，从一开始就比错了对象 为什么人形设定会把人带沟里？Kate 给了两个理由。 第一个是技术上的。早期人工智能研究里确实有一批人想复刻人类智能，这个方向今天还有人在做，学术价值也还在。但走到今天，AI 并不是照人脑那个路子长出来的，它压根不按人的方式“想”。可公众讨论里，一提到智能，比的永远是人的智能，好像人的智能是唯一的坐标原点。 第二个理由更直接：**把人类已经有的智能再造一遍，本身就没多大意思。** 她的原话大意是，从理解自身智能的学术角度看，复制人类智能有意义；可从“这东西能拿来干什么”的角度看，真正有意思的是造出新东西，造出一套人类没有的技能，然后跟它合作。它得在很深的层面上跟我们相似，否则没法建立连接，但在大多数维度上应该跟我们不同。 支持人形机器人的常见论据有两条。一条是沟通，人最容易对跟自己像的东西产生共鸣；另一条是环境，我们的世界是为人造的，有台阶、有窄门、有门把手，机器人想在这个世界里走动，人形最省事。 Kate 认第二条，但对第一条有保留。 社会机器人学这些年的研究结论是：**你不需要它长得像人，甚至不需要它表现得像人，只要它能发出足够多的社交线索就够了。** R2D2 只会哔哔叫，一个带轮子的垃圾桶，人们对它的喜爱程度超过 C-3PO 这个真正的人形机器人。 一个发光的球体，一个语调，一次极简的互动反馈，就能让人开始拟人化。Kate 说，很多团队在这件事上过度设计了，简单的东西往往走得最远。这话动画师最懂。 ## 真正该请来设计机器人的，是迪士尼那帮人 Lex 接过话头说，设计 Cosmo（Anki 出品的桌面机器人）的那批人，本质上就该是动画师，是迪士尼那种背景的人，而不是机器人学家。机器人学家在自己的学科里很强，但跨界的事他们不懂。 Kate 顺着他往下说了一个判断：**21 世纪初的机器人学和 21 世纪后期的机器人学，会是两回事。** 今天你自称机器人学家，做的主要是控制和机构；往后，那些真正没解决的大问题全都落在社交层面、落在跟人打交道上、落在感知和“大脑”这一层，底层控制反而会成为相对成熟的部分。 Lex 认为机器人学正在经历一次“出柜”。机器人早就在了，只是一直待在幕后，待在工厂里，现在它们开始走进超市、医院、街道这些跟人共享的空间。而这一批公司正在犯同一类错误：把所有精力砸在工程上，砸在让机器人别撞到人上，却忘了想一件事。 他的说法是，你不该只去解决感知和控制问题，你还得教会机器人说一句“操，对不起，我搞砸了”。 > “或者学会求助，或者能把自己的不确定性表达出来。” （凯特·达林） 她的补充是，感知和控制这道题人类自己也没解完，我们只是做得特别好而已。真正的魔法在于自嘲、在于清楚自己的短板在哪、在于把这份自觉传达出去。人机交互领域已经积累了一整套方法来做这件事，问题是很多公司根本不做 HRI，他们的团队里没有这个人。 然后 Marty 就登场了。 ## Marty 做错了什么？它什么都没做错 疫情前，Kate 和 MIT 的一位学生打算正经研究一下 Marty 现象，后来因为没人敢去超市，项目黄了。但前期的观察已经足够说明问题。 那位学生在自己的社交圈里发现，Facebook 上所有人都在抱怨 Marty。“这个诡异的机器人是什么东西”“它一直在盯着我”“它老是挡路”。她顺手做了个粗糙的推特情感分析，抓取提到 Marty 的正负面内容，结果撞上了那个生日派对：Stop & Shop 给 Marty 办生日会发蛋糕的那天，负面提及量冲到峰值。 谁会因为免费蛋糕而生气？因为讨厌 Marty 的人会。 她们用 Mechanical Turk 做了个在线调查，想搞清楚人们到底不满什么。结果显示，抱怨集中在三件事上：**它是个监控机器人；它在盯着我看；它挡路。** 没多少人担心它抢工作。 而 Marty 的真实功能，只是找地上的洒漏。 它不看人，不采集人脸，不做任何跟监控有关的事。可它一米八的个头，在过道里慢慢挪动，头顶两只大眼睛，这个组合在人的直觉里就等于“在看”。Kate 猜，那两只后来加上去的卡通大眼睛，可能恰恰加剧了被注视的感觉。设计的人大概没往这个方向想过。 Lex 抛出了一个类比：Marty 是不是现实版的 Clippy？ 这条线索挺关键。Clippy 是微软 Office 里那个回形针助手，Lex 喜欢它，但很多人恨它。恨到什么程度？微软后来直接把它砍了。 斯坦福的 Clifford Nass 是研究人机交互的老前辈，他对 Clippy 的解释是：**人们把 Clippy 当成了一个社交主体，而不是一个工具。** 一个工具打扰你、打断你、记不住你刚说过的话，你会觉得难用；一个社交主体这么干，你会觉得被冒犯。所以人们对 Clippy 的抱怨强度，远超过对一个非人格化软件应有的反应。 这个逻辑完全可以套到 Marty 身上。它挡路、它盯人、它碍事，这些如果发生在一个推车上，人顶多绕过去；发生在 Marty 身上，人就会发帖骂它。 ## 对机器人的恨，和对机器人的爱，是同一套机制 Lex 提了个有意思的角度：很多人嘴上抱怨婚姻，其实心里爱得不行。抱怨是一种释放张力的方式，也是一种表达亲近的方式，互相挤对是关系的一部分。 照这个思路，Marty 未必没救。它缺的是回应能力。 如果 Marty 会还嘴呢？Kate 说这里面的设计空间大得很。可以顺着演：对，我是 CIA 派来的，正在严密监控你的一举一动。也可以拿人的购物记录开玩笑：我正在收集你的数据，因为你太重要了。任何一种自嘲式的、把恐惧点破的回应，都比沉默要好。 人对机器人或 AI 代理的情绪反应，比对待普通机器要极端得多。原因就是那句老话：它们被当成社会性存在，而不是物件。爱得更深，恨得也更狠，中间地带很窄。 所以 Marty 的处境很尴尬：它既不讨喜，也不讨骂，干干净净地卡在中间。它被硬生生造成了一个“企业伸出来的摄像头”，而不是一个有自己任务、自己性格的独立个体。 这里有个很微妙的人性机制：**我们对一个东西的信任度，跟它看起来有多“独立”直接相关。** 你跟一个真人说话，默认的前提是这段话不会被立刻传给 CIA；可你面对一个明显是某个大公司派出来的机器，这个默认前提就不成立了。人格化程度越低，越像大公司的延伸，被监视的感觉就越强。 而一旦人格化做得很粗糙，效果更糟。人们会意识到：这是公关部门试图给一台监控机器套上一层友善外皮。 ## 元宇宙的头像为什么看着不对劲 Lex 把这个话题拐到了 Meta 的元宇宙上。扎克伯格发的那些虚拟形象，被人嘲笑得厉害。他说这里面有个说不清道不明的东西，就是“不真诚”。 这跟社交机器人面对的是同一道题：怎么设计一个虚拟空间，让里面的人际连接达到面对面那种质感。 Kate 说她没怎么研究过，只在推特上看过别人发段子。但她提了一个疑问：Meta 砸了那么多钱，为什么做出来是这个样子？总得有个原因。 Lex 跟 John Carmack 聊过这个，他的解释指向大公司结构本身。 **大公司有一套流程，这套流程会杀死独立创作者身上的那股火。** 一个想法进了公司，先过 PR，再过法务，再过一堆“这个会不会有风险”的评审，出来的时候已经被磨成了通用款。所有可能引发争议的东西都被削掉了，剩下的就是安全的、无聊的、谁都不会讨厌但也谁都不会喜欢的东西。 他自己补了一句：现在这个环境下，人被吓怕了，而恐惧的结果就是，闹得最凶的那批人把一切都毁了。 人际连接的魔法恰恰在于冒风险：开一个可能不太妥当的玩笑，露出一点真实的个性，在安全的边界内试探。这些在元宇宙里被彻底警惕掉了，因为性骚扰和性侵犯的可能性确实存在，而且不低。该防，但防过头的结果是所有人都变成了没有个性的机器人。 Kate 在这里补了一个她自己的观察，也是她长期批评的一点：很多人一谈到机器人的人格化，就会担心“是不是在强化不现实的审美标准”“是不是在物化女性”“为什么机器人都是白的”。这些担心本身有道理。但她认为，**创造力足够的话，完全可以设计出一个非人形、但让人更有共鸣、同时还绕开所有这些偏见问题的形态。** 问题出在流程上。公司里有个部门，职责就是找风险。他们的 KPI 就是从任何东西里找出可能有害的部分，哪怕那个东西实际上无害。你让这样一个部门去审创意，创意必死。 Lex 的解法是“仁慈的独裁者”。你需要一个乔布斯式的人物，一个能一刀切过法务和公关、但同时心地善良的人。他说，真正伟大的设计师做出来的东西，不会伤人。他们脑子里想的是几百万人用这个东西时的感受，那种想象本身就能给人带来快乐。 Kate 同意这个方向，但她的措辞更克制：**你可以保留判断权，但至少得让一群背景多样的人来看你的作品，帮你发现自己的盲点。** 听不听是一回事，有没有这个反馈渠道是另一回事。你可以选择忽略，但你得先知道。 ## Roxie 和 Lola：一台送药机器人为什么叫这个名字 Kate 的书里有一张照片，两台医院送药机器人，配文是：**“两台医院送药机器人，它们那性感护士风的名字 Roxie 和 Lola 让我翻白眼翻到差点掉出来。”** 她说她翻白眼不是因为外形。外形就是个小盒子带轮子，挺好的。名字才是问题。 给机器人起名字这件事本身没错，研究显示，光是起个名字就能促进技术接受度。机器人出错的时候，人会想“Betsy 搞错了，我们帮帮她”，而不是“这破机器又坏了”。 问题在于起了什么名。 这里有大量研究：**机器人的性别化命名和它们的职能高度相关，而且带着明显的刻板印象。** 做辅助、做护理的机器人，通常被赋予女性化的名字和声音；做决策、做“全知型计算机”的，比如 Watson，通常是低沉的男声。Roxie 和 Lola 这种名字，直接就把护士这个职业和某种特定的性别想象绑在了一起。 Kate 的态度是：**这是一罐完全没必要打开的虫子。** 换个名字就绕开了，成本为零。人们之所以没换，是因为压根没往这儿想。 Lex 把话题推进到了更深一层：那是不是干脆不该给机器人做性别设定？ Kate 说性别是个雷区，但现实是**你很难阻止人去给机器人赋予性别。** 你不给名字、给个中性声音，用户自己会挑一个补上。所以“完全不设定”未必比“设定一个中性的”更好。 而 Lex 提出了一个更尖锐的批评：他认识不少机器人学家，刻意不给机器人做性别、也不起名，连一个能在对话里自然使用的名字都不给。他认为这是一种逃避责任。 **人一定会拟人化，这是挡不住的。** 你选择不做设定，只是把自己从“它会被怎样拟人化”这个责任里摘出去了，但拟人化照样会发生。哪怕是一台波士顿动力的机器狗，设计上完全没有社交属性，人一看还是会把某个部件当成脑袋。 Lex 提到那台四足机器人上伸出来的机械臂。它本来是只手臂，但所有人第一眼都当成了头。波士顿动力后来也接受了这个现实。 Kate 认同这个说法。她的立场是：**既然拟人化必然发生，那设计者就有义务去引导它发生的方式。** 哪怕你做的是一台工业机器人，你也得预见人会往它身上投射什么。 ## 波士顿动力的视频，是工程师的幽默，也是无意的广告 Lex 提到波士顿动力那些病毒视频。机器人跑酷、翻跟头、被踹一脚还能站住。 Kate 说，早期的波士顿动力是纯工程导向，公司几乎全是工程师，视频也是工程师自己拍的，因为那是他们觉得好玩的事：测试系统的鲁棒性。前 CEO Marc Raibert 亲自盯着视频的拍摄，对真实性有近乎偏执的要求，不允许在画面里出现任何给机器人“放水”的地形坡度。 视频火了之后，他们才开始意识到这件事有意思。 后来警察部门用上了机器狗，舆论炸了，公关噩梦来了，他们才开始招人机交互背景的人。 Lex 补了一个更冷的观察：**站在波士顿动力的立场，人们害怕这些机器人，某种程度上是好事。** 因为他们主要的钱来自工业场景，工厂巡检、危险作业。让机器狗在公众心里带一点恐怖感，视频传播更广，品牌更强。他们没打算把这些东西送进千家万户做情感陪伴，所以完全可以在视频里玩这个梗。 Kate 说他们现在确实很当回事了。但她还是更喜欢那批由工程师主导的视频，因为那是真心觉得好玩才拍的。 Lex 提到自己有几只机器狗，正在做研究。他说他有个目标：**家里任何时刻都得至少有一个机器人在动。** 他还囤了一堆可编程的 Roomba，多到不知道拿来干嘛。 ## 这本书真正想说的是什么 绕回书名。《新物种》的核心类比是动物。 人类跟动物的关系有几千年的历史，其中有奴役、有陪伴、有工具化、有情感投射、有伦理争议。这些关系里的每一条张力，几乎都能在人和机器人的关系里找到对应。我们不太会把动物当成人类，所以我们不会要求动物达到人的智能水平，也就不会陷入“机器人还不够像人”这种执念。 Kate 想借这个类比，让人放下人形执念，转而思考一个更实际的问题：**我们想要跟这些新物种建立什么样的关系？** 这个问题在设计阶段就要回答，而不是等产品上市、用户开始在推特上骂了才被动补救。 Marty 的教训是：一个功能上完全正确的机器人，可以因为设计上没考虑人的社交期待，变成全网公敌。Clippy 的教训是：一个被当成社交主体对待的软件，一旦社交表现不合格，用户的反感会远超它实际造成的麻烦。Roxie 和 Lola 的教训是：不假思索地沿用社会偏见，成本极低，代价却由所有人承担。 而所有这些问题的共同点是：**它们都不是靠更强的工程能力能解决的，解法在造东西的时候多想一步。** ## 给做产品的人的几条具体建议 如果你正在做跟机器人、AI 助手、虚拟形象相关的产品，这期对话里有几件事是可以直接拿去用的： - 先假设用户一定会拟人化，再决定你要引导成什么样。不做设定不等于拟人化不发生，只等于你把方向盘扔了。 - 把“承认错误”和“表达不确定”当成核心功能来设计，而不是等出了问题再补。一句“我搞砸了，对不起”，能挡住的负面情绪远超你的想象。 - 别在机器人身上用那种暗示监控的视觉元素。大眼睛、持续注视、正对通道的朝向，都会触发被监视的感觉，哪怕技术上完全没在采集数据。 - 命名和性别设定之前，先问一句：这个名字是不是在无意识地复制某个社会刻板印象。护理类用女名、决策类用男声，这套默认值该被打破了。 - 做用户调研，但别让调研替你决定未来。你要设计的是还没存在的东西，而被调研的人活在现在。听，然后自己判断。 - 如果公司里有专门找风险的部门，别让他们进创意评审的第一轮。他们的工作是从任何东西里找出有害的部分，这个机制对创意是致命的。 - 找一群背景跟你不一样的人来看你的设计。你不需要听他们的，但你需要知道自己的盲点在哪。 - 别指望 PR 部门做出好东西。Marty 的生日派对就是公关思路的产物：他们以为问题在于机器人不够亲切，其实问题在于人们压根不想在超市过道里被一个一米八的东西注视。