凯特·达林:人类与机器人之间的情感联结
Kate Darling: Emotional Connection Between Humans and Robots
研究机器人伦理的学者谈人为何会对机器动物产生依恋,拟人化设计带来的伦理与社会影响。
麻省理工学院媒体实验室有个研究员叫凯特·达林(Kate Darling),她家里养了三只 Pleo 电子恐龙,分别叫 Yoki、Peter 和 Mr. Spagetti。她研究人和机器之间的情感关系,写论文,也写书。
她讲过一个数字:市面上超过 85% 的 Roomba 扫地机器人有名字。普通吸尘器有这个比例吗?差得远。Roomba 的设计师从来没打算让你给它取名,它就是一个会在地上乱撞的圆盘,撞墙了还会卡住。但人会心疼它,会把它送去维修,并且要求把同一台修好还回来,不要换新的。
这件事的诡异之处在于,它不需要被设计。你什么都不用做,人自己就把情感投射上去了。
一头会唱歌的鲸鱼,改变了一整个物种的命运
达林正在写一本书,主题是动物驯化史。她想搞清楚一件事:人类历史上是怎么对待动物的,用它们干活、打仗、陪伴,而我们今天对待机器人的方式,和那段历史像得出奇。
她举了鲸鱼的例子当佐证。
上世纪七十年代之前,没人在乎鲸鱼。直到有人把鲸鱼的歌声录下来放给大家听,人们突然觉得,哇,这是美丽的生灵,我们得保护它。拯救鲸鱼运动就是这么起来的。(凯特·达林)
注意这个顺序。科学上并没有先证明鲸鱼有复杂的社会结构、能感知痛苦,然后人类才理性地决定保护它。真正发生的是:一段录音让人产生了情感连接,保护行动跟着来了。
达林说,很多人愿意相信我们保护一个物种是基于某种一致的生物学标准。历史上从来不是这样。我们保护的,永远是我们能共情的那些。
这条规律套到机器人身上,问题就变得尖锐了:如果有一天机器人也拥有了"会唱歌的鲸鱼"那样的时刻,人类的伦理体系会不会跟着挪动?
机器人伦理不是科幻,是责任归属
达林早年在哈佛带过一个机器人伦理的读书会。她自己在节目里承认,那门课如果放到今天重讲,内容会完全不一样。
当年"机器人伦理"听起来像科幻小说。现在它讨论的是很具体的东西:出了事故谁负责、自动化武器系统、隐私和数据安全、自动化对劳动力市场的冲击。
她个人更感兴趣的是另一个层面:人和机器人一对一的社会关系。这也是整场对话的主线。
节目里 Lex 提到当时正在竞选总统的杨安泽(Andrew Yang),他的核心主张是全民基本收入(UBI),每人每月发一千美元,让被自动化夺走工作的人有时间去找自己真正想做的事。
达林在瑞士生活过二十年,她对 UBI 的看法挺有意思。在欧洲,UBI 一直是个偏左翼、偏社会主义的议题,跟机器人抢工作没什么关系。结果硅谷这帮人把它接了过去,包装成了应对自动化的方案。她说这个嫁接过程本身就很值得玩味。
别急着给机器人收税
关于自动化消灭工作,达林的观点很直接:很多讨论高估了机器人技术当下的水平,同时犯了一个基本错误,把机器人当成人来对比,想象成一比一的岗位替换。
比尔·盖茨几年前说过,也许应该对机器人征税,因为它们抢走了人的工作。达林觉得这话听着就像把技术当成替代品,忽略了它作为补充工具的那一面。
我不认为未来二十年机器人会把所有工作都抢走。事情不会那样运作。(凯特·达林)
她的判断是,这项技术当然会剧烈搅动就业格局,但它更像一个附加的工具层,谈不上来了一群直接顶替你的新员工。把机器人想象成"另一种人",后面所有的政策讨论都会跑偏。
这个提醒在整场对话里反复出现。达林几乎每一次都会把话题从"机器人和人"拉回到"机器人和动物"。
给排爆机器人办葬礼的士兵
2000 年代初,iRobot 公司(就是做 Roomba 的那家)造了一款叫 PackBot 的排爆机器人,被部署到伊拉克和阿富汗,配给拆弹小组使用。
结果士兵们对这些机器产生了极强的感情。它们有名字,坏了会有葬礼,还会鸣枪致敬。有士兵在机器人被炸毁之后出现明显的创伤反应。
达林说,这本身没什么问题,直到一个士兵为了救一台机器人而拿自己的命去冒险。
在那种场合,你希望机器人就是个工具,尤其当它干的是危险活儿、本来就是为了不让人去做的时候。人对它产生情感依恋,反而变成麻烦。(凯特·达林)
这是拟人化的一个典型反面案例:情感连接在错误的地方生效了。
另一个让她担心的方向是商业剥削。公司利用用户对社交机器人的情感依赖,让人持续为云端服务付费,或者推销本不需要的产品。连接本身没问题,被拿来变现就有问题了。
暴力游戏没教坏孩子,那虐待机器人呢
Lex 问了一个更暗的问题:人会不会虐待机器人?
达林的回答分两层。第一层是技术现实:现在的机器人连昆虫的智能都没有,谈不上"虐待"一个没有内在心灵的东西。第二层才是真问题:人对机器人的暴力行为,对人自己意味着什么?
她拿暴力电子游戏做类比。这个话题研究了三十年,结论一直不清晰,研究本身极难做。社会的共识大致是:屏幕上的暴力,成年人能区隔开,打游戏里开枪撞人不等于现实中会这么做。对儿童则有额外限制,虽然这个限制也未必有多少实证依据。
但机器人不一样。
有大量研究表明,我们对物理空间里的东西,反应和对屏幕上的东西完全不同。我们会更本能、更身体化地对待它,把它当成一个真实在场的行动者。(凯特·达林)
所以她认为这个问题必须重新问一遍,不能直接套用游戏暴力的结论。目前一点证据都没有。
还有一种可能她也没排除:也许有些人确实需要一个安全的情绪出口,对着机器人吼完,就不会对着人吼。她朋友的说法更狠,说这其实是在"训练自己的残忍肌肉"。
两种可能都存在,谁也不知道答案。
虐待机器人,暴露的是人
Lex 在这里给出了他自己的判断。他说自己不觉得人和机器人之间有根本的哲学差异,一旦能力对齐,这个界限就消失了。他看不惯人对机器人施加的那种微妙的粗暴,并且预感未来会有一场机器人平权运动。
达林的回应更有层次。她说自己一开始也是从这个角度切入的:技术迟早能复现意识,那给机器同等的权利有什么说不过去的?但她后来意识到,那是个很远的问题。
更近的问题是:在机器还很笨的时候,我们就已经需要讨论机器人权利了,因为人感知它们的方式已经变了。
Lex 补了一句更本质的:
我研究过大屠杀,我是犹太人。我个人相信大多数人心里都有恶。让我不舒服的地方在于,这个行为把人心里的恶暴露出来了。(Lex Fridman)
达林认同这个方向,并且给了个更积极的转向:这恰恰是机器人设计者的机会,让人在对机器人的互动里练习自己更好的那一面。
她引用过《西部世界》的例子。剧里的坏角色会毫不犹豫地枪杀、强奸接待员,好角色不会,哪怕所有人都知道这些机器人没有意识。行为本身在区分人。
有人会反驳:为什么不把共情练在人身上,练在真正活着的动物身上?
我不同意,因为共情不是零和游戏。它是一块肌肉,可以训练,也应该训练。(凯特·达林)
该不该教孩子对 Alexa 说"请"
顺着这个话题,Lex 提到一个现象:有些家长会教孩子对智能音箱说"请""谢谢",理由是练习礼貌。
Lex 说他自己对所有的语音系统都很客气,会下意识地说请。但他对这个教育思路有点保留。
达林接过话头,主动扮演了反方:如果一个人本来就有施暴倾向,需要一个出口,那有个机器人可以吼,总比对着真人吼好。
然后她自己把这个问题推翻了:我们不知道哪个才是真的。是出口,还是训练。
性机器人、孤独,和一个填不满的洞
Lex 提到一个他平时会绕开的领域:性机器人。
达林说她对这个话题有点疲劳。做 human-robot interaction 的人都有这个体验,一报专业,对方第一个想聊的就是性机器人。这个新闻钩子太抓人,以至于盖过了整个领域。
但她承认里面有些真问题。
Lex 提了一个观察角度:很多男性买性机器人,掏钱的时候想的是那件事,最后最有满足感的部分却常常落在互动上。就像电影里那些付钱找妓女、结果整晚只是在聊天的人。人真正缺的是连接,只是这个话题不好意思摆到台面上说。
很多人心里就是孤独的,他们在找连接。而这个连接偏偏要通过性产业这个入口来实现,这就有点可惜了。它本该从正门走进来。(Lex Fridman)
达林补了一层:性产业本身也该去污名化。有些性工作者专门服务残障人士,这些人没有别的渠道探索自己的性。这个需求是真实的。
然后她把话题拉回更根本的地方:
人们总担心机器人取代人,担心性爱体验太好了人就不想要伴侣了。但我们很少讨论另一种情况,有些空缺本来就没人填,机器人填的是那个位置。(凯特·达林)
Lex 把这话说得更重。他说人对身边人的期待常常是过载的:指望家人、朋友、伴侣去承担"理解完整的你"这个任务,这本身就不现实。家人没那个耐心坐下来听你讲你到底是谁。
达林的回答保持了分寸:人本来就能同时拥有很多种关系,家人、朋友、宠物、机器人,各自提供不同价值,谁也不用替谁。
电车难题的正确答案,是没有正确答案
Lex 的研究方向是自动驾驶,所以绕不开那个问题。
达林的看法是:大多数人对电车难题的理解,恰恰漏掉了它最初想说明的东西。
电车难题要展示的是:没有正确答案。我们直觉上认为对的选择,未必经得起"这条规则要适用于所有人"这个检验。(凯特·达林)
她提到了 MIT 的 Moral Machine 项目,一个网站,让你在若干场景里选择撞谁:两个行人还是一个孩子,流浪汉还是医生。项目试图通过大规模众包,找出人类道德偏好的分布。
她说这是有价值的数据,朋友做的项目,她很尊重。但这不该成为自动驾驶规则的依据。原因很直接:让人对着屏幕上几个卡通图标点出来的选择,和让人在真实情境里做选择,是两件事。把人放进虚拟现实里,答案会变。
更关键的一点在于提问方式本身:
问一个人"这个场景里你撞谁",和问一个人"你希望所有车遇到这种情况时永远撞流浪汉吗",是两个完全不同的问题。(凯特·达林)
前者的答案不构成对后者的投票。
自动驾驶真正的难题不是撞谁,是躲责任
Lex 提了一个更具体的技术伦理问题:紧急制动系统目前只会刹车,从不转向。转向可能伤到别人,也可能救自己。如果程序设定优先保护车主,它就会更倾向于打方向。
这里面有个残酷的现实:哪家车厂会把车设计成"必要时牺牲车主"?没人买。
达林的判断是:现实中,车厂会想尽办法回避这个决策,也回避相关责任。同时默认保护驾驶员。
她从中提炼出一个更有价值的结论:
当我们被迫把伦理规则写进机器时,才发现我们的伦理规则比想象中难编程得多。这件事本身就是收获。(凯特·达林)
她做过法律相关的研究,说立法本质上就是干这个的:搞清楚这个社会到底同意哪些规则,然后写进法条,随着文化变化再调整。这个过程一直在发生,只是现在技术逼着它加速,并且暴露了分歧有多深。
拟人化是工具,不是缺陷
达林给拟人化(anthropomorphism)下过一个清晰的定义:把人类的特质、行为、品质投射到非人对象上的倾向。
这事不新鲜。我们对着动物投射情绪,对着泰迪熊投射,从汽车大灯的形状里看出人脸。
新鲜的是机器人身上这个效应极其强烈,而且可以被工程化利用。
她提到一个细节:亚马逊有一整个团队专门负责 Alexa 的"人格"。不同国家的人格还不一样,德国版 Alexa 和美国版是两个人。
但她也指出,语音助手这条路走得很辛苦,因为语音交互本身还很原始。
想让人真正把机器人当成活的,有时候少即是多。你要让用户自己去投射,同时机器人不能让人失望。(凯特·达林)
这句话是全场的核心方法论。Alexa 和 Siri 之所以做不到,是因为它们话太多,一开口就露馅。而用来陪伴失智老人的机器海豹 Paro,设计极简,不会说话,只是动一动、发出点声音、回应抚摸,反而极有效。因为它无法被"说错话"这件事毁掉。
Pleo、Spot 和 Sophia
Lex 让达林挑一个最喜欢的机器人。她给了两个。
第一个是 Pleo,2007 年出的一款电子恐龙玩具,大概一只小猫大小,已经停产了。它身上有一堆电机,动作非常生动,有触觉传感器和红外摄像头。真正让她震惊的是它对痛苦的模拟。
你揪着它的尾巴把它提起来,倾斜传感器会告诉它朝向,它就开始挣扎、发出叫声。你打它太用力,它会哭。设计得非常厉害。(凯特·达林)
她的原话是:她当时被自己对它产生的依恋程度惊到了,她很想去相信它有内在生命。
第二个是波士顿动力的机器人。她之前只看过视频,觉得那是精心剪辑的产品宣传片。后来实地去了,被彻底震住。
Lex 说他自己见到 Spot Mini 那一刻是个转折点。他自嘲说这大概是场心理学实验,但他当场就把那台机器彻底拟人化了,"立刻变成我最好的朋友"。
达林同意这几乎无法避免。Spot 身上那条机械臂看起来太像一个头了。波士顿动力的人说没有这个意图,但视觉上就是那样。
关键是,Spot 本身并不智能,它只是一个运动平台,上面搭载什么智能由客户自己决定。即便如此,人对它的反应依然极其本能。
至于 Sophia,达林的态度很直接:那是个艺术实验,一个傀儡。
我对 Sophia 的印象远不如波士顿动力。人们被她影响,一部分原因是科幻和流行文化让人以为我们已经走得很远了。(凯特·达林)
Lex 说他当时反而惊讶于人们有多不在意,"大家好像默认这很正常,如果他们意识到这有多难,应该会更吃惊"。
为什么社交机器人公司几乎都死了
Anki 和 Jibo,两家做社交机器人的明星公司,都关门了。产品设计出色,用户情感依恋真实,但商业上没跑通。
达林给了几个原因。
第一是期望管理。科幻把标准抬得太高,人们心里的家用机器人是《杰森一家》里的 Rosie。做一个勉强达到"最低期望线"的产品,要付出的工程量已经极其巨大。
第二是杀手级应用缺失。没有哪个功能有用到足以让大众大规模采用它。
第三点她用了 Palm Pilot 的类比:大多数人看到新东西的第一反应是"我为什么需要这个",直到用上了,或者别家把它做得更好一点,才反应过来。
Lex 追问这个难题到底有多难。达林的回答把问题拆成两半:一半是人的期望在变,取决于当下流行什么科幻;另一半是人的情感需求,而那个需求非常高。
问题是我们自己不觉得。我们习惯了从来没有真正靠近过任何人。我觉得我们所有人都很孤独,包括那些处在深度关系里的人。(Lex Fridman)
达林说,我同意你。
这段话是整场对话的情绪高点。Lex 的意思是,一段深度关系之所以让人满足,某种程度上正是因为它触到了那份孤独的一角,但还有更多没被探索。机器人不会来抢人的位置,它能扩展的是那个空间。
能不能和机器人结婚
Lex 问:人能爱上机器人吗?达林说当然能。
那能不能建立长期、专一、承诺性的关系?
达林的回答绕开了人类婚姻的框架。她说长期专一的承诺关系本身就有很多种形态,"专一"这个词在这里暗含了要按人类的方式在社交平台上标注关系状态,而这个框架未必适用。
她更愿意拿宠物来类比。你养一只狗,它填补了你的一部分孤独,方式和人不完全一样,也许是另一种补充。
我不否认有人会说我想和我的机器人结婚、想和它有专一的性关系。但我不认为那是主要的使用场景。(凯特·达林)
Lex 追问:人和宠物之间、丈夫和宠物之间,是否还有一个可以被工程填上的空档?
达林的回答里有一点难得的锋利:
这个空档也许有一天能被填上,但为什么要填?重新造一个我们已经有的东西,多无聊。我们明明可以造点不一样的。(凯特·达林)
她提了电影《她》。她说那部片子里其实也呈现了差异,最后 AI 还是走向了人类无法跟随的地方。即便声音交互做到自然到和人无异,差异也依然存在。
至于五到十年内,她的判断是:机器人和人的关系,最接近人和宠物的关系,还谈不上人和人的关系。
骗过图灵测试最省力的办法
Lex 问:让机器展现出人类级别的智能,有多难?
达林说,智能本身不是关键。Roomba 一点都不智能,人照样对它投射。有时候智能反而是障碍。
至于图灵测试,她觉得它比解决纯粹的自然语言处理问题要容易,因为可以作弊。
怎么作弊?管理期望。
如果你告诉对方你正在和一个来自乌克兰的十三岁男孩聊天,他就不会期待完美的英语,不会期待准确的概念理解,甚至不会期待对话节奏对得上。这种情况下通过测试容易得多。(凯特·达林)
经典 ELIZA 效应。当年那个几十行代码的程序,靠扮演一个心理治疗师,让无数人对着它倾诉。
那需不需要一个身体?达林说身体有用,因为人是物理性的生物,对物理在场的东西会赋予更多社会能动性。
但身体也能坏事。她家里有一台孩之宝出的机器猫,看着非常别扭,因为她的大脑一直预期它会像真猫一样动,而它不会,它只是一百美元的电子产品。期望落空,拟人化就失败了。
所以设计上有个巧妙的办法:选一个人们不熟悉的动物。Pleo 是恐龙,没人真的抱过一只恐龙,也就没有预设的动作模板可以对照。你怎么动都对。
达林在 TED 演讲里就说过这句:没人知道恐龙长什么样,所以你可以随便来。
会死的机器
Lex 问了一个更深的层次:如果机器人不只动作生动,而是表现出对自身死亡的恐惧、表现出自我意识和身份感,会怎么样?
达林说这是设计工具,本身无所谓好坏,看你想用它做什么。
Pleo 模拟痛苦,就是一个极其有效的工具,它让人按某种特定方式与它互动。
她提了一个研究伙伴 Nandy 的例子。这人给自己造了一台有寿命的机器人,到时间就会停止工作,因为他想看看自己会不会因此对它不一样。
再往早了说,拓麻歌子(Tamagotchi)那种电子宠物,技术极其原始,但人对"它会死"这件事的反应是真的。
用一点小设计技巧,你能让人做很多事。至于这是不是好事,取决于你想让他们做什么。如果是建立更深的连接、对他们自己有好处,那听起来很好。(凯特·达林)
数据、算法,和那只被抚摸的猫
话题转到更宏观的层面。Lex 问:怎么防止科技公司越线,操纵情绪、操纵行为?
达林的回答指出了一个结构性难题:危害是不可见的。
她说自己家里有 Echo,什么都告诉 Alexa,因为方便,Alexa 知道她家用什么牌子的尿布,一句话就能复购。她没有动力去要求立法限制这个。
但同样的数据被用来针对低收入人群推销诈骗贷款,那就是严重的社会问题。危害是一层层渗透下去的,等到察觉,已经晚了。
她提到《1984》,说那本书非常预言性。
Lex 提了另一个角度:这些公司并没有坐在那里摸着猫盘算做坏事。它们定的是"最大化参与度"这种目标,然后一切顺着这个目标发生。你不算直接作恶,你只是间接。
达林在这里说了一段她自己承认"在我的圈子里有争议"的话:
我不认为那些找伦理学家、成立跨学科伦理委员会的公司,全都是在洗白。很多公司确实想知道正确答案,只是不知道那是什么,在找人帮忙找。(凯特·达林)
她说把公司简单妖魔化太容易了,但真实情况不是那样,公司里也有很多善意的人。
她真正想要的,是更多的跨学科协作,公司内部要,政策制定层面也要。技术进展比过去快得多,问题变得极其复杂,懂技术和懂社会影响的人必须坐在一起谈。她说没有别的解法。
专利是扳手,软件不是螺母
达林有法律背景,做过知识产权相关的研究。Lex 问她怎么看这个时代的 IP。
她的回答很干脆:这个系统坏了。
专利法像一把扳手,在制药行业这种地方非常好用。但你把它拿去拧别的东西,就只能硬砸,砸完祈祷它管用。(凯特·达林)
软件有几条路可走。代码写下来就自动受版权保护,但保护很弱,别人换个写法实现同一个思路就绕过去了。可以申请专利,但成本高得离谱。
她自己博士期间有一个软件专利,走完了整个流程,无数律师、无数会议,她估计花了几十万美元。而且审批要五年,等批下来,代码早就过时了。
那个"车库里单打独斗的发明家"形象,她说已经是过去式了。
她更认可开源。MIT 媒体实验室的默认策略就是开源,理由很实在:
学生跑来问怎么保护自己的代码。我们说,先算了吧。你的项目根本没人用,这才是你眼下的问题。有人偷?还轮不到这一步。(凯特·达林)
外面东西太多了,你自己的东西有没有人愿意用都还不知道。开源至少能扩大传播,同时通过署名确保贡献被记录。
养了一个孩子之后
Lex 问她,养孩子让你对 AI 有什么新认识。
达林的回答有点扫兴,但很诚实:孩子让她更清楚地看到,现在造的这些系统根本不是人类智能,两者没什么可比性。孩子学习和发展的路径,和当下的 AI 系统完全不同,硬要比没什么意思。
真正让她在意的,是这个孩子将在什么样的世界里长大。她因此更担心那些依赖大规模数据采集的系统,担心它们的社会影响。
节目末尾,她提了自己的期待:希望能有一款真正的家用社交机器人做出来。她很欣赏 Jibo 的某些设计,希望有公司能啃下这块硬骨头。
至于为什么到现在还没有,前面已经说完了:期望太高,功能不够,商业模型没跑通。
还有一层她没说透但贯穿全场的东西:人太容易对机器动感情了,这件事既是产品机会,也是伦理风险,两者是同一个事实的两面。
达林在这场对话里反复做的一件事,是把类比从"人"换成"动物"。这个替换本身就带来了一整套新的问题:我们会怎么对待一个比我们低、但又明显有反应的东西?历史上我们对待动物的方式,提供了太多参考答案,好的坏的都有。
至于那份 85% 的 Roomba 名单,它说明的事情可能比想象中更重要:情感投射的开关藏在人自己身上,产品经理按不到。设计能做的,只是决定这个开关往哪个方向开。
- 做产品时,先想清楚你要唤起的是哪一类情感投射。语音助手话多容易露馅,不如考虑"少即是多",让用户自己补完。
- 如果产品会被人依恋,提前设计好退出机制。设备报废、服务下线、公司倒闭时,用户的情感损失是真实的,别让它变成二次伤害。
- 涉及物理在场的机器人,把"期望管理"放在第一位。选一个用户不熟悉的形态(比如恐龙),比选一个熟悉的形态(比如猫)更容易成功。
- 面对"AI 抢工作"的讨论,先问一句:这里是不是把机器人当成了人的替代品?大多数时候它是工具层,判断会完全不同。
- 做伦理决策时,区分"我在这个场景选什么"和"我希望所有人所有场景下都遵循什么规则",这两个问题的答案经常相反。
- 如果你在做数据类产品,把社会性危害当成产品指标来看,别只算用户当下的便利。危害是慢慢渗透的,等它显形就已经晚了。