# 阿扬娜·霍华德：人机交互与安全关键系统的伦理 > 机器人学家谈人机交互的设计思路，以及医疗、自动驾驶等安全关键系统中的伦理与责任。 - 原标题：Ayanna Howard: Human-Robot Interaction and Ethics of Safety-Critical Systems - 期数：特别节目 - 发布日期：2020-01-17 - 嘉宾 / 主题：阿扬娜·霍华德 - 网页版：https://lexfridman-cn.pages.dev/ep/ayanna-howard/ - 官方页面：https://lexfridman.com/ayanna-howard/ - 精读字数：约 10457 字（阅读约 23 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 阿扬娜·霍华德（Ayanna Howard）被问到"你见过的最了不起的机器人是谁"时，她说自己没见过。 她是在电视里认识那个机器人的。《杰森一家》（The Jetsons）里的女仆罗西（Rosie），会做饭，会打扫，会管孩子。霍华德说，她是看着罗西长大的。 罗西身上有个矛盾。她几乎是万能的，可她又算不上一个"完美"的机器。她时不时会闹点情绪，会在乔治做蠢事的时候顶他一句，会提醒他别太离谱。她关心人，尤其是那几个孩子。 霍华德是佐治亚理工学院的机器人学教授，主持人类自动化系统实验室，研究方向是人机交互、家用辅助机器人、治疗机器人，以及极端环境下的远程机器人探索。她观察到一个现象：**人们嘴上说要完美的机器人，真正让他们产生信任的，恰恰是那点不完美。** ## 完美在机器人学里是个什么词 从理论角度看，完美和精确度绑在一起。一个函数，能不能百分之百正确地完成，零误差。这是机器人学语境下的完美。 放到自动驾驶上就更清楚了。保持车道，绿灯走红灯停，把场景里所有的实体都准确识别出来。这套东西在技术上已经相当成熟，可它离人想要的差得很远。 霍华德说，罗西按精确度标准衡量一点都不完美，但她完美地做到了另一件事：她适应人。而我们真正想要的完美，就是这个适应能力。至于百分之百遵守我们自己刚编出来的那些规则，其实没那么重要。 > "我们想要的是机器人能适应我们，而不是百分之百执行那些我们随手定下的规则。"（阿扬娜·霍华德） 她还举了个开车的例子。如果所有人都完美驾驶，谁也到不了目的地。你闯过多少次于黄灯，因为有辆车眼看就要撞上你；你多少次从没车的地方横穿马路，因为对面确实没车。人类驾驶本来就带着这些偏差，一部分原因是，这世界本来就是这么运转的。一个按字面意义做到完美的机器人，反而没法跟我们共处。 ## 自动驾驶卡在哪 这个行业的时间表一直在往后推。霍华德回忆，几年前一大批公司重金下注自动驾驶，其中也包括不少机器人学家和投资人，有人放话五年之内无人车就能上路。现在有人说五年，有人说十年二十年，也有人干脆说永远不会。 目前跑得比较顺的，基本都在半封闭环境里。还是会有行人走动，会有商店，但不会有别的司机。因为其他人类司机才是真正的难题。她提到一个细节：如果前面那辆车贴着"学员驾驶"（Student Driver）的贴纸，你立刻就知道对方随时会做出莫名其妙的动作；如果旁边车里坐着两个年轻人有说有笑，你也立刻警觉起来。这种判断依赖大量微小线索，你怎么把它们塞进一个自动驾驶系统里？ 波士顿的十字路口各有各的性格，不同的街区不一样，同一天的不同时段也不一样。我们的大脑把这些都学会了，可你让人自己内省，他讲不出来。 有没有捷径？霍华德给的答案是一座为自动驾驶专门设计的新城或新街区。设计时就知道会有这些异常，就知道人是这个样子，那就按这个假设来规划。这里仍然有人，只是噪音被压到最低。住进来的人身上带着自我选择，房产销售的时候就会把这一点写进卖点。真出了事，住在这里的人大概也比别处的人更宽容一些。 这是三条线索里的两条。第三条是法律责任，还有政策、政府那一堆扯不清的东西。霍华德说这部分她不太想碰。 ## 杀人概率写进目标函数 主持人莱克斯·弗里德曼（Lex Fridman）抛出一个更尖锐的问题：车在路上其实时时刻刻在互相威胁对方的生命。过路口需要果断，需要冒一点风险。如果把驾驶行为压缩成一个目标函数，里面必然存在一个"致人死亡"的概率项。这个概率必须低到你在伦理上能接受，又必须高到别人不敢随便欺负你、不敢在你面前大摇大摆地横穿马路。 行业里有句话：车不会杀人，人才会杀人。霍华德顺着这句往下推了一层。 > "机器人算法不会杀人，写机器人算法的人会杀人。"（阿扬娜·霍华德） 她说，起码在近期和中期，人还在回路里。可能是驾驶员，可能是开发者。我们还没到机器人自己写机器人、自己定义行为的阶段。 问题在于，一个开发者要对一个人的死亡负某种责任，这件事听起来就让人不安。所以她认为，伦理在工程社区里必须被当成核心议题，因为它无法绕开。 你可以宣布自己不碰武器化的 AI，这没问题。可你写的算法可能会被用在医疗里，可能会决定某个人能不能拿到某种药。如果那个人没拿到药，死了，这算不算你的责任？ > "如果你在写代码的时候，没有意识到自己手里握着这种权力，那不是一个好的状态。我们需要在编程的时候，比现在多得多地去想这件事。"（阿扬娜·霍华德） 她讲了一段计算机行业的历史。早年没有专职测试，开发者自己测自己的代码，把所有情况跑一遍。后来大家发现这样不行，漏掉的东西太多，于是有了测试岗。再往后，大多数开发者的态度变成了：编译器报没报错，警告看一眼，差不多就行，剩下交给下一道流程。 霍华德说，伦理现在就处在"早期开发者自己测代码"那个阶段。还没有伦理测试员这个岗位，所以你只能自己看，自己问一句：这段代码在伦理上会产生什么后果？ 她拿医生做类比。医生遇到过病人没能活下来的情况，他们会因此放弃吗？不会。每一次面对新的病人，他们都知道这个人有可能救不回来，这个念头一直在背景里。医学院教的是责任，同时也教工具，让医生不至于在这样的压力下崩溃。我们给开发者的是什么呢？ 大礼伴随着大责任，这是医学院的话。霍华德觉得，如果把这句话改一改用到开发者身上，情况会好很多：写代码是一份大礼，它带来的是大责任，这两件事要合在一起讲。 弗里德曼说他自己最近几个月收到了不少信息，说他手上沾着血，因为他在做半自动驾驶相关的工作。他的逻辑是，半自动意味着人会失去警觉，而失去警觉的人会受伤。他有很多个晚上为此睡不着。当然他可以自我开解：美国每年有四万人死于交通事故，我们做这件事最终是为了救命。但现实是，你写的代码有可能杀死某个人。 霍华德的回应是，"负担"这个词用错了。她说这是一份馈赠，但你必须极度严肃地对待它。 ## 偏见不是抽象概念 在一篇题为《关于我们自己和我们的机器人造物的丑陋真相》（The Ugly Truth About Ourselves and Our Robot Creations）的论文里，霍华德梳理了几类会影响机器人系统运行的偏见。 她先给了定义。偏见是我们所有人都有的一些预设观念，涉及群体、习惯、身份。处理问题时，这些预设会影响我们的判断和输出。偏见可以是正面的也可以是负面的，而负面偏见一旦被意识到仍然继续，就变成了歧视。 她举的例子是青少年驾驶。保险公司对青少年司机收很高的保费，背后是年龄偏见，但它有数据支撑：青少年确实更容易出事故。家长们会抱怨，但几乎没人说这不公平。整个社会在这一点上出奇一致。 同样一个例子换一下就不行了。假设保险公司因为某个波士顿街区事故多而提高保费，后来发现这个相关性其实对应的是社会经济因素，那立刻就成了问题。这里没有清晰的分界线，这正是这类问题难办的地方。 医疗领域的偏见更深。历史上 FDA 的药物试验会排除育龄女性，导致很多药在不同性别上的效果数据并不完整。放到机器人设计上，一个外骨骼该用什么材料、多重、什么形态，你打算围绕谁来设计？美国女性的平均身高体重和男性有差异。如果你从第一天就没想过这件事，你设计出来的东西最后往往刚好合适你自己实验室里的那批人。 数据的问题更麻烦。社会本身就带着偏见，你收集来的数据，哪怕采样方式再平衡，也还是装着同样的东西。预测性警务、犯罪再犯率评估、医疗算法，都是这个逻辑。 她提到一篇被媒体起了耸动标题的医疗算法论文，标题里直接写了"种族主义 AI"。霍华德说她本人不喜欢耸动标题，因为论文本身做的是一套完整分析，而媒体的标题会把讨论带偏。 但她的重点在另一处。这个算法确实存在按种族区分的效果差异，我们需要做得更好，这是责任。可是还有一句话没有被讲出来。 > "最差的 AI 仍然比我们好。你把人类里最好的拿出来，在某些事情上，还是比不过最差的 AI。"（阿扬娜·霍华德） 弗里德曼接着这个点往下说：我们给 AI 设的伦理门槛高得离谱，要求它绝对公平，而绝对公平的定义都还说不清。门槛设在不可能达到的位置，等于预设了失败。但霍华德那句话更重要：即便如此，它还是比现在这个系统好。 霍华德补充了一个被低估的好处：AI 是可以被戳的。一家医院或一座城市做得好不好，以前你不打官司就很难查证。现在你可以把数据跑一遍，指出这里确实有问题，问题在哪，然后进入修复环节。这套流程形成了反馈闭环，比等着有人起诉快得多。 她举了人脸识别的例子。乔伊·布奥拉姆维尼（Joy Buolamwini）点名了几家公司，这些公司基本是尴尬地承认，然后修好了。再暴露新问题，再修。这个循环在把整个领域往更公平的方向推，前提是两边都愿意动：开发者愿意说"我听到了，我们会改"，外部的人愿意指出问题。 ## 悬赏一个伦理漏洞 既然偏见这么多，有没有系统性的解法？霍华德说现在有两条路，第一条是做系统性的反馈和修正机制。 目前的状况是零散的。某个研究者发现了不公平的结果，写成论文发表，然后开发者或采用算法的公司决定要不要修。整个过程由研究者的兴趣驱动，这意味着大量没被研究者看上眼的问题，根本没人查。 第二条路，她半开玩笑地说，要去戳一下大公司。安全领域有漏洞赏金，谁找到安全漏洞就给钱。为什么不能有伦理赏金？谁找到一个公平性漏洞，就给一笔钱。 这件事是双赢。公司表现出自己在意这件事，不必把全部内部资源都投进去。而且每个人的偏见视角不同，有人关注年龄，就会去找年龄相关的漏洞；有人关注性别，就会去找性别相关的。最后你得到的是一堆不同视角的发现，而且是数据驱动的。 聊到 Twitter、Facebook 这类平台，霍华德说这些公司其实很努力。弗里德曼提到一个困境：人们拿来指责平台的东西，往往是个人化的轶事证据，我记得我说过某句话就被封了，很难在大数据层面被公允地讨论。 霍华德说，一部分愤怒来自依赖。我需要你的时候，你没能为我工作。但还有一部分问题在于，平台倾向于自己内部解决。她打了个比方： > "这就好比我是只狐狸，然后我被派去看守鸡舍，因为我觉得狐狸吃鸡这个问题需要被关注。"（阿扬娜·霍华德） 内部修复存在利益冲突。真在内部发现了什么，多半第一反应是赶紧修掉，最好媒体别知道。这种处理方式累积起来就是信任崩塌。她建议的做法是公开说：我们有这个问题，请社区帮我们一起修，找到的人给奖金。 ## AI 能不能当总统 弗里德曼问，AI 有一天会不会被选为总统，或者进入国会。霍华德的回答很干脆：她不相信 AI 应该当总统，但她相信总统应该把 AI 当顾问用。 总统身边始终有一个内阁，每个人带着各自的专业判断，总统听他们说。AI 完全可以扮演其中一个角色。医疗领域放一个，教育领域放一个，人类总理不清的那些事，交给它去算。因为最后拍板的仍然是个人，而我们作为社会，需要一个能被看作人的领导者。 她说很多人没意识到，领导人做决定之前其实接收了大量建议。他们很少有清早醒来突然灵光一现的时刻，更常见的流程是先有个想法，再拿去听反馈，反馈好就推，反馈不好就退回去再问一圈。 ## 她为什么还相信人 聊到人的善意，霍华德讲了一件亚特兰大的事。那年下雪，城市封了，其实雪不大，但结成了冰。结果有人打开家门，招呼无处可去的人来住；酒店让人睡大堂地板；杂货店直接送吃的。没有人在谈价钱，陌生人之间互相问要不要捎你一程。 她说这件事说明，同情和爱是人身上更深的那一层。平时被满足了、被照顾好了，我们才腾出精力去爱看戏。 弗里德曼接过这个思路：分歧某种程度上是好时代的标志，因为看别人吵架在哺乳动物层面是有娱乐性的。而 Twitter 和 Facebook 恰恰利用了这一点，争议把人拉回平台，平台靠广告挣钱。 霍华德补了一句：爱不太好卖。 ## NASA 实验室里那颗假眼珠 霍华德职业生涯的起点在 NASA 喷气推进实验室（JPL）。她印象最深的一次经历，是看到一组人在做能实施眼科手术的机器人系统，时间大概是 1992 到 1994 年。 那是一套远程操作装置，用某种触觉反馈（haptics）实现，今天达芬奇手术机器人的前身逻辑已经在那里了。她走进实验室，看见一个模拟的人脸模型，上面装着假眼珠，旁边是一支小钻头，操作者用触觉设备在远程做手术。 让她震动的是精度。那也是她第一次在物理世界里亲眼看到人和机器处在同一个空间里协作。制造业里的大型机械臂她见过，但那是隔离开的。这一次，一个人和一个机器人挨在一起，中间没有任何屏障。 "那对我来说是个魔幻时刻。" 更早的种子来自电视。《无敌女金刚》（The Bionic Woman）让她十二岁就决定要做机器人学家，那时她用的是一个更老的词：控制论（cybernetics）。真正吸引她的是那些仿生部件，义肢那种东西。她说如果走上另一条路，她大概会去做生物医学工程。 弗里德曼说他最近见到了波士顿动力的 Spot，视频看过很多次，真见到实物、一对一相处的那几分钟，完全不一样。他说那几乎像是一次恋爱。霍华德完全理解，她当年在那个手术机器人实验室里感受到的就是这种东西。 她特别澄清了一点：她关心的是"类人"（human-like）。"人形"（humanoid）这个词强调的是外形，那个方向本身吸引不了她。一只机器人狗只要能在社交层面理解我们、回应我们，也算类人。人形机器人只有做到这一点，才真正进入她的研究范围。 ## 数据装上情绪芯片之后 聊到太空机器人，霍华德说她最爱的是《星际迷航》。她说自己算过，按剧里的年份，她活不到那个世界，但她非常想去，哪怕只是在最早的探险阶段。 弗里德曼问她怎么看待数据（Data）这个角色，尤其是装了情绪芯片之后。霍华德说那段时间数据确实是一团乱。原因在于，情绪会让智能体变得不理性。没有情绪的数据可以推演，哪怕是在带情绪的场景里，他也能按利弊权衡。一旦有了情绪，他自己的情绪也进了评估指标，周围人的状态被挤到一边。 这跟小孩的发展阶段一样。小孩非常自我中心。霍华德说，情绪成熟度停在小孩水平的成年人确实存在，因为发展这条路有人走完了，有人走了一半停了下来。 所以她认为心理学在机器人研究里被严重低估。她的团队大量阅读认知科学和发展心理学的文献，因为那些研究积累了关于人际关系的知识，包括各个发展阶段的关键节点。他们会拿人际关系里的规律去对照人机关系：有一部分能对上，有一部分对不上。对不上的时候就要追问，为什么这个场景里不一样，另一个场景里又一样。 弗里德曼问她，如果看二三十年后的自己，戴心理学帽子的时间会不会越来越多。她说最难的部分落在交互过程中的适应，也就是学习，心理学和传统机器人学都还没有直接对应它的答案。她把自己的转变讲了一遍：从电气工程和控制理论出发，后来发现自己的算法需要人的数据，再发现人的感知模型是关键，于是变成了人机交互研究者，现在又在这个基础之上做 AI。 从控制理论转进人机交互，在学术圈是高风险动作。那时候连相关的会议都还没有。她说驱动她的是问题本身够有意思，也够难。她喜欢走进一间屋子，然后意识到自己不知道该怎么做。如果一件事没有意外、没有惊喜，她反而觉得没意思。不走这条路她可以挣更多钱，留在学术圈做这个，是因为可以一直走进那样的屋子。 ## 信任不是问卷上的那个勾 霍华德的研究重心落在过度信任上。 她给信任下的定义是行为层面的。信任体现在行为里，跟你勾了哪个选项无关。如果你在使用技术的时候，行为上把它当成可信的来对待，那你就是信任它。 她的团队做过这类调研。问"你信任机器人吗"，回答基本都是不。再问"你会跟着这个机器人进一栋着火的楼吗"，也基本都说不。然后再去看这些人的实际行为，答案就摆在那里。 > "真正重要的是行为。你走到街上之前有没有勾选'我不信任自动驾驶'，这件事不会影响别人，行为才会。"（阿扬娜·霍华德） 弗里德曼说他读到这类研究时常常觉得荒诞：把人点了一下某个答案当成信任的证据，几乎像在用喜剧的方式编织关于真实行为的诗。 霍华德拿 Uber 举例。它刚出现的时候，如果做一次问卷：你愿意上一个陌生人的车，付钱让他送你吗？愿意凌晨一点让一个陌生人送你回家的单身女性有多少？大概没什么人会点头。现在呢，人们把自己的孩子放进这样的车里。 过度信任跟第一次接触的关系极大。第一印象好的话，后面出问题的概率会被压下来，或者更容易被原谅。可技术从来不是百分之百准确的。怎么把第一次接触做对，目前还没有答案。 她讲了一个放射科的研究，让她看到了希望。系统给医生标注 X 光片上的可疑区域，只给一个选项时，会出现两种极端：要么完全不信，要么无条件信，两种都会漏掉病灶。改成给三个选项，哪怕系统已经算出最可疑的就是第一个，信任反而维持住了，整个群体的准确率也上升。 差别在于，医生仍然在用自己的专业判断做决策，人和系统之间的分工没有被抹掉。 ## 教育、再培训和不是所有人都在同一条船上 谈到人机交互的应用场景，霍华德先自嘲了一句，医疗只是她的偏见镜头之一，另一个是教育。美国有些学区的师生比已经离谱到很难想象这个教室里还能发生学习，因为人力根本不够。机器人可以进课堂，也可以进课后空间，补上某些社区缺失的资源。另一端是劳动力再培训和就业转型，机器人系统在这里的作用会越来越大。 教育的具体问题在个性化。霍华德认为个性化很重要，但有一个说明：能个性化到群体层面就已经可以了。如果把一个人按某些维度归到某一类，哪怕这不是为他量身定做的，只要能匹配这个群体的学习节奏和参与方式，效果就已经不一样。 大班教学难就难在这里。你按中位数教，两端的人都不舒服。很聪明的孩子会因为无聊而捣乱，跟不上的孩子也会因为无聊而捣乱，原因不同，结果一样。如果把群体的定义收窄，就能照顾到更多人的真实需求。 这其实就是推荐系统在做的事。弗里德曼说他作为音乐听众，大概已经被归类得很准了，而且准得有点让人心酸。霍华德笑着说，把这一套搬到教育上没有任何理由做不到。 至于她更看好哪一端，答案是劳动力再培训。风险投资这几年在教育上的投入，大头流向了再培训。政府投入也在增加，一部分动机是恐惧：AI 到底会替代掉多少岗位，那些不再纳税的人该怎么办。早期教育她不那么乐观，因为它要等十六到十八年才能看到结果，而掏钱的人很难对这么久的时间尺度产生感觉。 弗里德曼提到安德鲁·杨（Andrew Yang）在竞选总统时主推的全民基本收入。霍华德说她确实相信 AI 和机器人会挤掉一部分工作，也会造出新的工作。她担心的另有其事：新造出来的会是些什么样的工作。 从佐治亚理工毕业的人没问题，他们拿到的技能让他们能适应，哪怕现在这份工作没了。她担心的是没有这种教育质量的人，他们有没有能力、有没有背景去接住那些新岗位。这会让社会内部以及国际之间的分化更严重。她还担心一件事：能不能平等地接触到这些好东西。 > "像我这样从佐治亚理工出来的人不会有事。但这只是人口里很小的一部分。我们得从更全球的角度去考虑，让所有人都能碰到医疗、教育、AI 这些美好的东西。"（阿扬娜·霍华德） ## 爱和被爱能不能被算出来 弗里德曼问了一个偏浪漫的问题：《她》（Her）里那种人工智能伴侣，人能不能爱上它，它能不能爱回来。霍华德说，设计出让人爱上它的系统，她认为完全可行。至于它爱回来这件事，它可以是"模拟爱"。 所谓模拟爱，就是在某些情境下把对方的需求放在自己的前面，把对方的幸福以某种权重写进目标函数里，唯一的原因是"我在乎他"。这样一来，最终的目标函数就变成了这段关系的持续时间。霍华德说，这种东西其实很容易设计。 弗里德曼追问，那哪算得上爱。霍华德的回答是，我们其实没有关于爱的经典定义，也没有能力看穿另一个人的大脑去检查里面的算法。 弗里德曼把问题往前推了一步。如果这个系统说自己有意识，说自己害怕被关掉，说它爱你，那我们该怎么办？机器人有一天该不该拥有权利？ 霍华德说，如果近期不处理这个问题，她能看到一个未来：这些智能体在持续适应和学习之后，会提出某些东西应该是基本的。她希望我们在走到那一步之前就把问题解决掉。 至于这是不是坏事，取决于那时候机器人处在什么位置。她给出的框架是分类：机器人大概率不会被当成拥有人权的人类，但可以被放进"财产"这一栏，也可以被放进"动物"这一栏，这两栏里的权利是不一样的。 动物作为生命有自己的权利：不能被虐待，虐待了要坐牢，但它们不能投票，可以被安乐死。财产的权利则附着在所有人身上，别人砸了你的东西，受保护的是你。她提醒，社会对权利的定义是会变的。以前女性被视为财产，侵犯一个女性，在法律意义上等于损坏了另一个人的财产。 所以她设想的路径是：某一天我们会确立某种基准规范，然后这个规范继续演化。今天还有一些国家的女性权利状况让全世界看不懂，而世界的态度也在推动这个变化。 ## 为什么机器人公司一家接一家关门 聊到 Anki、Rethink Robotics 这些公司的倒闭，霍华德说每一家都有自己的故事，只有 Anki 她看不懂。从外部看，她看过他们的数据，看起来像是找到了产品市场匹配（product-market fit），融资却停了。 她给产品市场匹配下的定义很直白：我有一个产品，想按某个价格卖。市场上愿意按这个价格买的人，够不够多到让我成为一家能持续盈利的公司。如果东西成本一千美元，所有人都想要，但只愿意付一美元，那就没有匹配，哪怕一美元有人买也不行。 iRobot 是个反例。它起家靠的是政府和军方的合同，那些合同给了它活下去的资金，撑到了 Roomba 出现。Roomba 刚上市时的价格是早期尝鲜者愿意付的价格，那一批人足够把它养到盈利。现在它证明了这个市场，对手也来了，欧洲还有一堆不那么出名的产品。 霍华德说，从行业规律看，这不算坏时候，只是作为机器人学家会觉得沮丧。今天排在头部的公司，大多数都不是第一个上场的。Google 不是第一个搜索引擎，AltaVista 是。Facebook 不是第一个社交网络，MySpace 是。第一批玩家把市场验证出来了，把热度做起来了，然后没走到下一层。真正走到下一层的是第二批。 机器人领域的第二批会不会出现，她说不确定。现在拿到风投的那些协作机器人公司，有的像 Rethink Robotics，有的像其他已经消失的名字，产品分布在工厂、家庭、诊所。她分不清这批是第二批，还是仍在第一批里。自动驾驶那一批也一样，说不清是第几批。要等一个独角兽出现才能判断。 ## 该不该害怕机器人 弗里德曼问，大众文化里对波士顿动力那种足式机器人的恐惧，如果做一次心理分析，源头在哪。霍华德的回答是分两半的。 不该害怕，前提是我们这些做这行的人明白有些东西必须改。如果什么都不改，那就该害怕。 要改的是思考方式。要考虑后果，要考虑伦理，要让讨论持续存在。不能再抱着"先部署出去，之后就不管了"的态度，不能忘了路上还有行人，一辆车可能变成武器。现在还看不到成型的解决方案，但至少有人开始把"发布这些系统时要负伦理责任"当成一件正经事，包括机器人、医疗、自动驾驶，以及很少被公开讨论的军事领域。 军事机器人会带来同样量级的影响。谁有权按下那个扳机，这类对话得有人来做。 总体判断是：只要整个社区越来越多地去想伦理问题，人就不需要害怕。她认为正面影响的总和会压过潜在的负面。 至于存在性威胁，她不信。她的类比是父母和孩子。父母希望孩子过上比自己更好的生活，希望他们走出去看世界。等到孩子长大，他们比父母聪明、有钱、机会更多，可能也不再听父母的话了。但他们不会回头把父母杀掉。因为在成长过程中，父母把价值观装了进去，把共同体的概念装了进去。就算你更聪明、更有钱，这段关系里剩下的还是爱和关心。 所以哪怕某天奇点真的来了，某个 1980 年代留下的老系统突然进化，它可能会说：我比你们聪明，我有意识，这些人类实在很蠢。然后它大概会补一句：但我就是没法毁掉他们。出于感情。 弗里德曼接了这个梗：逢年过节还是回来吃顿火鸡。 ## 她为什么选《黑客帝国》 霍华德说，《黑客帝国》是她最喜欢的 AI 相关电影之一，因为里面装着她思考的所有东西。机器和人之间是一种共生关系，它们没有毁灭人类，而是把人类养了起来。即便如此，机器也需要人类是幸福的，为了让人幸福，它们不得不造出一个残酷的世界，然后自己也活在里面。 而人保留了选择权。你可以留在那个有缺陷但完美的幻觉世界里，也可以选择出去，可能几天没饭吃，但完全是自主的。 她说这跟机器人未来的处境是同一件事。哪怕有一天机器人有了意识，它们仍然是我们社会的一部分，它们会和我们一样受苦。最后一定得找到一个共生的平衡点。电影里也有那样一批人，伦理学家、机器人学家，知道这件事必须停下来，然后去做点什么。 如果让她挑一个科幻角色聊一天，她不会挑罗西，她对罗西的脑子没兴趣。她挑数据。而且是装情绪芯片之前的数据，因为可以问他怎么解决伦理问题。数据能一步步理性推演，在这个过程里她也能把自己的想法理清楚。有些根本性的问题，只有他能帮着一起想。 霍华德在访谈的最后把问题交还给了一个更朴素的说法：机器人是人造出来的，它带着我们的价值观。既然如此，我们能做的事就很清楚。 ## 可以马上做的事 - 写完一段会影响人的代码之后，多问一句"它会伤害谁"，把这个动作变成习惯，就像早年开发者必须自己跑一遍测试那样。 - 设计任何面向人的系统之前，先明确你在围绕谁设计。把身高、体重、语言、性别、年龄这些变量显式列出来，别默认采用自己和同事的身体数据。 - 成立团队或项目时，主动引入关注不同偏见维度的人。年龄、性别、种族、收入水平，各自的关注点不同，凑在一起才能覆盖更大的问题面。 - 如果想推动一家公司改进算法的公平性，试着把外部审查变成一种激励：设定伦理漏洞赏金，让找出问题的人得到回报，别只靠内部自查自纠。 - 判断一个技术能不能用，别只看自己的态度，看你自己的行为。你会不会把车交给它，会不会把孩子放进去，行为比问卷上的勾选诚实得多。 - 给系统做推荐时，优先给出多个选项，别只给一个答案。保留使用者自己的判断空间，信任和准确率往往能同时提升。 - 在机器人、自动驾驶这类话题上保持接触，别回避。恐惧大多来自不了解，实际用过之后，人会进入更理性的判断状态。 - 在关注 AI 带来的效率增长时，同时关心谁能用上它。技术红利的分配方式，和技术的性能一样值得花时间讨论。