# 迈克尔·卡恩斯：机器学习中的算法公平、偏见、隐私与伦理 > 讨论算法歧视与数据隐私的成因，以及如何用技术与社会手段约束机器学习带来的伦理问题。 - 原标题：Michael Kearns: Algorithmic Fairness, Bias, Privacy, and Ethics in Machine Learning - 期数：特别节目 - 发布日期：2019-11-19 - 嘉宾 / 主题：迈克尔·卡恩斯 - 网页版：https://lexfridman-cn.pages.dev/ep/michael-kearns/ - 官方页面：https://lexfridman.com/michael-kearns/ - 精读字数：约 10351 字（阅读约 23 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2019 年，宾夕法尼亚大学教授迈克尔·卡恩斯（Michael Kearns）和合著者亚伦·罗斯（Aaron Roth）出了一本书，叫《伦理算法》（The Ethical Algorithm）。书里摆着一个已经被证明的结论：三条各自看起来都站得住脚的公平要求，数学上不可能同时满足。 它比“机器人会不会接管世界”现实得多，就横在每一个想给贷款模型、量刑模型、招聘模型加上公平约束的工程师面前。 卡恩斯本人的路径也挺有意思。他本科进校时是英语专业，后来转去学数学和计算机，在哈佛跟莱斯·瓦利安特（Les Valiant）读博士，做机器学习理论、博弈论、算法交易，还和费城联储合办过研讨会。他有一个叔叔是道德哲学家，这件事在谈话里反复出现，因为它划定了卡恩斯对“算法能解决什么”的判断边界。 ## 一个哲学家用“视情况而定”回答了所有问题 卡恩斯刚进入公平这个课题时，给那位当哲学家的叔叔写过一封邮件。他说，我们这里有一个具体的算法公平定义，我们认为它算是罗尔斯式公平的某种变体，您觉得怎么样。他以为自己在问一个是非题。 > 我收到的是哲学家最经典的那种回复：视情况而定。你看，如果你从这个前提出发，会得出这个结论；把那个假设换掉，结论就变了。（迈克尔·卡恩斯） 就是这一刻，他意识到两边存在一道真实的裂缝。哲学家从人道主义视角讨论公平，讨论了两千多年，从柏拉图问“什么是正义”开始；计算机科学家要做的是把这个东西写成能运行的约束。前者可以永远悬置判断，后者必须在某个具体时刻给出是或否。 他也没有把算法的作用说得太大。书里有个比喻，说大家其实是在路灯下面找钥匙。 > 如果警察在决定拦谁、盘查谁的时候就是种族主义的，这个判断会进入数据。下游再聪明的算法方法，也没法把这件事撤回来。（迈克尔·卡恩斯） 算法能处理的是那些明显的坏情况。一个完全不考虑公平的模型，往往不公平得离谱；一个完全不考虑隐私的系统，往往把隐私侵犯得很彻底。把这几类大问题修掉，收益很实在。再往里走，走进灰色地带，讨论就变成了“对谁公平、让谁承担代价”，那就回到了哲学家和立法者的地盘。 他给出的对比很能说明问题：隐私这个领域，社区基本已经收敛到一个定义，就是差分隐私（differential privacy）。公平不一样。公平的文献里已经有定理摆在那里，告诉你三个各自都合理的公平概念无法同时成立。所以卡恩斯说，公平还处在非常早期的阶段，而且注定比隐私更难。 ## 97% 伦理的算法长什么样 访谈里 Lex 提了一个很朴素的问题：计算机科学家说一个排序算法的复杂度是 O(n log n)，说一个分类器的准确率是 97%，那么有一天能不能说“这个算法有 97% 伦理”。 卡恩斯的回答是，在特定前提下可以。 书里从排序讲起，一堆写着数字的卡片，你从头扫一遍挑出最小的放最前面，再扫一遍挑出第二小的。这算一个算法，而且是个坏算法，它的复杂度是平方级的，而排序的最优解是 n log n。这个例子想说明的是：哪怕在一个定义得极其精确的问题上，也存在许多种不同的算法，各有各的取舍，有的跑得快，有的省内存，有的更适合分布式。计算机科学早就习惯了用这种方式比较不同方案的优劣。 伦理算法要做的，是把伦理问题里能被放上这种定量台面的那部分拿过来。 > 你可以说，对这个放贷模型，黑人和白人的错误拒绝率差距在 3% 以内。那我们也许可以把它叫作一个 97% 伦理的算法。而一个 100% 伦理的算法，意味着这个差距是 0。（迈克尔·卡恩斯） 注意这里的前置条件。公平的定义一旦确定，数学就能接手。确定定义这一步，机器帮不上忙。使用者必须先回答两个问题：你要保护谁，什么算伤害。 放贷的例子能把这层难度暴露得很清楚。你可能会认为，把一个有还款能力的人错误拒贷，也就是假阴性，是真正的伤害。而那些还不上钱却拿到了贷款的人，算是走运，不算受害。反过来想，一个人如果没有能力还款却被塞了一笔贷款，这本身是不是也是一种伤害。这个问题没有技术答案。 还有更麻烦的一层。目前主流的所有群体公平定义，对被误判者的补偿都是一种很奇怪的东西。 > 这些定义基本上是在说：你的补偿，就是知道我们也在以同样的比例，错误地拒绝了其他群体里的人。（迈克尔·卡恩斯） 一个具体的人被错误拒贷，他感受到的是自己的损失，不是统计上的均等。群体层面的公平和个体感受到的公平，中间隔着一道鸿沟。卡恩斯说，这个张力目前在技术层面都还没有很好的答案。 ## 公平的杰利蝾螈 从群体到个体，可以用一个很干净的方式理解：一个具体的人是所有属性的组合。 他属于某个种族，有性别，有年龄，还有一大堆非生理的、但同样强烈影响人生轨迹的属性。所以，如果你要求模型在种族这个维度上公平、在性别这个维度上公平、在年龄这个维度上公平，每一种都单独满足，你并不能因此期待这个模型对一个 55 岁以上、年收入低于 5 万美元、有残疾的西班牙裔女性也是公平的。 卡恩斯给这个现象起了个名字，叫公平的杰利蝾螈（fairness gerrymandering）。和政治上的选区划分一样，你在总量上给出了保证，把镜头拉近，你会发现这个总量保证是靠偏袒一部分组合、牺牲另一部分组合换来的。 换个角度说，追求个体公平，等于同时要求所有可能的群体组合都公平。每个人都可以被看成一个大小为 1 的群体，因为总能找到某个属性把这个人和其他所有人分开。这样一来，粗糙的群体公平和极端的个体公平，其实落在同一根坐标轴的两端。研究者现在能在这根轴靠群体的一端给出可靠的保证，靠个体的一端还不行，能做的是尽量往中间挪，处理越来越精细的子群体。 这里还有一个躲不开的问题：要不要给人权。比如性别算 0.6 的权重、种族算 0.4。技术上当然可以把权重塞进目标函数。但卡恩斯指出，公平这个题目特殊就特殊在，你一开口讨论它，就自动卷进了那些永远没有结论的争论里：为什么要保护这个群体，是补偿历史，还是创造机会，还是别的什么。 他举的例子很尖锐。哪怕是刑事司法这种场景，大家讨论量刑公平、讨论预测被告人会不会按时出庭、讨论假释决定，定义的都是对犯罪者的公平。受害者的公平在哪里。当你写下一个约束说“黑人和白人的错误监禁率要大致相当”，这句话里完全没有提到潜在的受害者。这就是公平和隐私最大的区别：隐私是大家都想要更多的东西，公平则必然要面对“对谁公平、由谁买单”。 ## 差分隐私：你的记录在不在都一样 隐私这一边，卡恩斯的语气明显更笃定。他说这个社区已经找到了那个定义。 差分隐私的核心是一个反事实问题。假设有一份病历数据库，其中一份是你的。研究者想用它训练一个疾病预测模型。差分隐私要求你比较两个世界：一个世界里，研究者用了包含你病历的完整数据库；另一个世界里，用的是同一份数据库，只把你的那一条记录拿掉，剩下 N 减 1 条完全一样。 这两个世界产生的结果，应该几乎无法区分。 > 它并没有承诺数据分析不会伤害你。它说的是，那些伤害在你没有参与的情况下也照样会发生。（迈克尔·卡恩斯） 书里那个吸烟与肺癌的例子值得慢慢看。上世纪五十年代那项确立吸烟与肺癌关联的研究，如果你的数据在里面，而当时社会上对吸烟还没有污名，研究发表之后，保险公司对你的后验判断就会改变，你的保费可能上涨，你遭受了实打实的经济损失。 但同样的分析只少了你这一条记录，结论一模一样。吸烟与肺癌的关联是关于世界的一个事实，任何足够大的病历数据库都能发现它。你的数据在这件事上并不独特。 实现机制是加噪声。每一个有用的差分隐私算法都是概率算法，同样的输入跑两次，输出会不一样。最常见的做法是先把要公布的那个数值算到精确，再往上面加一个零均值的高斯噪声或者指数噪声。输出偏离了真实均值，但离得不远，同时没人能从这个输出反推任何一个具体输入。 卡恩斯提到他第一次看到这个定义时的反应，是觉得它很聪明，但也担心它太严格，严格到根本没什么能算。后来这个领域最大的成功恰恰证明了相反的事：几乎所有我们熟悉的计算，都能改造成差分隐私的版本。反向传播和神经网络、决策树、支持向量机、提升方法、经典的假设检验，原本都不是差分隐私的，但每一个都有加噪声的改造版本。 这句话的分量在于，它意味着数据科学时代的好处和个体的隐私保证可以同时存在。我们今天这套依赖统计建模和机器学习的科研体系，不必推倒重来。 ## 匿名化是个幻觉 要被差分隐私取代的，是那套用得最广的做法：匿名化。删掉姓名那一列，把年龄粗化成十岁一档，邮编只留前三位，去掉所谓的个人身份信息（PII）。 卡恩斯说这类做法的根本缺陷在于，它们假装这份数据集是世界上唯一存在、将来也唯一会存在的数据集。 Netflix Prize 是最早的一个教训。Netflix 公开了一批用户评分数据，姓名抹掉了，但保留了你给哪些电影打了什么分、什么时候打的。结果研究者把这些数据和 IMDb 上的公开评分一对照，就能重新识别出具体的人。有人因此起诉了 Netflix。 > 我们在这十年里都逐渐意识到一件事：只要知道你身上几件看起来无关紧要的小事，往往就足以构成一枚指纹。（迈克尔·卡恩斯） 你给十部电影打的分，加上打分的日期，在几千万 Netflix 用户里就几乎唯一地指向你。 Facebook 点赞那个研究更让人不舒服。只用你点过赞的内容，不用任何人口统计信息，不用你的好友关系，就足以在群体层面相当准确地预测性取向、药物和酒精使用、父母是否离异。这些信息你从来没打算公开，甚至你自己都未必意识到它们在泄露什么。 卡恩斯还提到一项新近的研究，说大约十几个属性就足以唯一识别出相当高比例的人口。这个数字是不是精确到 18 并不重要，重要的是量级：识别一个人需要的特征数远远少于直觉。 ## 噪声救不了所有场景 Lex 提了个略带玩笑的想法：如果到处放机器人说“卡恩斯喜欢花椰菜”，是不是就能掩护他真正喜欢意大利面的偏好。 这个思路在现实里有人做过。纽约大学的 Helen Nissenbaum 团队做过一个浏览器插件，你往 Google 里输入一个查询，插件在后台同时向搜索引擎发送大量无关查询。一千次查询里只有一次是你真的想搜的，另外九百九十九次都是噪音。 这是隐私靠混淆（obfuscation）的路子。卡恩斯说它有意思，但它给不了差分隐私的保证。 更重要的是，混淆并不能覆盖所有场景。 > 我往 Google 里输入山地自行车，我要的就是山地自行车的结果，我确实希望 Google 知道我在搜山地自行车，这种时候我不想要噪声。（迈克尔·卡恩斯） 有些数据的价值恰恰在于它精确地属于你。医疗服务、个性化推荐、地图导航，都是这一类。真正的挑战是设计出一种适配这种场景的隐私概念，能让服务精确地使用你的数据，同时你还保留某种保证。这个技术问题至今没有解。 聊到更宏观的走向，卡恩斯的态度是乐观的。他认为社会最终会走到一个比现在更好的妥协状态：隐私保证比今天更多、更强，个体对数据的控制也更多。但他强调，光有算法方案不够，还必须有监管和法律程序去推动公司采用这些方案。 他还提到一个正在萌芽的想法：给数据定价。如果要训练一个罕见病的预测模型，负样本很容易找，正样本极其稀缺。那么患病者的数据在这个应用上就比普通人值钱得多，也许应该得到更多补偿。顺着这个思路往下，今天互联网的经济模型是双边的，一边是内容方，一边是广告主，谷歌和 Facebook 在中间撮合，用户不在场。三方市场，让代理来代表用户的利益，技术上不难想，经济后果会很剧烈。 > 我们是产品，不是客户。客户是广告主。这件事如果真的做成，会颠覆掉支撑互联网至今的整个经济模型。（迈克尔·卡恩斯） ## 导航 App 正在把我们推向同一个均衡 博弈论给了卡恩斯另一个观察世界的镜头。他给的定义很平实：一套用来推理多个互动个体所产生集体结果的数学框架。 最少两个人就能开始。囚徒困境是最著名的例子，每个人都为自己打算，最后得到的集体结果比合作能达成的结果更糟。而合作在囚徒困境里不是均衡。 他最喜欢的博弈论结论是纳什的工作：在非常一般的条件下，竞争均衡一定存在。这个存在性定理的意义在于，如果连均衡都没有，你根本没法推理接下来会发生什么，因为没有稳定状态可谈。当然，存在性不保证现实里的迭代行为会走到那里去。 算法博弈论这二十年里最重要的技术贡献，可能是发现了机器学习和博弈论之间的紧密联系，具体说是和无遗憾学习（no-regret learning）的联系。一群各自追求自身利益的玩家反复互动，每个人用无遗憾算法更新策略，整个过程会收敛到均衡，所需步数还相当少。 这套理论落到日常，最干净的案例是导航 App。 > 你打开 Google Maps 或 Waze，输入起点终点，它给你的路线，本质上是在针对其他所有人此刻的行为，为你计算一个自私的最优反应。这些 App 正在把我们所有人推向这个博弈的纳什均衡。（迈克尔·卡恩斯） 听起来挺好。问题是，理论和有限的真实交通数据都显示，所有人都处在竞争均衡的时候，集体的通行时间可能显著高于其他方案。每个人都做出了对自己最优的选择，加总起来是一场集体亏损。 社交媒体是同一套逻辑。平台用机器学习预测你会喜欢什么，为你优化，把你推向某种均衡。博弈论最重要的教训之一就是：处在均衡，不意味着不存在让一些人、甚至所有人同时过得更好的方案。 卡恩斯在这里的表述很克制。均衡本身既不善也不恶。但他补充说，社交平台不孤立运作，它们是社会系统，用户的行为本身在驱动系统的技术演化。极化、回音室、对异见的容忍度下降，是我们所有人一起走到的那个均衡。 ## 从 500 毫秒到 20 年 聊到金融，卡恩斯给出一条清晰的分层。算法接手的第一批工作，是那些计算机明显比人强的事。金融交易所电子化之后，算法通过 API 下单和人在屏幕前敲键盘已经没有区别，这时候算法交易才有可能。 最先被吃掉的是执行问题。一家券商替大型机构客户买苹果，量太大，如果不聪明地在时间上拆单、在不同电子交易所之间分散，价格就会被自己推上去，伤害执行成本。这是纯粹的优化和控制问题，机器肯定比人做得好。 高频交易紧挨着这一层，盯着交易所之间、或者同一资产内部的瞬时错价，赚取微小的价差。 再往上一层是统计套利。预测资产价格的方向性变动，这个预测的有效期从几秒到几天。这是目前量化交易的甜点区，而且已经持续了相当一段时间。 再往上，是巴菲特那个时间尺度。卡恩斯说他对巴菲特的漫画式想象是：坐在那里思考苹果的长期价值应该是多少，不看今天苹果的股价，判断出它离那个价值还很远，然后买入或者做空，接着坐上十年二十年。 > 到了那个时间尺度，你要扛过衰退，扛过经济周期，中间可能爆发战争。你的数据来源跨度极大，靠从交易所数据里优化，根本不够。（迈克尔·卡恩斯） 高频交易的模型只需要保证未来 500 毫秒内不出大事。长期投资者需要对政治格局、经济周期、社会情绪有判断。卡恩斯一年多以前和费城联储合办过一场关于机器学习用于宏观经济预测的研讨会，他的结论是这条路还很长。所以如果问华尔街哪些岗位暂时安全，他的答案是那些坐在长时间尺度上、并且有承受长期风险的胃口的人。 ## 帕累托曲线该由谁来看 回到公平的技术台面。如果你选定了公平定义，比如担心性别歧视，也选定了伤害的定义，比如错误拒贷，那么第一件能做的事是审计：从数据出发，直接算出女性被错误拒贷的比例比男性高多少。 再往下，就能画出那条曲线。横轴是误差，纵轴是不公平度，模型的公平约束强度是一个旋钮。理想点是原点，零误差、零不公平，但任何做过机器学习的人都知道，不施加任何公平约束也到不了零误差。所以现实里得到的是一条凸曲线，它精确地告诉你，从 17% 误差降到 16% 误差，要多付出多少不公平度。曲线之外的点，在其中一个维度或两个维度上都能被严格改进，所以它们是没有意义的选项。真正需要决定的，是沿着这条前沿停在哪里。 卡恩斯认为这条曲线本身就该是研究者与决策者之间的界面。设想一个刑事司法辖区，既担心种族公平，又担心准确性：既不想放走会再犯暴力罪行的人，也不想关着不会再犯的人。这两件事会打架。你可以把这条曲线摆到他们面前，让他们看，如果要把两个种族群体的假阳性率差距压到某个水平，释放决策的整体准确率要付出多少。 > 这不该由计算机科学家替社会决定。做决定的是政策制定者、监管者，是那些真正身处这个领域的人。但我希望他们能理解，这种取舍一般总是存在的，而且你必须选一个点。你不去选，其实也已经选了，只是你不知道，也不肯承认。（迈克尔·卡恩斯） ## 成本不会消失，只会换个地方出现 偏见怎么进入算法，人脸识别是个干净的例子。训练集主要是白人男性，模型目标是最大化整体准确率，那么模型降低误差最省力的路径就是把占多数的白人男性认对，代价是其他群体的准确率更差。这无关算法的恶意，它就是目标函数在数据分布上的自然结果。 常见的反驳是：这个取舍是假的，你可以去收集更多少数群体的数据，或者给每个子群体单独训一个模型。 卡恩斯的回应是，这些做法也有成本，只是成本从准确率挪到了别处。收集稀有群体的数据要花钱，训练、部署、维护多个模型也要花钱。哪怕你在技术上消解了误差与公平之间的张力，成本也会转移到研发时间和预算上。这一点在讨论里经常被跳过，因为谈钱不如谈原则舒服。 他还专门澄清了书名的误解。有人看到《伦理算法》这几个字，第一反应是这本书在主张让算法自己去决定社会规范，自己去发展一套公平和隐私的观念。 > 我们绝对没有这个意思。尤其是在大家担心机器人变成主宰的年代，机器人顺带发展出自己的社会规范，离那一步只差一格。（迈克尔·卡恩斯） 书里的立场是：如果社会或者某个领域里的相关方能够就这些事达成一致，很多情况下存在把它们编码进算法的办法。达成一致这件事，算法帮不上忙。 ## “每个人都该学计算机”这句话，他不同意 访谈里有一段真实的分歧，值得单独拎出来。 Lex 的观点是，计算机科学正在变成一种基础能力，学哲学的人应该去学编程，这样才能抓到数据、分析人们在 Twitter 上想什么，然后得出关于人生意义的结论。二十、三十年后，计算机科学家会回到高德纳（Donald Knuth）那种纯理论的位置，而所有其他领域的人都在做今天属于计算机科学的事。 卡恩斯不完全反对这个趋势，但他把责任的方向调转了。 > 计算机科学对社会的影响在过去十到二十年里是指数级放大的。以前我们自己在小圈子里折腾，影响没那么大，计算机科学家不需要做世界公民。那个时代需要非常快地结束。我不是说每个人都要做，但正确的方式，是计算机科学家更多地走进世界，而不是指望全世界都变成计算机科学家。（迈克尔·卡恩斯） 他顺带提了一个更大胆的猜想：五十年后可能不再有计算机系，因为这门学科会像电一样弥漫在所有领域里，那时候“计算机系”听起来会像“电力系”一样奇怪。当然高德纳式的理论内核会一直存在，但一个学科因为过于成功而被边缘化，这个路径并不荒谬。 这场分歧背后还有一个共识：这本书能在 2019 年写出来，本身就说明时代变了。十年前他不会动这个念头，因为公众对算法和机器学习的认知度太低，你得先写一本给普通人解释这些东西的书，才轮得到谈伦理。现在很多人完全没有技术训练，但对算法已经知道得足够多，可以直接进入这些细微的地方。 ## 没有人问过普通人怎么想 访谈里有一段是卡恩斯主动提到的，很关键，因为它指出了整个领域的一个盲点。 目前算法公平文献里的定义，全部是“接收下来的智慧”。某个像他这样的研究者坐在那里想：我认为这里有一个公平的技术定义，人们应该会想要它。也许它不是唯一的，不是最好的，也不是最终的。 > 但我们其实不知道，从主观的角度看，普通人真正认为什么算公平。就我所知，几乎没有大规模的文献去把普通人关于公平的直觉系统地收集起来。（迈克尔·卡恩斯） 他的团队刚开始做一点这方面的工作，用人类受试者实验的方式。给被试看刑事累犯预测场景里的一对个体，问他们：从公平的角度看，这两个人应该被同样对待吗。 他顺手把这个盲点推到了另一个热门话题上。所有人都在说深度学习不可解释，稀疏的整数系数线性模型更可解释。但几乎没有人真的把模型摆到普通人面前，问他们：你看得懂这个模型在干什么吗。 这里有个反差。计算机科学在解释世界这件事上一向自信，甚至有点帝国主义：物理学家在上一代是这个样子，计算机科学家则不认为有任何科学题目是自己不能碰的，会大摇大摆走进别人耕耘了几十年的地盘。 > 我们通常会在最初那段时间里把自己搞得很尴尬。强化学习就是好例子，控制理论家看着我们说，你们在重新发明我们四十年代就知道的东西，我完全同情他们。但最终计算机科学家在这个领域做出了实质贡献，尽管头十年确实尴尬。所以要去做心理学和人类受试者研究，就该预期先尴尬十年，然后希望结局能像其他几个领域一样好。（迈克尔·卡恩斯） ## 如果把 Facebook 交给他六个月 Lex 问他，扎克伯格打电话来说要休假，请你代管 Facebook 半年，你会怎么做。 他的第一反应是谢谢不用。理由很干脆：要植入他设想的那些有限改动，并不需要坐上 CEO 的位置。 他给出的具体方案是滑块。既然这些平台已经用机器学习把你和每一块内容放进了同一个度量空间，它们就同时知道什么会让你最开心，也知道什么会让你最不舒服，两者用的是同一个模型。 > 那就给愿意用的人一个滑块，说清楚：有多少内容你希望是离你的兴趣远一点的、你可能不同意的。这几乎就是一个探索按钮。（迈克尔·卡恩斯） 他没有把话说得太满。优化参与度把行业带到了今天这一步，改做别的事情，短期内在收入和利润上确实会有代价。他也承认，如果自己在这些公司工作，优化参与度大概也会显得是世界上最自然的选择，因为让用户沉浸在平台里、觉得有用有趣，本身也是为用户好。 但“这事不归我们管”这个说法，在他这里站不住。这些公司由机器学习驱动，参与度优化也是机器学习驱动的，加上极大规模的 A/B 实验，调一点界面、调一点点击率模型的特征。既然你知道怎么优化一个目标，这个解几乎定义上也告诉你怎么不优化它。 真正的困难在于目标的可测量性。参与度可以测。减少对立、或者提升一个人一生的智识成长，很难测。他承认这一点，但还是认为值得试。 > 我们有点像处在一个坏的均衡里。这些系统在帮我们每个人短视地、自私地优化自己。任何一个人凭什么要在一个此刻看到令我反感的内容的信息流里待着。但也许正因为所有人都让平台短视地为自己优化，我们作为一个社会抵达了一个大家都不满意的集体结果。（迈克尔·卡恩斯） 他还替这些公司说了句公道话。Facebook 和它的前身 Friendster 刚出来的时候，很多人觉得莫名其妙，问这玩意有什么用、谁会想玩。十年前没人预见到这类平台会影响选举结果、会极化政治讨论。现在这些公司受到的审视完全正当，但回头指责他们当初就该预见到，有点过于苛刻。这些结果是我们所有人一起学到的，公司也在其中。 ## 波士顿公园的那个下午 访谈最后，Lex 问有没有哪一天让他真正快乐、被深刻改变。 卡恩斯换了个问法来回答，讲了他人生里的一个分水岭。 他从本科直接读博，这在学术家庭里不算特别，他父亲是教授，叔叔是教授，两个祖父都是教授，专业遍布各处，其中就有哲学。他在哈佛跟莱斯·瓦利安特，那段经历很好。但第一年他过得很不开心。 原因说起来有点朴素。伯克利是个巨大的学校，他本科虽然学了不少数学和计算机，但也修历史、修艺术史，从英语专业起步，朋友干什么的都有。哈佛小得多，当时的计算机系比现在更小，他忽然发现自己从一个很大的世界掉进了一个高度专业化的世界，所有课都是计算机课，身边的人全是学数学和计算机的。 那一年他反复想，要不要读下去。他盘算过拿个硕士就撤，回湾区，那个年代在当时的几家大科技公司找份收入不错的工作并不难。 然后是一个晚春的日子，他坐在波士顿公园里，认真想自己到底要干什么。 > 我意识到，你现在确实过得不怎么样，确实感觉路越走越窄。但你到这里来是为了做研究，是为了做出原创的东西，是为了给自己挣出一条能自己决定想什么、有很大独立性的职业道路。而那时候我根本还没有真正做过研究，试过一些题目，没什么成功。但我知道，我还没有真正去试那件我明明是为了它才来的事。（迈克尔·卡恩斯） 他决定撑过那个夏天。一年之后，他开始做出研究了，做得顺利，也有意思，事情彻底变了。他把这个转变描述成每个博士生某个时刻都要经历的那道坎：从一个学习前人做过什么的学生，变成做自己东西的研究者，并且摸清自己的强项和弱项在哪里。 Lex 补了一句：也是接受这段旅程本身的痛苦。卡恩斯说，对，就是这样。那个下午他对自己说的是，我要撑下去，我要在这儿多待一阵。 ## 可以直接用起来的几件事 这期访谈信息密度很高，但落到行动上，有几条是可以马上做的。 - 如果你在做任何涉及人的预测模型，先做一次审计，别急着优化。把假阳性率、假阴性率按你能想到的每一个敏感属性分组算一遍，再按两两组合、三三组合算一遍。卡恩斯说的公平杰利蝾螈，几乎一定会在某个你没看过的交叉子群体里出现。 - 在项目文档里画一条帕累托曲线，横轴误差，纵轴不公平度，把公平约束强度作为参数扫一遍。这张图比任何一段文字论述都更适合拿给非技术的决策者看，因为它把“选哪个点”这个责任清晰地交回给了应该负责的人。 - 检查你对匿名化的依赖。删掉姓名列、粗化年龄、截断邮编，这些操作在数据集可以被联结的世界里提供不了任何保证。如果隐私是硬需求，去查差分隐私的现成实现，主流机器学习算法基本都有对应版本。 - 不要替用户决定他们想要什么样的信息流。如果你的系统有能力计算用户喜欢什么，它同时就有能力计算用户不喜欢什么，把它做成一个用户可见的开关，成本远低于你想象。 - 如果你是研究者，去做一点行为学实验。把模型、把公平场景摆到普通人面前，问他们怎么想。这个领域最缺的不是新定义，是普通人直觉的经验数据。 - 如果你是计算机背景出身，把一部分精力花在走出圈子这件事上。这个学科对社会的影响力已经大到不允许从业者只做技术公民，而这个责任主要在这一边，不在指望所有人来学编程的那一边。