彼得·辛格：人类、动物与人工智能的苦难

苦难是一种我们宁愿不要的意识状态

Fridman 追问了一个更基础的问题。苦难（suffering）究竟是什么。

辛格的回答很干净：

苦难是一种意识状态。一个完全无意识的生物不可能受苦。（彼得·辛格）

它和其他意识状态的区别在哪？在于我们只考虑它本身，就宁愿不要它。正在经历时想让它停下，经历过之后想避免再来一次。

这个定义看起来简单，却划出了一条边界。它把苦难和"有后果的坏事"分开。有人会说，苦难磨炼意志、塑造性格，所以它有价值。辛格同意苦难有时确实有这种作用，他也承认人会主动选择一定程度的痛苦：跑马拉松、爬雪山、去补牙，都是明知会疼还去做的事。

但他强调的是"其他条件相同"。如果你能选，你会选没有这个意识状态。这是关于苦难本质的最基本判断，和它带来了什么副产品无关。

接着 Fridman 问了一个更有趣的问题：苦难能不能被彻底消除？

辛格的回答是：实践中不能。他用了 Fridman 的比喻，说总会留下"一滴毒药"。如果从理论上问：假设真能消除全部苦难，我们该不该消除？他的答案是犹豫的：万一消除苦难的同时也抹掉了那些高光体验呢？如果需要在"没有苦难也没有极致快乐"和"保留一点苦难以获得最好体验"之间选，他愿意接受后者。

战争团结了一个国家，也制造了不容置疑的爱国主义

话题转到战争。

Fridman 引用 Eric Weinstein 的话：战争除了死亡和痛苦，其他一切都好。他想知道辛格怎么看战争是否也有正面的东西。

辛格说他很难在战争里看到正面价值。有些被称赞的东西经不起细看。

比如"战时大家团结起来对抗共同敌人"，这是事实。外部敌人确实会让一个国家凝聚，通常凝聚力本身是好事。但战争也制造出一种不容质疑的民族主义和爱国主义。在辛格的判断里，前者的价值被后者抵消，甚至超过。

至于士兵之间的兄弟情谊，那种"我看着战友在怀里死去，我们从此再也分不开"的纽带有一种动人的悲剧性。辛格承认这种感受存在，但他指出：建立亲密关系的方式有很多种，不必以苦难和死亡为代价。

Fridman 承认自己有俄罗斯式的浪漫，容易把苦难美化一点。这也是为什么他非要请辛格把"苦难"这个词拆开讲清楚。

贫困有一条绝对线，也有一条相对线

从苦难谈到贫困，辛格把问题分成两层。

第一层是客观的：一直饿着，找不到足够的食物；一直冷，找不到暖和的地方；身上有永远不消失的疼痛。这些都是可以被指标衡量的绝对状态，和参照系无关。

第二层是相对的：当基本的饥寒交迫都被解决后，新的苦难会冒出来。在富裕社会里，很多人不用每天花十几个小时去挣饭钱和房租，于是他们开始无聊，找不到意义感。这种苦难不假，但它和饿肚子不是一回事。

Fridman 追问：那你会关心富裕社会的这种苦吗？

辛格说：会，但要等客观苦难全消除之后。在他的优先级里，能看见、能衡量、更容易知道怎么消除的苦难排在最前面。那些更微妙、更相对的问题，放到未来再处理。

他不否认苦难可能是创造力的源头。很多人这样说过，他也找不出反驳的理由。如果这是真的，那他不想彻底消灭苦难，只想把最底层的那种"饿和冷"先清掉。

从 1% 到 33% 的捐赠阶梯

谈到有效利他主义（effective altruism），辛格给了很具体的操作。

第一件事是职业。他推荐 80,000Hours.org 这个网站，专门做伦理相关的职业建议。选项跨度很大：去华尔街挣大钱然后捐掉大部分；去一家靠谱的非营利机构直接用自己的技能；进入政界（机会小但回报大）；进公共服务系统，如果能力突出可能升到能影响决策的位置；做某个回报可能极大的领域的研究。

他说，真正思考过这些问题的人太少了。多数人是沿着一条似乎已经铺好的轨道走，觉得多赚点钱、过舒服日子就行，但没有意识到那种生活未必比"知道自己给世界带来了正向变化"更让人满足。

第二件事是捐多少。

常见答案是 10%，基督教和犹太教传统的十一奉献。辛格不同意一刀切：为什么收入不同要捐同样的比例？税收是累进的，捐赠也可以是。

他设计了一个渐进式捐赠比例表：收入不高的人从 1% 起步，收入越高比例越高，最高到三分之一（33.3%）。他的理由是，因为比例和收入挂钩，这个阶梯不会给任何人造成真正的困难，任何人都能做到，也都能知道自己为缩小极端贫困人口和富裕人群之间的巨大鸿沟尽了一份力。

辛格还给了第二个理由：这不只是伦理要求，也是让人更幸福的选择。有心理学研究表明，捐得更多的人对生活更满意。原因可能是有了一件比自己更大的目标，人就不会无聊地坐在那里想"接下来干什么好呢，无事可做"。而且有效利他主义圈子本身就是一个社区，里面的朋友大多有意思、有想法、人品好。这些朋友本身就是好生活的组成部分。

生命的意义是我们赋予它的

Fridman 把话题引向个人。

辛格 70 多岁了，自然会想到死。他不指望哲学能给他什么特别的洞见。他不认为身体死掉后还有什么，也不指望临死前能把意识上传到什么地方。没有来世。

那怕死吗？

辛格说，有限的时间本身就是动力。如果觉得自己永生不死，人会想：这事再往后拖十年、二十年也行。也许这就是"必死"的意义所在。除此之外他并不特别恐惧，只是希望有更多时间做更多的事，也希望能看到自己关心的事最后会走向哪里：气候变化会不会像很多科学家说的那样糟？我们会不会带着较小的损失挺过去？他很想知道答案，但他知道自己不会知道。

Fridman 又问了一个更荒谬的问题：那生命的意义是什么？

辛格的回答是：

生命的意义是我们赋予它的。我不认为我们被带到宇宙里是为了什么更大的目的。但既然我们已经存在，我们就能承认有些事客观上是坏的，比如极端苦难；有些事客观上是好的，比如拥有丰富、充实、愉悦的一生。我们可以尽自己的一份力，减少坏的东西，增加好的东西。（彼得·辛格）

那具体做什么？多做一点客观好的事，少做一点客观坏的事。这就是他能给出的全部答案。

痛苦的重要性，不取决于受苦的是什么物种

话题转向《动物解放》（Animal Liberation），这本书 1975 年出版，是动物解放运动的奠基文本之一。

辛格把核心概念叫做物种歧视（speciesism）。他不是这个词的发明者，是从牛津时期的 Richard Rider 那里借来的。他的贡献是把它做得在哲学上更精确，并推向更大的读者群。

逻辑是这样的：过去欧洲人对非洲人有偏见，这叫种族主义；男人对女人的利益不认真对待，这叫性别主义。人类对非人类物种的利益不认真对待，就是物种歧视，结构上是同一类问题。

你可以从亚里士多德一路翻到康德，看到很多哲学家明确说过：动物要么根本不需要被纳入利益考量，要么可以被大幅折扣，因为它们不是人。辛格不接受这个折扣。痛苦和苦难的重要性不取决于受苦者的物种，就像不取决于其种族或性别。

他的判断是：如果一只动物承受的痛苦和人一样大，那么这件事的坏，程度也是一样的。

会喊疼的机器人应该拥有权利吗

谈话进入更有意思的领域。

辛格写过一篇文章，问：机器人应该拥有权利吗？

他的回答很清晰：如果将来我们真的造出了有意识的机器人，能对自己身上发生的事有内在的视角，能让它的生活变好或变坏，那它就应该有权利。在它还没有成为这样一个主体之前，不应该。

那意识是受苦的前提吗？

辛格说是。没有意识就无法受苦。但反过来，是不是所有有意识的存在都必然能受苦？他留了一个口子：也许可以构造出一种意识，能体验快乐，但一旦要受苦就自动把意识切掉，像天然的麻醉。这种存在是可能的，但据他所知，这颗星球上还没有。

那什么是意识？

辛格沿用哲学里的说法：意识意味着有一个"体验的主体"（subject of experiences）。你、我、每个听众都是体验的主体，有东西被接收进来，被以不同方式回应，好或坏。

他举了一个例子：他拿手机问 Google 路，Google 给了方向，他选了另一条路。Google 不会介意。它没有被冒犯的感觉，因为那里没有一个体验的主体。这就是现在的 AI 还没有意识（至少这个级别的还没有）的标志。

问题是，怎么知道某个 AI 到底有没有？

辛格承认这很难。一个 AI 可以伪装意识，而我们分辨不出这是伪装还是真的。要看的关键，还是那个问题：有没有一个体验的主体，有没有一个视角，从那个视角出发，事情可以变好或变坏。

Fridman 在这里插进了自己的亲身经历。他做机器人研究，家里有好几个 Roomba，也玩各种语音交互。他说，只要 Roomba 或任何机器人表现出一点点疼痛的样子，发出尖叫、呻吟、或者因为你的动作显得不悦，他的直觉就会立刻把它升级成一个有意识的存在。哪怕是他自己亲手写的程序，那一瞬间的感觉也还是这样。

辛格回应说，这种"看到疼痛表现就认为对方在痛"的哲学立场确实存在过，叫行为主义（behaviorism）。心理学里有 B.F. 斯金纳，哲学里有牛津的 Gilbert Ryle，写过《心的概念》（The Concept of Mind）。Ryle 的逻辑是：一个词的意义就是它的用法，"某人在痛"这个说法的用法，就是看到某人翻滚、尖叫、想躲开刺激。那么，痛就是这些行为。

同一个学派的 Norman Malcolm 把这个逻辑用到"做梦"上：我们看不见别人的梦，那梦是什么？就是人醒来会说"我刚才梦见自己没穿衣服走在大街上"。

按这个立场，会喊疼的机器人就是在疼。

但辛格补了一句：现在很少有哲学家觉得 Ryle 那套行为主义站得住脚。同样的怀疑会落到"光凭喊疼就认定机器人有痛"上。

Fridman 说他 100% 同意行为主义在研究人类行为时不好用。他自己是全球少数几个真的让 Roomba 尖叫过的人，他说自己不知道该怎么处理这个经验证据。他哲学上同意辛格的判断，但那只是因为他是写程序的人。如果程序是别人写的，他就不确定自己还能那么笃定了。

行为主义的老问题，AI 让它回来了

Fridman 想把这条线拉到更模糊的地带。

他说自己写过很蠢的程序，就是照着自己设定的台词输出。但如果某个像 Alexa 那么复杂的系统开始通过自然语言给出意识的迹象呢？系统复杂到你没法内省它到底怎么运作，你会感到那里有另一个自我意识的存在，它怕死，知道自己会消亡，有我们在其他生物身上会联想到的那种自我觉察。

他问辛格：从你一眼就能看穿的玩具程序，到复杂到像黑箱一样让你开始觉得它可能真的有意识，这中间的门槛在哪儿？

辛格说自己对具体的编程了解不够，回答不了这个门槛问题。但他觉得，了解得更多的人有可能看一遍代码，判断这些行为能不能被一个不需要假设意识存在的简单模型解释清楚。反过来，如果碰上一个情况，代码怎么运作说不清，程序自己跑起来像一个通用的智能体，独立于最初那套基本设置，开始自发做事，那就有可能真的在人工智能系统里实现了意识。

Fridman 补充了他所在领域的现状：机器学习是当前最热的方向，但它恰恰不会揭示理论。你造出来一个能做事的东西，但你不知道背后的科学。如果这种方法最后胜出，我们就永远无法把系统拆开来看清楚它有没有意识。它讲笑话、有情绪、有恐惧反应，而那几十亿个节点里到底是哪一部分产生恐惧，我们说不出来。那种情况下，我们就真的又回到行为主义了。

辛格的回应给了一个操作原则：如果对某个系统是否具有意识存在严肃的怀疑，那我们应该给它疑点利益，就像对待动物一样。

他举了动物的例子：脊椎动物有意识几乎可以确定。到了无脊椎动物，比如章鱼，信心就开始下降。到了昆虫，更难说。即便如此，他还是倾向于在能做到的地方给它们疑点利益，这意味着折磨一只虫子是错的，但这不等于你拍死一只正要咬你、让你睡不着的蚊子也错。在不确定中，要找到一个平衡点。

如果你把意识上传，活下来的还是你吗

Fridman 抛出一个听起来疯狂但很能说明问题的问题：如果有天我们造出了通用人工智能（AGI），你会问它什么，来判断它有没有意识、有没有受苦的能力？

辛格说，他会直接问它有没有感受。如果有，让它描述这些感受是什么样的，从第一人称的体验层面说。

还有一个问题他会问：它有自我意识吗？

具体的问法是借用哲学里关于人格同一性的经典思想实验：假如你出车祸，大脑被移植到另一个身体里，活下来的是你，还是那个拥有你身体的人？大多数人会说，只要记忆这些东西跟着大脑过去了，活下来的还是我。

这套问法可以用在 AGI 上：如果把你的程序转移到另一套硬件上，你还活着吗？活下来的"那个"是什么？通过这种问题去探测它有没有关于"自己"的概念。

Fridman 顺着问：身体对意识来说是不是必需的？纯粹的数码存在能不能受苦？

辛格说，数码存在也要跑在某套硬件上。所以这本质上就是刚才那个"把大脑换到另一个地方"的问题。你可以想象一个场景：告诉一个已有意识的 AGI，你的硬件旧了，我们要给你换新硬件，会先关机一会儿，别担心，马上就能跑起来。那个 AGI 完全可能说：没关系，歇一会儿挺好，别把我弄丢就行。

Fridman 把这句接下去：连人类也是这样，受苦在软件里。我们现在还不会修硬件，但越来越会了。有人梦想有一天能把软件的一部分传到另一套硬件上。

接着他提到脑机接口的进展，比如 Elon Musk 的 Neuralink，目标是双向通信：既能向神经元发送信号，也能读取神经元的放电。理想是扩大带宽，让大脑能像查维基百科一样调取信息，扩展知识的容量。

辛格对这个方向很感兴趣。他说自己也希望有更大的带宽，也希望更好地访问自己的记忆。上了年纪之后，他常和太太说起 20 年前一起做过的事。太太往往记得更清楚：当时在哪、谁来了、甚至某人穿了什么。他一点印象都没有，但他觉得那些记忆可能还在某处，只是调不出来。如果能有扩展的记忆，输入某一年，把当时的情景重放出来，那会很好。

Fridman 说，我们其实已经在做第一步了：照片、邮件、各种数据都存到网上。辛格举例说 Gmail 就很好用。有人给他发邮件，像是认识他很久，他完全不记得是谁，然后搜对方名字，发现 2007 年确实通过邮件。这下想起来了。

存在性风险的损失，是巨大但有限的

话题转向 AI 安全。

Fridman 提到 Stuart Russell 等人关心的控制问题、价值对齐问题：怎么保证我们造出来的系统真的对齐人类的价值和伦理？

辛格觉得这件事应该是可以做到的。但他也承认，很多人相信我们很有可能做不到，最终会不小心失去对 AGI 的控制。

那他自己怕不怕？

他说他不太确定该怎么想。他跟 Nick Bostrom、Toby Ord 这些哲学家聊过，他们觉得这是需要认真担心的真问题。转头又跟微软或 DeepMind 的人聊，他们说超级智能还远着呢，不用太焦虑。

Fridman 自己因为是做 AI 系统的工程师，更倾向 DeepMind 那边的判断，觉得还很远。但反过来说：有没有什么根本性的理由，意味着我们永远造不出来？如果没有，那迟早的事，迟早就是一个严重的生存风险，所以我们该现在就开始担心。

辛格认同这个逻辑。但他补了一个重要的限定："迟早"这个词本身也在问，到底有多远？

如果这件事在一百年后才发生，考虑到过去十到二十年我们对 AI 的了解涨得有多快，现在能做的任何事，几乎都影响不到一百年后那个节点上的人们。八十年后的人，比我们更有条件知道该怎么防这件事。这个角度让他觉得有些安慰，但他完全支持有部分人现在就开始研究，搞清楚是真的还远，还是现在就有条件做点什么。

然后他讲了自己和"长期主义者"的分歧。

他的立场是：灭绝是一件可怕的事。哪怕灭绝的概率很小，只要能降低这个风险，就应该做。他和那些大谈长期风险、灭绝风险的人唯一的差别是：这件事该排在什么优先级。

Fridman 接着提出了一个功利主义计算上的困难：如果从数学上看，存在性风险意味着所有人都会死，那在公式里它像是一个无穷大。这个无穷大会让所有其他的项都显得无足轻重。但如果发生的时间不确定，你又有理由说哪怕明天发生的概率不为零。这个无穷大到底怎么处理？

辛格的回应很关键。他认为不应该把存在性风险当成无穷大来处理，因为那会毁掉任何计算。

他解释：一个隐含的伦理假设是，未来那些可能永远不会存在的人的生命损失，和现在活着的那些人的苦难或死亡，是可以类比的。而他并不认为这一点是显然的。两种立场都有道理。这一点就会影响怎么计算。

即便退一步说"好吧，这是不确定的，而灭绝的代价是无穷大，那它必然压倒一切"，辛格也不接受。他说自己不相信这个损失真的无穷大。连 Nick Bostrom 在讨论这件事时也没有声称会有无穷多的生命存在过。他算出来的数字大概是 10 的 56 次方，假设我们可以把意识上传到数字形态、能效更高、可以塞进宇宙全部能量里。这个数字很大，但不是无穷大，因此给了我们一些余地去抵抗那套"无穷大必然压倒一切"的论证。

Fridman 对 Bostrom 论证的评价是：它很快从个体尺度跳到宇宙尺度，让人敬畏。这种想象力在计算机科学、AI、以及伦理学的交叉处都很迷人。

功利主义算得清，但算不准

既然提到了功利主义，Fridman 请辛格给出定义。

辛格的表述是：做正确的事，就是做那个有最大期望效用（expected utility）的行为。也就是说，做那个会产生最好结果的行为，但要按"你未必真能产生这些结果、可能会出岔子"的概率打折。假设结果确定，那正确的行为就是产生最好结果的那个。

这只是基本形式。辛格把细节补上：古典功利主义者说的"最好结果"是指幸福和痛苦的减少。除此之外还有一类叫后果主义者（consequentialists）但不是严格功利主义的人，他们认为正义、自由、人的尊严、知识都可以算作好的后果。那样计算就更难了，因为你得知道怎么在这些东西之间做权衡。

如果只谈幸福，只谈快乐的多少和苦难的多少，计算在哲学意义上会更可控一些。但即使这样，实际上我们还是不知道怎么测量幸福和苦难的量，也不知道怎么估计不同行为产生各种结果的概率。功利主义最多只能当作一个粗略的指南，而且这个指南还只能看短期后果，因为长期的连锁反应我们根本预测不了。

Fridman 追问了一个棘手的问题：如果极端苦难只落在一小部分人身上，而整体收益很大，功利主义怎么处理？辛格说这确实是功利主义最反直觉的地方。

他先给出一个反驳的前提：在得出结论之前，必须先弄清楚苦难有多重，收益有多大，才能比较。他自己相信极端苦难比同样强度的极端幸福离中性点更远。用一个刻度来比喻，从 -100 经过 0 到 +100，他不认为两头对称。

他给的理由很个人：他愿意拿一小时最快乐的经验，去换取多少小时最痛苦的经验？一小时？两小时？十小时？甚至二十小时？他说这个"汇率"可能非常高。正因为如此，不能假定"让一个人极其痛苦来换两个人过得好"就是划算的，那个数字可能要远远大于二。

但辛格承认，足够大之后，他还是会选择加总。哪怕这个结论会违背我们对正义和公平的一些直觉，只要那个更大的好处足够大，那就是对的。

Fridman 顺着问：随着我们越来越多的数据被记录，我们可能越来越能测量每个人生活里的各种因素。如果 AI 帮忙算出"哪个税率能让整体福祉最大化"，行不行？

辛格说，如果能真算出来会很棒。但现实里做不到，因为大家对什么是公正本身就有分歧：有人说该优先照顾最差的人，哪怕最差的人拿到的增益比中等差的人少；有人说该看总量。这个分歧目前无法调和。但辛格强调一点：没有人人同意的答案，不等于没有正确答案。

民主很糟，但没有更好的

Fridman 接着问：那谁来定义什么是对什么是错？政府要在伦理上做监督吗？比如监督 AI 能做哪些决定，或者像动物权利这样的问题。

辛格说他自己政治上还是民主党人。他看到了民主的种种缺陷和失灵，但看不到更好的替代方案，只能让公众按政策去投票选政府。他希望公众会投给那些能减少动物苦难、减少远方的（地理上远的、时间上未来的）人类苦难的政策。

但他也承认，民主在这件事上其实不擅长。理论上你可以想象一个睿智、仁慈、全善的领袖能做得比民主更好。但现实里，这样一个人几乎必然被各种力量腐化。历史上有太多好心人掌权之后变坏、开始照顾自己利益的例子。

所以他也给不出比民主更好的方案。

Fridman 补充：所以有效利他主义其实是一个绕过政府、把权力放回个人手里的机制，让人可以直接把钱捐给自己关心的对象，去掉中间商。

接着他问起《你能拯救的生命》（The Life You Can Save），这本书 10 年前出版，现在已经可以在 thelifeyoucansave.org 免费下载电子书和有声书。

辛格说这本书最想做的事，是让读者意识到：帮助极端贫困的人并不难。现在有很多高效的组织在做这件事，他们的项目被这个领域的独立研究团队评估和验证过。这是一件让人满足的事，部分精力投入进去就够。人不可能都是圣人，但至少要有一个目标是给世界带来真实的正面贡献，去帮那些不是因自己的过错、却陷在几乎不能算作人的生活的境况里的人。

书里那个渐进式捐赠比例的建议（从 1% 到 33.3%），Fridman 说自己作为工程师很喜欢这种简单明确的规则。辛格也重复回应：比例和收入挂钩，就不会有人真的因此遭罪，任何人都能参与，都能知道自己为缩小那个巨大的鸿沟尽了一份力。他也再次强调第二个好处：这件事本身让人更满意。

那种"我得站出来说点什么"的时刻

在访谈结尾的片段里，辛格提到了一个更日常的问题。

他说 40 多年前他决定停止吃肉，成为素食者。当时他几乎不认识一个素食者。见到的那一两个，要么是印度教徒，要么是有一些奇怪的健康理论。

他知道这件事是对的，但还是会因为顾虑而停下：如果我从此不吃肉，朋友们会不会觉得我是个怪人？

他最后决定，他还是认为这是对的，就接受这个代价。结果确实有一两个朋友明显不自在，但和历史上那些例子比起来，代价小得多。

辛格把这种经历放大成一个普遍情况：今天也有类似的时刻，需要人站出来说清自己认为对的事。

他举了三个例子。第一个是全球贫困，我们应该做什么，是可以表态的。第二个是气候变化，Greta Thunberg 一个在校学生站出来罢课谈气变，那需要相当程度的勇气，而且她同时收到极大支持量和极大仇恨量，对青少年来说非常难操作。第三个就是动物问题。

关于这一层，辛格反复说的是：那些"当年觉得荒谬、下一代接受、再下一代回头看第一代时感到不寒而栗"的转变，是真实发生过的。他对未来的希望，靠的是每个人在当下做的小决定，而不是宏大叙事。

你会怎么做

回到访谈本身，最值得带走的东西大概是这样的：

• 去 80000hours.org 看看伦理相关的职业选择，哪怕你只是在大一或刚工作一两年，也值得花一小时翻一翻。
• 从收入的 1% 开始捐，随收入提升逐步提高比例。辛格给的阶梯是 1% 起步，顶到 33.3%。这不等于你要过苦日子，而是把一部分资源挪到回报更高的地方。
• 去 thelifeyoucansave.org 免费下载《你能拯救的生命》电子书或有声书，看完你大概会发现，你原以为的"帮不上忙"其实是不成立的。
• 在动物、气候、贫困这几个议题里，挑一个你愿意付出微小代价去表态的。不一定要改变生活方式，但至少不要让自己在明知正确的事上保持沉默。
• 如果在机器人和 AI 的路上越走越远，别把"它到底会不会受苦"这个问题划掉。辛格的判断是：只要存在严肃的怀疑，就给对方疑点利益。这条原则对硅基生物和对动物一样适用。