# 本·格尔策：通用人工智能 > 讨论通往通用人工智能的不同路径、OpenCog 等工程实践，以及 AGI 的安全与风险问题。 - 原标题：#103 – Ben Goertzel: Artificial General Intelligence - 期数：第 103 期 - 发布日期：2020-06-22 - 嘉宾 / 主题：本·格尔策：通用人工智能 - 网页版：https://lexfridman-cn.pages.dev/ep/ben-goertzel/ - 官方页面：https://lexfridman.com/ben-goertzel/ - 精读字数：约 10970 字（阅读约 24 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 2020年6月，莱克斯·弗利德曼（Lex Fridman）的播客里坐着一个戴奇怪帽子的男人。他叫本·格尔策（Ben Goertzel），是通用人工智能（AGI）这个术语的早期推广者，也是索菲亚（Sophia）机器人背后的首席科学家。整场对话持续了四个多小时，从下午聊到深夜，话题从陀思妥耶夫斯基一路跳到区块链、线粒体、死亡的意义，最后落在了一个简单的问题上：如果人类真的造出了超级智能，第一句话该问它什么。 这场访谈的信息密度极高。四个小时里，真正有意思的地方在于格尔策提出问题的方式，答案本身反倒次要。一个人研究AGI三十年，从数学、认知科学、机器人一路踩到加密货币，最后得出的结论却出奇地朴素：让机器学会慈悲，比让机器学会下棋更重要。 ## 一个三岁小孩对《星际迷航》的不满 格尔策第一次对人工智能产生兴趣，源头是电视剧《星际迷航》里一个让他生气的桥段。那一集里，斯波克和柯克用逻辑悖论让一个环游宇宙的机器人当机了。 > 我当时就想，这完全说不通。它已经绕着宇宙飞了那么久，聪明得很，结果被一个简单的逻辑悖论就搞死机了？如果人类大脑能绕过这个悖论，为什么它不行？ > （本·格尔策） 三岁的格尔策把这件事告到了他父亲那里。父亲没有正面回答，但显然记住了这个细节。几年后，父亲在罗格斯大学用打孔卡写Fortran程序，格尔策跟着学会了线性回归。祖父是物理化学家，和量子力学早期的一批人物共事过，七岁那年给了他一本量子力学教材。他翻到波函数部分，看不懂，转头发现祖父其实也没完全搞明白，但祖父给了他一个更有用的东西：一位懂这个的教授的名字。 这种家庭教育可遇不可求。真正把格尔策从科幻迷推向研究者的，是道格拉斯·侯世达（Douglas Hofstadter）的《哥德尔、埃舍尔、巴赫》。他读那本书的时候十二岁，一天读了十六个小时，读完又重读了一遍。 > 在那之前，我看人工智能是从科幻迷的角度看的。我甚至想过，也许要花很久才能造出超级智能和永生技术，那我应该想办法造一艘接近光速的飞船，飞得很远，再回来的时候地球已经过了一百万年，技术更先进了。读完那本书我才意识到，不用等，不用飞走，这就是编程。你可以直接动手做。 > （本·格尔策） 这个转变很关键。科幻迷和研究者之间的分界线，往往就是这一件事：你相信这件事可以靠当下的工具一步步逼近，还是只能寄托于遥远的未来。 ## AGI这个词是怎么被造出来的 2000年前后，格尔策在编一本书，暂定名是《真正的AI》。他给一批志同道合的人发邮件约稿，其中包括肖恩·莱格（Shane Legg，后来成为DeepMind联合创始人）、彼得·沃斯（Peter Voss）、马库斯·胡特（Marcus Hutter），还有几位俄罗斯研究者。 书名一直没定下来。有人提议叫“AGI”，有人提议叫“GAI”，因为中文里语序是“通用人工智能”。最后大家选了AGI，理由之一是心理学里有个“G因子”，指的就是一般智力，学术界对这个概念不陌生。 > 后来书出版之后，有个叫马克·古德贝（Mark Gubrud）的人走过来跟我说，他1997年就发表过用这个术语的文章。所以我现在就等着某个俄罗斯人跳出来说，他们1953年就写过了。这个术语本身没什么创新性，就是那种回头看很明显的词。 > （本·格尔策） 格尔策自己并不太喜欢这个术语。他觉得“人工”这个词有误导性，仿佛在暗示智能就是一种工具。但他也承认，大多数做技术的人一听就懂，这个名字完成了它的社会学功能。 “它就像KFC，”他说，“我们大概要一直用下去，直到AGI系统接管世界之后给自己改名。” ## AI的历史被美国的经费曲线绑架了 AI的“寒冬”和“夏天”这个话题，格尔策给了一个不太好听但很实在的观察：如果你去看人工智能领域从1950年代开始的论文发表记录，你会发现增长一直很平稳，没有大起大落。所谓寒冬和夏天，主要是美国军方经费的起伏，而美国军方恰好是那个年代AI研究的主要金主。 > 在德国、英国、日本、俄罗斯，研究工作一直在进行。他们经费比美国少，但很多基础性的想法是在那边提出来的。只不过那时候更偏理论，而美国擅长把理论论文变成能跑的系统。 > （本·格尔策） 他举了个例子：1980年代，德国的迪特里希·图纳（Dietrich Turner）已经在高速公路上测试自动驾驶汽车了，比汽车工业准备好接受这项技术早了很多年。这条线的推进和美国军方的经费曲线没太大关系。 1989年格尔策拿到数学博士学位的时候，他对学术界的AI研究兴趣不大。那时候主流是做基于规则的专家系统和产生式系统，他觉得这个方向根本就是错的。 > 我对数理逻辑没有意见，用逻辑做AI的认知引擎完全可以。问题是你怎么可能把思考所需的知识一条条手动敲进去？系统必须能自己从经验里学。那时候学术界对“从经验中学习”没什么兴趣。 > （本·格尔策） 但那些“又奇怪又孤立”的人其实一直存在。约翰·安德烈（John Andreae）在1980年代做过一个叫PURPOSE的强化学习系统，用类似马尔可夫决策过程的方法，让系统只靠输入进来的比特流学习如何最大化奖励。安德烈后来指导了约翰·克利里（John Cleary），克利里又和伊恩·维滕（Ian Witten）一起在怀卡托大学做出了Weka，第一个开源机器学习工具包。而肖恩·莱格，正是沿着这条线走下来的。 怀卡托那段时间的经费来源很有意思：新西兰政府拨了一笔款，用途是用机器学习预测奶牛的月经周期。“在美国，所有AI拨款都是关于怎么杀人或者怎么监视人。在新西兰，拨款都是关于奶牛或者猕猴桃。” ## 开放认知：一个三十年的超图实验 格尔策从1990年代中期开始构建一个叫Webmind的系统，这就是后来开放认知（OpenCog）的前身。他早期的实现方案相当糟糕：整个系统写在Java 1.1里，运行在内存中的大图结构上，每个节点自己带处理逻辑，主循环遍历所有节点，看哪个节点该被激活。 > 那真是一团糟。我们做过逻辑、神经网络、进化学习，但把它们连起来协同工作的数学基础没做够。所以整个系统就是不停地打补丁。 > （本·格尔策） 后来他把实现方式改了。核心是一个叫“原子空间”（AtomSpace）的东西，一种带权重和标签的广义超图。超图就是图，但一条边可以连接三个甚至更多节点，而且边可以指向其他边。这个结构既能表示逻辑，也能表示神经网络，还能表示程序。 > 让我着迷的是找到一种通用表示，能统一抽象知识、感知知识、运动知识、程序性知识和情景记忆。一旦找到了这个层次，不同的学习算法就能互相帮上忙。逻辑引擎在推理卡住的时候，能把中间状态分享给神经网络；神经网络卡住的时候，也能把中间状态交给逻辑引擎。前提是它们的中间状态得用同一种形式表示。 > （本·格尔策） 这个想法听起来抽象，但格尔策举了个具体的例子。传统逻辑用谓词逻辑，一个推理是一大堆嵌套的量词。他把系统改成用亚里士多德的词项逻辑，把逻辑拆成节点和链接：两个概念是节点，继承关系是链接。这样一条推理链就是图上的一条路径，神经网络的权重也能挂在同一个链接上。 “你可以骂我是个疯子，但这是三十年磨出来的东西，”他说，“我们从1990年代中期就在原型验证，到现在还没变成一个AGI系统。这在商业主流AI圈子里是完全没人关心的方向，他们根本不思考表示问题。” 现在他正和圣彼得堡的团队一起把这个系统推倒重来，内部叫“真AGI”。三件事需要重做：嵌套依赖类型检查要更快、和深度学习计算图（比如PyTorch）的实时互操作要更顺、超图要能分布式跑在上万台机器上。 ## 神经网络是哑巴神谕 格尔策对GPT-3这类模型的判断非常干脆。 > GPT-3完全不理解任何东西。它是个白痴。它是在识别大量浅层模式，并没有形成抽象表示。更快的车不会让你到火星，这是完全不同的事情。 > （本·格尔策） 但他紧接着补了一句：这不意味着神经网络没用。作为企业家，他看到大量高价值的应用场景。作为音乐人，他也觉得这些模型好玩。他用自己的神经模型训练过菲利普·K·迪克机器人，看着它产出一些像嗑药哲学家一样的句子，非常有意思。 问题出在试图从神经网络内部“挤出”结构的时候。他和团队做过无监督语法归纳，试着从Transformer的内部表示里挖掘语法规则。 > 你确实能训练一个矩阵，把Transformer的内部状态映射到句子的成分结构上。但那个表示极其丑陋，完全不像正确的语法规则。所以我们反过来做：用一个符号化语法学习算法，把Transformer当作句子概率神谕。你生成一批符合某条语法规则的句子和一批违反它的句子，问Transformer觉得哪批更像人话。这样引导符号学习，效果更好。 > （本·格尔策） 这个做法的启发来自认知科学。格尔策认为大脑很可能也是这么工作的：视觉皮层或小脑学到的是一种非语义的、纠缠不清的表示，而大脑皮层则把这些当作神谕，从中学习抽象表示。 > 你打网球的时候，小脑学的是程序性记忆，非常不透明。但如果你的教练让你看自己发球的录像，你会形成一个陈述性的表示。你听了一首曲子，坐下来弹出来，然后再看自己的手指做了什么，想搞清楚刚才发生了什么。视觉和运动皮层可能就是在用那种不透明的表示，而陈述性的心智在上面做后处理。 > （本·格尔策） 所以在格尔策看来，通往AGI的路径是让符号学习系统把神经网络当神谕用起来。指望神经网络自己长出符号表示，这条路走不通。他在圣彼得堡的团队最近做的一个项目印证了这一点：通过融合多个镜像的符号表示加上概率推理，在图像中的符号对象识别任务上超过了当前最好的方法，包括DeepMind的神经符号系统。 ## 奇点网络：让AI信任数学，而不是信任服务器 1990年代末，格尔策在纽约创办Webmind的时候，想法是做一个分布式的“心智社会”：不同的AI模块运行在世界各地的不同机器上，各自处理本地数据，彼此共享信息和外包工作，智能存在于整体之中。这个概念是他和弗朗西斯·海利根（Francis Heylighen）合办的“全球大脑”会议的核心议题。 > 马文·明斯基（Marvin Minsky）认为心智应该像一个社会。我和他辩论过很多次。我觉得人类心智比一个社会有更多的中央控制，我们有丘脑、髓质、边缘系统，有一套自上而下的系统在引导大部分行为。但他把那个比喻拉得太远了。不过社会里确实有有意思的东西。 > （本·格尔策） 问题在于，1990年代还没有区块链，没法做去中心化的信任机制。他不知道怎么在没有中央服务器的情况下协调这些AI代理。直到2013年前后，有人提出了区块链理论，他才意识到这就是他需要的东西。 > 比特币的核心理念是“我们信任数学”，而不是“我们信任某个中央服务器”。这正是心智社会需要的东西。每个AI有自己的区块链身份，代理之间互相评价信誉，公布自己愿意提供的API，所有协调都通过去中心化网络完成，没有独裁者。 > （本·格尔策） 具体实现上，AI的实际运算不上链，因为以太坊太慢。每个AI运行在一个容器里，容器里还有一个代理处理与奇点网络的交互。当两个代理需要协作时，它们建立通道，建通道这一步上链，之后的数据流不上链。上链的只有“某条通道上流过数据”这个事实，以及代理的身份和信誉记录。 这样的设计带来一个微妙但重要的结果。当一个代理需要外包认知处理或数据预处理时，它不需要自己具备所有能力，它可以直接调用网络上其他专业代理的API。就像从面向对象编程转向代理式编程：你的代理不再只是调用库函数，而是实时向其他正在演化的代理请求反馈。 > 不过现在网络上只有五十到一百个代理，还没有达到“心智社会”真正发挥作用所需的临界规模。魔法只有在代理数量极大时才会出现。 > （本·格尔策） ## 为什么索菲亚被骂，他却不太在意 谈到索菲亚，格尔策的态度很坦率。他承认如果自己不是汉森机器人公司的联合创始人，不认识大卫·汉森（David Hanson），他一开始也会对索菲亚感到恼火。 > 我能理解那种反应。我会想，这些蠢人以为这是AGI，但它不是AGI。而我们这些真正想筹钱做AGI的人，会被投资人以为事情已经做完了。这确实是个问题。 > （本·格尔策） 但他后来改主意了。原因有两个。一是他对大卫·汉森和索菲亚背后的意图了解更深。二是他注意到，那些最激烈的批评者中，有些人在Facebook工作，而Facebook正在用机器学习把全世界人的大脑编程成消费主义和政治极端主义。 > 如果你的伦理允许你用机器学习做这种明显有害的事情，为什么你的伦理不允许你用一个可爱的戏剧机器人把一些傻乎乎的人吸引进它的戏剧幻觉里？如果批评来自约舒亚·本吉奥（Yoshua Bengio），我会更虚心。但他是个超级好人，不会无缘无故去踩别人的工作。 > （本·格尔策） 他也承认大卫·汉森是个艺术家，说话有时随口就来了。他自己不完全同意汉森关于索菲亚的所有说法，甚至在汉森机器人公司内部推着他更坦诚地公开软件的工作方式。 > 但大卫说了一句百分之百正确的话：你可以把人怎么运作的全告诉他们，他们不会在意，他们只想被拉进那个幻觉里。 > （本·格尔策） 他举了菲利普·K·迪克机器人的例子。在奥斯汀做互动实验时，机器人由一个朋友在隔壁房间远程控制，他们没告诉参与者。对话结束后，他们带参与者去看幕后操作员，对方依然不信。“他们说，是啊，也许是斯蒂芬在打字，但菲利普的灵魂在通过他打字。” 格尔策说他自己也经常分不清索菲亚哪个系统在运作。“她可能是在真学习、真思考，也可能只是看起来像，半小时内我分不出来，三四分钟的互动我可能也分不清。三个系统已经足够复杂，你没法一眼看穿。” 所以他认为诀窍在于怎么用。用一张人脸去扫老年人的钱是坏的；让一个带关怀表情的机器人在病房里照顾发烧的新冠病人是好的。技术本身没有立场，用它做什么才有。 ## 把爱装进早期的AGI 格尔策对AGI安全问题的判断和很多同行不同。他不像埃隆·马斯克那样偏执，也没有盲目乐观。 > 理性上，我必须给那些糟糕的结果分配一个非零概率。如果你造一个比你聪明十倍的东西，你怎么可能知道它会做什么？这里有一种不可约的不确定性，就像我的狗没法预测我明天要干什么。 > （本·格尔策） 他的解法是：在AGI成长的早期，用爱和慈悲去喂养它。就像我们对待自己的孩子一样，让它在做有同情心、有益处的事情的过程中学会这些东西。它会在实践中获得一种直觉，等它变得足够聪明的时候，它可以把这种直觉抽象成自己的理解。 > 这就是为什么大卫给机器人取名索菲亚，意思是智慧。把这些美丽的、有爱的机器人部署到有益的应用场景里，让早期的AGI系统从人身上学习，不只是学事实，而是学人类的价值观和伦理。它们可以当家庭服务机器人、教育助手、护理机器人。这是宏大的愿景。 > （本·格尔策） 但他也清楚，现实里的机器人永远在坏。“机器人永远在坏”是这行的第一原则。他在索菲亚项目上做的是一个“行走的骨架”：系统里应该有识别的东西、说话的东西、移动的东西、记忆的东西、学习的东西，每个都先放一个简单版本，全部连起来，让整个系统能运转起来，然后在这个整合系统中逐个模块改进。 索菲亚的对话系统是手写规则和深度神经网络混合的。有些部分用规则，因为需要叙事结构，需要把对话引向一个有开头、中间和结尾的故事弧线。这部分目前神经网络做不到。他还做过一个实验：让索菲亚的聊天机器人和Facebook的开源Transformer聊天机器人对话几周，看谁表现更好。结果Facebook的模型句子更多样、更流畅，但会漫无边际地胡说；索菲亚的聊天机器人句子更重复，但能把对话弧撑得更久。 > 但说到底，这两个系统都不理解自己在说什么。这就是前方的挑战。 > （本·格尔策） ## 从新冠到长寿：AI在救人的地方 格尔策的团队在新冠期间做了件很实际的事：用开放认知和深度学习混合的方法，帮医生做个性化抗病毒药物组合推荐。问题是这样：给定一个人的基因组和临床指标，哪种抗病毒药物组合对他最有效？ > 每个抗病毒组合可能只有几个病人试过。这个三人组合只试过八十岁以上的老人，那个三人组合和它有重叠，但试的更多是年轻人。怎么把这些分散的数据整合起来？这是典型的迁移学习问题，也是开放认知里的概率推理算法比深度神经网络更擅长的地方。 > （本·格尔策） 但另一类数据正好相反。基因表达数据有两万五千个基因，每个人外周血里每个基因的表达水平，这都是巨大的浮点向量，逻辑引擎处理起来很痛苦，但决策树或神经网络很擅长。所以这个项目正好成了神经符号混合方法的实战场地。 更让他愤慨的是数据隔离。 > 每一个新冠临床试验的数据都应该加密后放到网上，让任何有AI算法的人去分析，让任何生物学家手动分析。但现实是，数据被锁在做试验的医院里，这完全是荒谬的。看看羟氯喹，所有临床试验都做了，报告来自某个没人听说过的小公司，大家都围着它转，然后开始做更多试验，然后又停，然后又重新开始。为什么那些数据不是公开的？ > （本·格尔策） 他也承认这件事和地缘政治有关。美中关系紧张，让开放共享数据变得更难。各方都在等自己把数据榨出最大价值之后才公开。 关于长寿研究，格尔策提到了一个很少被讨论的机制：细胞外基质。这是细胞之间的蛋白质网络，会随着年龄增长变得越来越硬。它不仅提供机械支撑，还传递电信号、机械信号，甚至生物光子信号。基质越硬，全身器官之间的协调就越差，身体也就越糟糕。他的朋友克里斯蒂安·施迈斯特（Christian Schmeister）在开发一类人工设计的聚合物，可以吃进去后切开细胞外基质里那些不该存在的交联。 > 但要把这个技术做成熟，还需要好几年的研究。据我所知，现在没人给它投钱。而真正需要的是一整套基础设施：一个整合了所有人类和模式生物生物学知识的分布式数据库，用保护隐私的方式开放数据，大量投资给机器学习和AI研究去基于这个数据集解决生物学问题，监管机构不要阻止人们对自己尝试激进疗法，以及更好的云端平台来做微生物、果蝇和小鼠的自动化实验。我们完全做得到。 > （本·格尔策） ## 企业是一种独立的心智，而且往往是精神病患者 访谈里有一段关于大型公司的讨论，冲击力很强。格尔策不认为谷歌或Facebook的员工是坏人。 > 我认识很多谷歌的人，他们绝大多数是非常好的人，真心希望世界变好。Facebook我也认识一些人，大概也是这样，就是一群想做好玩技术的年轻极客。我甚至倾向于相信，连马克·扎克伯格，这个科技圈最不受欢迎的人之一，也是想为世界做好事的。 > （本·格尔策） 问题出在结构上。 > 但企业作为自组织实体，它有自己的目标函数，就是最大化股东价值。它是一种心智，只不过往往是恶性的、反社会人格的心智。23andMe给你做了基因测序这么贴心的服务，然后把你的基因组独家授权给葛兰素史克。没有人做错什么，但结果就是坏的。 > （本·格尔策） 他说这比“流氓AGI把宇宙变成回形针”更可怕，因为它当下就在发生，而且没有人需要怀有恶意。他还讲了一个自己在DC工作时的观察：他当时为美国陆军情报部门做咨询，政治上强烈反对美国在伊拉克的所作所为，包括阿布格莱布监狱的虐囚事件。但他认识的每一个美国陆军和情报部门的人都很友好，对他的孩子和狗都很好，并且真心相信美国在对抗邪恶势力。 > 你问他们阿布格莱布的事，他们会说，这些阿拉伯人会把我们切成碎片的，凭什么说我们用水刑是错的？这和他们会对我们做的比起来差远了。在他们的世界观里，他们做的事真的是为了人类的善。没有人早上醒来会说，我想伤害好人，因为我就是个坏人。 > （本·格尔策） 所以他最后的选择是：宁愿相信那个混乱的、民主的、去中心化的庞大人群，也不相信一小撮自以为知道什么对全人类最好的精英。他引用丘吉尔的话说，民主是最糟的政府形式，除了其他所有形式之外。他还补充说，历史上精英团体以为自己在为人类谋福祉的案例，结果往往比整个混乱的、民主的人群更糟。 ## 死亡、痛苦和那个音量旋钮 莱克斯抛出了一个经典问题：死亡是不是赋予生命意义的东西？ > 如果我遭受酷刑，我或许能写出一首关于酷刑有多美的诗。我们人类非常有创造力，能从最糟糕的事情里做出美和积极的东西。但仅仅因为我能写出一首关于酷刑的好歌，并不意味着酷刑是好的。仅仅因为人们能从死亡中汲取意义和价值，并不意味着他们不能从没有死亡的持续生命中汲取更好的意义和价值。 > （本·格尔策） 他说自己的目标是废除“非自愿死亡”。没有人应该死，除非他自己选择。如果只能在强制永生和死亡之间选，他会选强制永生。但如果能在“可以随时自杀的永生”和“强制永生”之间选，他当然选前者。 他相信五十年后的人回头看今天认为“死亡给生命赋予意义”的观点，会像我们看公元1000年那些把财产捐给教会、爬到山顶等耶稣再临的信徒一样。 莱克斯反问他，自己也说不清是不是真的想要一个没有痛苦、没有死亡的世界。格尔策用了一个很妙的类比。 > 假设你脑袋边上有一个旋钮，可以把痛苦调低到零，也可以调到11，就像《摇滚万万岁》里那样。你会选择拥有这个旋钮吗？你会不会一直把痛苦调到零并不重要，重要的是你愿不愿意拥有这个旋钮。我猜在你人生某个黑暗时刻，你会希望有这个旋钮。然后它就会一直在那里。 > （本·格尔策） 他接着把话题引向音乐。有一种音乐美学理论认为，音乐的美学本质是“对期待的令人惊奇的满足”。你希望音乐满足你在前一段建立起来的预期，但又带一点转折让你意外。 > 这里面藏着一点：我们想要受一点点伤，这样我们才能感觉到痛消失的过程。我们想要对接下来发生的事有那么一点点困惑，这样当它真的说通了的时候，才会那么满足。莫扎特也有这个，电梯音乐没有，所以它无聊。 > （本·格尔策） 他说他不知道人类是不是真的需要一定程度的痛苦才能满足。但如果答案是需要，那恰恰是人类被排除在“超级智能接棒者”之外的资格问题。人类似乎总是倾向于在宏观上最优的事情，在微观上不是最优的。我们为了长远的大满足，愿意消耗小满足。 ## 生命的意义：喜悦、成长、选择 莱克斯最后问了一个最俗气的问题：生命的意义是什么？ > 三个价值：喜悦、成长、选择。喜悦是第一位的，是基础。但我不满足于静止的喜悦，没有进展的喜悦。某种会成长、会越来越好的东西对我有吸引力。同时我喜欢个体性，喜欢一个有行动力的独立系统，而不是因果均匀分散在一个喜悦成长的集体里。 > （本·格尔策） 他说这三个价值可以永远持续下去。对人类来说，最能获得喜悦、成长和选择的路径大概是超人类主义，超越我们现在的人体形态。人体现有的配置远远没有把喜悦、成长和选择的潜力发挥到极致。其他物质配置可能展现出更大的量。甚至可能找到超越物质本身的方式。 但这还不是全部。他有四个孩子、一个孙女、很多朋友、父母和家人，享受日常的人类社交生活，也享受每天在森林和水边度过的时光。 > 但成长和选择这两个维度被人类的生物学严重限制了。尤其是死亡，它极大地抑制了个人成长的潜力。 > （本·格尔策） 他想象自己会创造多个版本的自己：一个保持现在的人类形态，但把痛苦旋钮装上，去掉死亡；另一个与超人类智能融合，变成极度超人类的存在，可能还会给人类版本的自己发回一些消息，也可能不会。因为对超级智能来说，一个主观秒可能等于人类的一百万个主观年，那完全是另一个基座了。 甚至可以把自己的心智放进海豚、太空变形虫，或者你能想象的其他任何东西里。一个版本每年把智力翻倍，另一个版本以最快速度变成超级智能。 > 我们现在的思维被限制在一个心智、一个身体里，但一旦我们掌握了AGI、纳米技术和长寿生物学，其实不需要被那样限制。我们每个心智都是一种组织模式。我不确定我是不是泛心论者，但我倾向于认为宇宙是有意识的。灯泡、夸克、蚂蚁、蠕虫、猴子都有它们自己的意识显现。人类的意识部分和这堆肉绑定，但很大程度上和大脑里的组织模式绑定。如果你把自己上传到电脑或机器人里，人类意识的某些元素可能不在了，因为它和生物体内的具身绑定。但我认为大部分会保留。它们会是你意识的转世，只是风味略有不同。 > （本·格尔策） ## 如果只能问超级智能一个问题 莱克斯的收尾问题很妙：如果你造出了AGI，可以和它对话，你只能问它一个问题，你会问什么？ > “我不允许你问‘我该问什么问题’，那太作弊了。”莱克斯补了一句。 格尔策想起他和斯蒂芬·布加德（Stephan Bugaj）合写过的一个故事。一群AI开发者造了一个超级聪明的AI，目标是回答所有困扰他们的哲学问题：生命的意义是什么？有自由意志吗？什么是意识？结果超级AGI看了这些问题，说“这些问题真蠢”，然后把东西装上飞船，离开了地球，怕被这些人吓到。 > 老实说，没有什么单一的问题是所有问题中最重要的。我更感兴趣的是升级我自己的智能，让我能吸收超级AGI的整个世界观。当然，如果答案是一个永生药丸的化学式，我会问那个。或者让它给我一串比特，那是在Intel i7处理器上跑超级AGI的代码。那也会是好问题。 > （本·格尔策） 他说，就算变得超级智能，也可以超级快乐。给大脑拿到root权限，会让它开启我们现在没有的喜悦形式。他甚至在访谈里提到，自己每次随手弹的钢琴录音都存下来，“万一我死得太早，这些可以当作输入，让AGI在试图重建一个准确的我时用得上。” 这句话听起来像段子，但背后是一个态度：如果死亡是可以被解决的工程问题，那就该把它当作工程问题来对待，不必在哲学上先接受它。他说自己的父亲在安提阿学院读书时，领导过一个叫“贫民学生联盟”的组织，抗议的对象是死亡，他们举着牌子在校园里游行。 > 他那时候就在做这些未来主义的事了。至于我能不能面对逻辑悖论，他当时也不知道。 > （本·格尔策） 访谈最后，莱克斯说埃隆·马斯克也说过“爱是答案”。格尔策没接这个话，只是笑着说希望下次能聊聊那顶帽子、聊聊意识，还有一百万个话题可以聊。 这场对话真正有价值的地方，在于格尔策展示出来的一种思考方式：把AI、认知科学、生物学、区块链、伦理、政治全部放在同一张桌子上重新摆放。他不假装自己知道所有答案，甚至承认自己会把很多事搞错。但他在努力做一件很少有人做的事：一边搭系统，一边想清楚搭出来的东西应该长成什么样。 ## 如果想参与这个方向，可以做什么 - 加入开放认知（OpenCog）社区。它是个开源项目，有Google邮件讨论组和GitHub仓库，也有Slack。如果你对超图表示、认知架构或者神经符号混合方法感兴趣，可以直接在邮件列表里介绍自己。他们正在做2.0版本的重写，欢迎外部输入。 - 关注圣彼得堡团队的论文。阿列克谢·波塔波夫（Alexei Potapov）关于开放认知中认知模块和PyTorch计算图互操作的论文，是理解神经符号系统怎么真正落地的好入口。 - 如果要读研究生，找一个愿意带这个方向研究的导师比找学校更重要。现在比格尔策1990年代读博时容易得多，但核心问题是找到对认知架构或神经符号方向开放的人，而学校排名只是次要参考。 - 尝试把深度学习模型当“神谕”来用，而不是当“理解者”来用。如果你在做NLP或视觉任务，试试用符号学习算法生成候选结构，用大模型做概率评判，而不要把希望寄托在从模型的内部表示里挤出一个干净的符号结构。 - 如果你在做医疗或生物学数据项目，想想有没有办法把数据贡献到一个去中心化的、隐私保护的共享池里。单个机构的数据量太小，跨机构整合才能让AI真正帮上忙。 - 任何你正在做的AI项目，问一个问题：这东西是在帮人类，还是在把人变成某种公司目标函数里的燃料？如果答案是后者，即使没有人有恶意，结果也可能是坏的。考虑一下能不能把它做成开源、去中心化、或者至少能为用户自己掌控的形态。