斯蒂芬·沃尔夫勒姆:ChatGPT 与真理、现实和计算的本质
Stephen Wolfram: ChatGPT and the Nature of Truth, Reality & Computation
计算科学家谈 ChatGPT 的工作原理、语言模型与真理的关系,以及计算视角下的宇宙观。
2023年5月,斯蒂芬·沃尔夫勒姆(Stephen Wolfram)第四次坐到 Lex Fridman 的麦克风前。就在这期节目上线前不久,他把 ChatGPT 接进了 Wolfram Alpha 和 Wolfram Language。
两个系统的底层逻辑差得很远。ChatGPT 从人类写在网上的一万亿词文本里学出“下一个词大概是什么”,然后一个词一个词往外吐。Wolfram Alpha 背后是四十多年积累的形式化知识体系,把数学、科学、系统化的事实翻译成机器可以一步步推演的结构。
沃尔夫勒姆自己的总结很干脆:ChatGPT 宽而浅,他这四十年在做的东西也宽,但真正关键的是深。
这句判断解释了一个反复出现的现象。同一个模型,写一首模仿莎士比亚的诗几乎无懈可击,算一个三位数乘三位数再开平方就开始犯迷糊。
两条技术路线,两种对世界的理解
先说 ChatGPT 在做什么。
你给它一段提示,它试着把这段提示按照人类写作的统计规律续下去。技术上,它做的事情和人脑处理语言最初的那几百毫秒有相似之处:神经元被激活,信号在层与层之间扩散,最后落在一个词上。这种计算很浅,浅到只有几十层,但它铺在一万亿词的语料上,覆盖面极广。
再说 Wolfram 那条路。
从他二十岁出头开始,他就在琢磨一件事:能不能把人类文明里所有能形式化的知识,都变成机器可以执行的计算。数学公式、物理常数、化学元素、地理数据、历史时间线,这些内容现在都能被 Wolfram Language 调用,能参与多步推演,能算出从没被任何人算过的结果。
两条路的成本结构完全不同。收集网页文本便宜,几乎免费;把知识一条条形式化,贵得离谱,需要人力、专家、几十年的耐心。沃尔夫勒姆认为,只有后者能垒起真正的高度。
ChatGPT 那种做法,是从人类为了别的目的写下的东西里觅食。我们做的是搭建计算系统,让整个人类文明的专家知识变成可以可靠算出来的东西。(斯蒂芬·沃尔夫勒姆)
这里有个隐含的赌注:可靠。语言模型的输出永远带着概率的味道,同一句话问两遍可能得到两个答案。计算系统的输出不这样,只要输入和规则确定,结果就确定。在需要负责任的场景里,这个差别是生死线。
人类真正的分水岭,是学会了搭塔
沃尔夫勒姆把人类的能力切成两层。
第一层是几千年前普通人的日常智慧。什么东西一眼能看出来,什么判断靠天生的神经结构就够,什么经验是活一辈子自然长出来的。这一层,人和不少动物共享,差别没有我们想的那么大。
第二层出现得晚得多。逻辑、数学、科学,这一整套形式化工具,是文明史上真正的分水岭。有了它们,人能搭塔:拿一条规则推出一个不显然的结论,再拿这个结论推出下一个,一路往上,直到抵达一个凭直觉永远够不着的地方。
这两层的区别可以这样感受。第一层是“我一眼就知道答案”。第二层是“我拿这套规则一步一步推出来,推完才发现答案和我猜的相反,但我信这个推出来的结果”。
Wolfram Language 的全部野心,就是造这种塔。ChatGPT 那种“我好像在哪儿见过类似的句子”,始终停在地面那一层。
这个区分也解释了语言模型的边界在哪里。它在地面层强得惊人,因为人类写下的文字绝大多数都是地面层的产物。一旦任务需要爬塔,它就没有梯子,只能从记忆里翻出形状相似的段落去蒙。
一行不到的代码,跑出一整个宇宙
要理解沃尔夫勒姆为什么对计算有这么强的信心,得回到1980年代初。
他当时在干一件看起来毫无用处的事:随手造一些极小的程序,小到不足一行代码,有些规则甚至是随机拼出来的,然后把它们跑起来,看会发生什么。
结果把他自己震住了。即使极度简单的程序,跑起来也会产生极其复杂的行为。复杂到没有语言能描述,复杂到像生物,像雪花,像一整片森林。
他花了好几年才消化这件事。真正让他震住的,并非复杂本身,而是复杂从哪儿来。程序里没有写“长出森林”,程序里只有一条重写规则,森林是自己冒出来的。
他后来把这件事读成自然界的底层运作方式。规则可以极简,结果可以极繁。物理世界看起来也是这样:几条基本定律,演化出星系、生命,以及正在争论这件事的两个人。
问题在于,知道规则这件事,在实践上能换来什么。
知道规则,和能预测,中间隔着一条鸿沟
这期访谈里最重要的概念在这里出现:计算不可约性(computational irreducibility)。
设想你掌握了某个系统的全部规则。按直觉,你就掌握了一切,因为你可以把规则跑一遍。真正的问题是:你能不能跳过那些步骤,直接说出跑一百万步之后的结果?
大多数时候不能。唯一的办法就是老老实实跑那一百万步。
如果你能约化掉那个计算,那个计算本身就没有任何意义了。计算之所以有价值,恰恰在于你必须真的做它,才能知道答案。(斯蒂芬·沃尔夫勒姆)
这句话的杀伤力超出技术范畴。它意味着宇宙自己算得飞快,而身处宇宙内部的我们,没有任何办法提前知道它会算出什么。宇宙用宇宙能有的最快速度在跑,我们连插队的资格都没有。
按他的估计,宇宙每秒重写自己 10 的 100 次方次。这个数字远超人类任何计算能力,也远超任何可以想象的模拟能力。所以“我们有朝一日能模拟整个宇宙”这句话,在物理上就是空想。
那科学为什么还有意义?
不可约的世界里,总有可约的口袋
因为不可约的计算里,永远散落着可约化的口袋。
你没法跳过全部,但你总能在某些局部提前知道结果。科学的整个故事,人类几乎所有重要的发明,很大一部分就是找到这些口袋,然后把自己挂上去。
沃尔夫勒姆说他意识到,我们恰好活在一个可预测性密度合适的位置上。房间里的空气分子在乱飞,理论上是一个复杂到无法追踪的故事,但你不必追踪。你只需要知道,这几秒钟空气还是空气,不会有大事发生。这种可约化的口袋你抓住了,才能在房间里正常走路、正常说话、正常思考。
生命本身就建立在大量可约化口袋之上。如果世界处处都无法压缩成简洁叙述,你连下一秒该做什么都决定不了。每一刻都要从原子层面重新算起,这种存在方式撑不过一秒。
他还提到,压缩这件事有代价。你抓的口袋越大,丢掉的细节越多。科学的进步经常表现为换一个更大的口袋,或者发现原来那个口袋在某个方向上漏了。
这套视角还有一个副产品,沃尔夫勒姆说这是他近几年最喜欢的发现。
观察者:把无数构型压成一个数字
把底层的计算不可约性,和“我们是计算能力有限的观察者”这两件事放在一起推,能推出二十世纪发现的主要物理定律。这是他自己的评价,也说明他为什么认为观察者这个概念值得单独立项研究。
这个项目被这波 AI 热潮打断了。他本来想搞清楚:什么是观察者?
他的定义很物理。拿一箱气体举例,你测的是压强。气体分子撞击活塞的方式有无数种,你在意的只有总和。无数种微观构型,在你眼里完全等价。
观察者的核心动作,就是把大量不同构型归并成“我只关心这一个聚合特征”。
这类归并在物理里到处都是。温度是归并,密度是归并,颜色是人类视网膜对波长的归并。每一次归并,都换来了一个可以拿在手里讨论的东西,代价是丢掉了底层细节。
但归并本身还不够。要让物理定律出现,还差一个条件,看起来平淡无奇,实际非常关键:我们相信自己在时间中持续存在。
为什么你相信自己还是刚才那个你
微观上看,这件事很古怪。
按照他的理论,每一刻钟的我们,都由不同的空间原子组成。上一刻的你和这一刻的你,在微观层面没有任何共享的部分。就像一条河,每一秒流过的水都换了一遍,可你还叫它同一条河。
那为什么我们觉得自己始终是同一个人?
因为意识拥有一条单一的经验线索。这条线索把破碎的微观事件缝成了一段连续叙事,于是才有“刚才发生了一件确定的事,现在又发生了一件”这种感受。
沃尔夫勒姆强调,这条线索来自计算受限系统的一种简化。宇宙本身并没有这种普遍特征。一般的计算系统可以并行分裂出无数条经验线,人类必须把它们压成一条,否则没法做决策,也没法说话。
量子力学就是一个例子。系统内部在分裂成多条经验线,人类必须在感知层面把它们缝合起来,才能说“测量得到了一个确定值”。缝合动作发生在观察者这边,代价是我们永远看不到缝合之前的全貌。
顺着这个思路,他还说了一句挺刺人的话:很多人默认意识是宇宙中最高级的东西,他不这么看。意识算不上宇宙的通则,它只是一种特化。特化意味着能力上的取舍,你换来了连贯的自我,同时失去了同时活在多条经验线里的可能。
多线索并存的心智是什么感觉,很难想象,但在他看来那才是更一般的状态。我们这种“一条线”的心智,在整个可能性空间里属于稀有配置。
雪花:一次漂亮的科学失败
访谈里有一段长长的雪花故事。表面在聊物理,落点在科学方法论上的一个陷阱。
雪花有形状。它从六边形起步,长出枝杈,枝杈再长枝杈,最后填回一个更大的六边形。原因挺有意思:一块冰凝结时会释放热量,把周围局部加热,于是紧邻的位置不容易再结冰。这个抑制效应把枝杈推开了,让它们彼此分离地长。
沃尔夫勒姆用极简单的离散模型复现了这个过程。他还发现一件事:当枝杈长回去填满那个大六边形时,会留下一些填不上的小孔。他起初不确定,就去翻雪花的实拍照片,果然,照片上真有这些小孔,像生长过程留下的疤痕。
有意思的地方在后面。几十年前有一批关于雪花生长的文献,给出了漂亮的曲线,算出了生长速率,数字看着还挺准。
他仔细一看:按照那些模型,雪花应该是球形的。
生长速率对了,形状全错。而形状恰恰是雪花最显眼的特征,是任何人第一眼就会注意到的东西。模型抓住了没人关心的一项,漏掉了所有人都在看的那一项。
没有哪个模型是正确的,除了实际系统本身。问题只在于:它有没有抓住你在意的东西?(斯蒂芬·沃尔夫勒姆)
什么样的模型算好模型?答案取决于你打算拿它干什么,取决于你要用它造什么技术。同样的系统,做气候预测的人和做材料设计的人,需要的模型完全不同,评价标准也不同。
科学上大量争论(“你这个模型不对”“不对是因为它没抓住我在意的那个特征”)本质上都在这一点上打架,只不过双方经常没说清自己在意的到底是什么。说清楚了,很多争论会自动消失。
唯一的例外是:如果你声称自己建模了整个宇宙,那才有“正确”这回事。但也仅限于底层意义。而且就算你有了正确的模型,你也跑不动它,因为计算不可约。宇宙的唯一一次运行,就是宇宙本身。
符号:把世界塞进脑子的唯一办法
从物理回到工程,中间隔着一个问题:我们凭什么能把复杂世界塞进脑子里?
看一个房间。视网膜上有几百万个像素,但你记住的是“那里有两把椅子、一张桌子”。像素被压缩成了符号。人类认知的核心动作就在这儿落地,把无限细节压成有限的东西。
自然语言是最初的压缩形式,也是人类文明共享的一套符号系统。它有个致命缺点:它不够精确,没法直接计算。你说“两把椅子”,这句话本身算不出任何东西。
于是就有了符号编程。1979年前后,沃尔夫勒姆在设计他第一个大型计算机系统时,想出了一个表示方式:把一切写成“函数加参数”的结构化表达式。这个函数不一定立刻求值,它就静静待在那里,代表一个结构。
他自己也没想到这套东西能撑四十多年。这种结构化表达式,恰好非常贴近人类概念化高层事物的方式。语言的模糊性被消解掉,剩下的东西可以喂给机器一步步推演。
Wolfram Alpha 的全部工作就是干这件事。把“我们关心什么”这个非常人类的判断,翻译成机器能算下去的符号系统。数据库里不存电影的每一个像素,存的是片名、导演、票房、上映日期,这些是人会问的东西。
他对“理解”这件事下过一个定义,很值得记住。
理解可以有一个可验证的标准
我们总问:它真的理解了吗?
在计算的世界里,这个问题可以有明确答案:能不能把它转成符号化的计算结构,从而算出各种后果。
按这个标准,“能不能续写一段文字”和“有没有理解这段文字”,是两件不同的事。前者它做得极好,后者它给不出可验证的证据。你可以让它解释一个物理概念,它说得头头是道;你让它算这道题的数值,它可能编出一个漂亮但错误的数字。
这也说明两个系统为什么该合作。ChatGPT 负责接住人类的模糊表达,把一大段自然语言里的意图抠出来;Wolfram 负责把意图变成可计算的结构,然后算出答案。入口可以很宽,底座必须很硬。
沃尔夫勒姆说,四十多年来他一直在扩这块可计算的疆域,让世界上尽可能多的东西能被可靠算出来。这件事很慢,很费人力,远不如收集互联网文本那么便宜。他认为这是唯一能把文明往上垒的路。
背后有一个更长的判断。人类文明的成果,绝大部分体现在形式化的知识里:数学定理、物理定律、工程规范、法律条文。这些东西之所以能代代积累,正因为它们能变成符号,能被机器接着往下推。不能形式化的部分,只能靠口传心授,一代人一走就散了。
聊天框里冒出一段漂亮的文字,那停在地面层。能在上面搭出一步推一步、推完还能继续推的东西,才进入了塔的内部。人类之所以区别于其他物种,靠的从来是后一层。
给从业者的几条可操作建议
- 在系统设计里明确区分“接住模糊表达”和“算出可靠答案”。前者交给语言模型,后者必须有可验证的计算后端,别指望用概率补上精确性。
- 判断一个模型好不好,先写下你在意哪些特征,再对照模型抓没抓住。别只看它给出的那个数字准不准,雪花模型算对了生长速率,却给出了一个球形。
- 遇到无法预测的系统,别去找全局捷径。去找那些局部的可约化口袋,把工程和决策押在可预测的切片上,其余部分接受不可约。
- 做知识库和工具链时,优先投资符号化和结构化表示。自然语言是入口,不是底座,能参与推演的只有精确结构。
- 评估模型会不会“理解”,别只看它续写得像不像。设计需要多步推演的测试,看它能不能把结论一路算出来。
- 对自己也要留一份清醒:你相信的那条连续自我叙事,是计算受限系统的一种简化。它有用来由,不是宇宙的真相。
本集资源与出处
- 视频在 YouTube 收看
- 音频官方 MP3 直链来自 lexfridman.com 官方播客 RSS
- 官网Lex Fridman 官网本集页面