# 杨立昆：Meta AI、开源、大语言模型的局限、AGI 与 AI 的未来 > 图灵奖得主杨立昆谈 Meta 的 AI 研究、开源路线之争、大语言模型的能力边界，以及通向 AGI 的可能路径。 - 原标题：#416 – Yann Lecun: Meta AI, Open Source, Limits of LLMs, AGI & the Future of AI - 期数：第 416 期 - 发布日期：2024-03-07 - 嘉宾 / 主题：杨立昆 - 网页版：https://lexfridman-cn.pages.dev/ep/yann-lecun-3/ - 官方页面：https://lexfridman.com/yann-lecun-3/ - 精读字数：约 10931 字（阅读约 24 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 杨立昆（Yann LeCun）在 Lex Fridman 的播客里把话说得很死：自回归的大语言模型不是通往人类级智能的那条路。 他给的理由是一张清单。一个智能体要能理解世界，尤其是物理世界；要有持久记忆，能记住也能检索；要能推理；要能规划。GPT-4、Llama 2 这一代模型，这四件事要么做不到，要么只做到极原始的程度。 > 它们一个都做不到，或者只能以极原始的方式做到。它们并不真正理解物理世界，没有真正的持久记忆，不会真正推理，当然也不会规划。（杨立昆） 他不否认这些东西有用，也不否认围绕它们能长出整个应用生态。但那和"通向人类级智能"是两件事，他把这两件事分得很开。 ## 十七万年的阅读量，抵不过一个四岁小孩四年看到的东西 今天最强的 LLM，训练数据规模大概是 10 的 13 次方个 token。每个 token 两个字节，也就是 2×10 的 13 次方字节。一个人每天读八小时，把这些内容读完需要 17 万年。 听起来是天文数字。换一个参照系就完全不是了。 发展心理学家算过，一个四岁的小孩清醒时间累计约 16000 小时。这四年里抵达他视觉皮层的信息量，大约是 **10 的 15 次方字节**。这个数可以自己推：视神经的带宽大约每秒 20 兆字节，乘以清醒的秒数，量级就出来了。 10 的 15 次方，对比 2×10 的 13 次方，差了两个数量级。 也就是说，人类通过感官拿到的信息远远多于通过语言拿到的。我们以为自己大部分知识来自读书和对话，实际大部分来自观察和与真实世界的交互。生命最初几年学到的东西，以及所有动物学到的所有东西，都和语言没有关系。婴儿在最初几个月对世界毫无影响力，只能观察，仅凭观察就积累了巨量的知识。 ## 语言是已经被压缩过的低带宽信道 Lex 在这里顶了一下。语言本身就是高度压缩的，一句话包含的信息比存它用的字节多得多。人类的智慧、词语、拼接方式，本身就是一份浓缩的世界知识。那么有没有可能，光靠语言就重建出世界模型？ 杨立昆的回答是不能，因为语言只记录了能够被语言描述的那部分现实。 这是哲学和认知科学里的一场老辩论：智能是否需要扎根在现实中。他属于明确的一派，认为智能不可能脱离某种现实凭空长出来。这个现实不必是物理的，也可以是模拟的，但环境本身就远比语言能表达的东西丰富。语言只是知觉和心智模型的粗略近似。 他举了自己最常用的例子。把桌上这个水瓶转 90 度，你脑子里浮现的是那幅图像，用不上任何一句话。你要从椅子上站起来，走到楼下，拦一辆出租车去机场，这个过程中涉及的规划，很难用语言完整写下来。我们日常做的绝大多数任务，都在操作一个当前情境的心智模型，和语言无关。 机器人领域的先驱莫拉维克提过一个悖论（Moravec paradox）：为什么下棋、解积分这种高级复杂的事，计算机做起来很轻松，而学开车、抓东西这种我们习以为常的事，计算机做不到？ LLM 能通过律师资格考试，看起来聪明极了。但它没法像任何一个 17 岁少年那样，用 20 小时学会开车。它也没法像任何一个 10 岁小孩那样，看一遍就学会收拾餐桌、把碗放进洗碗机。它缺的是一层结构，让这些知识能在真实世界真正运转起来。 ## 视频里有一道生成式模型过不去的坎 有人会说，那就给 LLM 接上视觉。把图像编码成一串 token 喂给它，不就行了？ 杨立昆管这叫打补丁。现在市面上带视觉能力的模型基本都属于这一类。它们没有被训练去理解世界，没有用视频训练过，不懂直觉物理。 真正的原因在于数据的性质不一样。文本是离散的，字典有限，模型预测下一个词时，可以输出一个在整个词表上的概率分布，从中采样就行。视频是连续的高维空间。要照搬这套玩法，你得预测"所有可能下一帧"的概率分布，而人类至今不知道怎么在有用的意义上表示高维连续空间上的分布。 举个具体的场景。假设镜头在这间屋子里扫过一圈，模型可以猜到这里有一盏灯、有一面墙，但它没法预测墙上那幅画的具体样子，没法预测沙发的纹理，更别说地毯的纹理。这些细节在给定条件下就是不可预测的。 过去十年，FAIR 的同事和他试过很多办法。一种思路是引入潜变量（latent variable），让神经网络用一个变量去承载"你还没看到、但为了预测像素必须补上"的信息。他们试过朴素的神经网络，试过 GAN，试过 VAE，试过各种正则化自编码器。全部失败。 另一条路是拿损坏过的图像或视频去重建完整版本，指望系统在内部长出好的表示，再拿去做分类或分割。这套路在文本上极其成功，就是 LLM 的看家本领。搬到图像上，比如 FAIR 自己做的 MAE（掩码自编码器），挖掉一些图块让模型补全，效果就是不行。判断依据很直接：同一套编码器架构，改用有标签数据、用图像的文字描述做监督训练，得到的特征质量明显更好。架构本身没毛病，卡住的是"用重建来训练"这个目标，它引导不出好的通用特征。 ## JEPA：不预测像素，只预测抽象 他给出的替代方案叫 JEPA，联合嵌入预测架构（Joint Embedding Predictive Architecture）。 做法是这样：拿一张完整图像，再拿它的一个损坏或变换版本，各跑一遍编码器，得到两个表示。然后训练一个预测器，从损坏版本的表示去预测完整版本的表示。 关键差别在于，它不生成输入本身，只预测输入的抽象表示。LLM 和所有重建式系统都得把每个像素、每个细节吐出来，算力大量花在这上面。JEPA 把这一步省掉了。 省掉之后还有一个副作用，而且是好的副作用。图像里有很多东西不可预测，也不值得预测，比如马路边被风吹动的树叶，它们的运动近乎随机。编码器会把这些细节当成噪声滤掉，只保留"有树叶在动"这个层面，不去记每一片叶子。于是表示层的抽象程度被自动抬高了，预测也变简单了。 训练这类架构有个老麻烦叫表示坍缩。如果只让系统把两个版本的表示拉近，它会偷懒，直接忽略输入，输出一个常数，损失函数照样很低。怎么防住这件事？ 九十年代的办法叫对比学习。除了给相似的样本对，还得给明显不同的样本对，把它们的表示推远。杨立昆 1993 年就写过这方面的论文。对比学习的代价是，当答案空间很大时，需要展示的负样本数量会爆炸。 所以他现在更偏好非对比方法。只需要给同一物体的不同视角，靠别的机制防止坍缩。这一类方法在过去三四年里才真正成熟，FAIR 贡献了其中几个，包括 DINO 和 I-JEPA，DeepMind 的 BYOL 也属于这一路。 I-JEPA 的特别之处是它不需要知道自己在处理图像。直接把画面里的一块区域挖掉，让系统去预测缺失部分的表示就行，不需要做旋转、模糊、调色这些明显属于图像的操作。 再往上一层的版本叫 V-JEPA，同一套思路用在视频上。做法是把一段视频里的一个时间管（temporal tube）遮住，通常是连续 16 帧里的同一块区域，然后训练系统从被遮的视频预测完整视频的表示。这是他们第一个真正学到高质量视频表示的系统。把这些表示接到一个有监督的分类头上，判断视频里正在发生什么动作，准确率相当好。 还有一个更新的结果：这套表示似乎能让系统分辨一段视频在物理上是否可能。物体凭空消失、瞬间跳位、改变形状，它都能识别出来。杨立昆说这是很新的东西。 ## 我们从不用量子场论描述一张桌子 这套设计背后是一个更根本的判断：世界必须被分层描述。 我们描述任何现象，都是选一个抽象层级，从来不会把所有现象还原到量子场论，那在计算上不可能。从量子场论，到原子理论、分子、化学、材料，再到现实里具体的物体，每一层都有自己的语言。JEPA 想做的就是在自监督中学会这种分层表示，而且可以逐层叠加。 语言之所以能让 LLM 走这么远，恰恰因为它已经被压缩过了，已经丢掉了大量不可预测的信息，抽象层级是先天的。文本省掉了 JEPA 要费劲去做的那一步，所以直接预测词就能奏效。这是语言的便宜，也是它的天花板。 杨立昆在这里说了一句很刺耳的话。现在把视觉编码器接到语言模型上，本质是在用语言当拐杖，去补视觉系统学不出好表示的短板。这么做的后果是，语言模型可能被图像喂得更强了，但它依然到不了猫和狗理解世界的水平。 猫狗没有语言，可它们对世界的理解胜过任何一个 LLM。它们能规划相当复杂的动作，能预演一组动作的结果。在把语言接进来之前，先得让机器学会这件事。 > 如果你真的关心人类级 AI，就放弃生成式 AI 这个念头。（杨立昆） ## 幻觉不是偶然故障，是数学 自回归生成有个必然结果。每生成一个 token，都有一点概率把整句话带出正确答案的集合。假设这个出错概率在各 token 之间独立，那么随着 token 数增加，答对的概率是指数衰减的。错误会累积，**漂移是指数级的**。 Lex 反问，训练集里真理在平均意义上是被充分表达的，会不会存在一种拉回真相的引力？ 杨立昆说没有，这是在和高维空间的诅咒搏斗。 能做的补救是用人的提问去微调。提问的人终归是人，问题之间高度相似，收集一批数据能覆盖住大概 80% 的常见提问，模型在这些问题上的表现会好。但剩下的是一个巨大的长尾。在所有可能的提问构成的集合里，被训练覆盖到的比例小得可怜。 于是就有了各种越狱方式。往提示词里塞一段随机字符，足够把系统推到一个完全不同的应答模式里。或者用英文问一个问题得到正常回答，然后把其中几个词换成另一种语言的同一个词，回答立刻变成胡话。 他说，这个长尾问题社交网络早就领教过了。最终这类系统会退化成一个巨大的查找表。而查找表不是我们想要的，我们想要的是能推理、能规划的东西。 ## 每个 token 的算力恒定，这件事本身就说明了问题 怎么判断 LLM 的"推理"有多原始？杨立昆给了一个可量化的标准。 生成每个 token 消耗的算力是常数，大致等于预测网络的层数乘以 token 数。问题简单、问题复杂、问题根本不可判定，花掉的算力都一样。人类不是这么运作的。碰到复杂问题，我们会花更多时间去想，因为难。这种在推理时按难度分配算力的能力，LLM 现在没有。 他把这套机制和心理学里的系统一、系统二对应起来。系统一是那些熟练到不需要刻意思考就能完成的事，老司机一边开车一边聊天，老棋手对新手不看棋盘也能赢。系统二需要规划，需要调用内部世界模型，想一阵子再落子。AI 目前只有系统一。 那系统二长什么样？他的设想是用基于能量的模型（energy based model）。整个网络只有一个标量输出。给它两个输入 X 和 Y，输出接近零表示 Y 和 X 相容，输出正数表示不相容。 有了这个函数，产生答案的方式就变了。系统在抽象表示空间里搜索一个能量最低的答案，从左到右逐个吐 token 的那套流程被换掉了。它先在概念层面完成优化，再把那个想法交给一个解码器翻译成文字。整个过程发生在推理时，这时模型参数是固定的。 为什么要在连续空间里做这件事？因为整个系统可微，可以直接用梯度下降去修改答案的表示，一点点逼近最优解。LLM 选择了另一条路，在离散的 token 序列空间里做优化，办法是生成一大堆候选再挑最好的，效率极低。 能量模型有两类训练方法。对比方法要喂进错误的 Y，把它的能量推高，RLHF 里那个奖励模型本质上就是这个东西。非对比方法他更偏好，做法是压低训练集中相容样本对的能量，同时用一个正则项限制低能量区域的体积，靠这个保证其他地方的能量自动升高。目前 LLM 里其实也隐含地做了防坍缩，只是因为词表上的概率必须归一化，给一个词高概率就自动等于给别的词低概率。这套机制非常间接，杨立昆的原话是，它为什么能奏效其实并不显然。 ## 强化学习能少用就少用 他常被贴上"讨厌强化学习"的标签。他自己的表述要温和一些：用还是可以用，用量得压到最低，因为 RL 在样本效率上糟糕透顶。 正确的顺序是先让系统主要靠观察学到好的世界模型，再让它基于这个模型去规划。规划能解决大多数问题，用不着 RL。什么时候才需要 RL？两种情况下模型会出错：目标函数没有真实反映你想要的目标，或者世界模型本身不准。 学骑自行车，你对自己会不会摔的判断可能不准。打格斗，对手的动作和你的预判不一样。出现这种偏差时，需要调整世界模型或目标函数，这才是 RL 的地盘。 他还补了一句，提前调整世界模型的办法是去探索那些模型明显不准的区域。这事有个更日常的名字，叫好奇心，或者叫玩。玩就是在不冒真实风险的前提下探索，在不出人命的情况下把自己的世界模型修好。 至于 RLHF 为什么效果好，他的拆解是：真正起作用的是 HF，是人的反馈。人的反馈有好几种用法，其中一部分纯粹是监督学习。让人去给多个回答打分，训练一个目标函数来预测这个分数，再用它微调模型。这套东西和上面说的规划用的目标函数几乎是同一个东西，区别在于它现在的用途是改参数，规划那套玩法还没启用。他顺口说，如果用来规划会高效得多。 ## 开源为什么是唯一出路 Gemini 1.5 发布后惹了不小的麻烦。生成黑皮肤的乔治·华盛顿，被问到天安门广场和坦克人时拒答或含糊其辞，社交媒体上一片哗然。杨立昆在推特上的回应只有一句：开源是答案。 他的逻辑分两层。 第一层，不存在一个对所有人都无偏的系统。 > 偏见在观察者眼里。（杨立昆） 事实层面有一些不可争议的东西，但大量内容是可以有不同表述的。你往一个方向调，一群人觉得有偏；往另一个方向调，另一群人觉得有偏。调过头还会直接导致事实错误，比如生成穿纳粹军装的黑人。所以"做一个所有人都觉得无偏的系统"这件事，技术上有挑战，但在定义上就不可能完成。 第二层，既然单一系统无法让所有人满意，答案就只能在多样性里。他拿自由民主社会对新闻业的态度作类比：新闻必须自由而且多样，因为把所有信息交给单一来源，本身就与民主背道而驰，也和科学背道而驰。科学的进步靠的就是不同意见的争论，最后形成共识。 而未来是，我们与数字世界的每一次交互都会被 AI 系统中介。Meta 已经在卖带摄像头的 Ray-Ban 智能眼镜，可以对着外文菜单问它这是什么，可以做实时翻译。搜索引擎会变成对话系统。这意味着这些 AI 系统终将成为人类全部知识的仓库，而**这个仓库不能由美国西海岸的几家公司独占**。 他说他跟法国政府聊过很多次，法国政府不会接受本国公民的数字食谱被三家美国公司掌控。这和善意与否无关，这是对民主的威胁，也是对本地文化、价值观和语言的威胁。 他举了两个例子。印度 Infosys 的创始人正在资助一个项目，微调 Meta 开源的 Llama 2，让它讲印度全部 22 种官方语言。他的前同事 Moustapha Cissé 回到非洲，在做面向塞内加尔本地语言的 LLM，目的是让当地人能获得医疗信息，那里的医生密度极低。这两件事都只有在开源平台上才可能发生。 > 我看到的通过专有 AI 系统集中权力的危险，比其它一切危险都大得多。（杨立昆） 商业上怎么算这笔账？Lex 摆出了那个数字：扎克伯格在视频里提到 35 万块英伟达 H100，光显卡就是几百亿美元，还不算配套的基础设施。杨立昆的回答是商业模式问题。Meta 的模式是提供有庞大用户基础的服务，靠广告或企业客户变现。比如一家夫妻店披萨铺，通过 WhatsApp 让 AI 接待点单，问清楚尺寸和配料，这是商家愿意付费的服务。既然这套系统为了自己的客户群本来就要建，把基座模型开源出去并不亏。别人在上面做出好应用，Meta 可以直接买下来。 他给了一个已经发生的数据：**Llama 2 的下载量以百万计**，有成千上万的人提供了改进思路，也有成千上万的企业在它上面搭应用。 ## 生物武器与火箭发动机 关于 LLM 会不会降低制造生物武器的门槛，他的态度是不成立。越来越多的研究指向同一个结论：已经有搜索引擎和图书馆的人，从 LLM 那里拿不到额外的东西。 更关键的是第二层。拿到一份制造化学武器或生物武器的说明，和真的把它造出来，中间隔着的距离比大多数人想象得远得多，而 LLM 在这段路上帮不上忙。化学武器和生物武器都被国际条约禁止，原因之一是使用它们很难不反噬自己。他顺手举了火箭发动机：他可以把精确的制造步骤列给你，但哪怕你有 50 个经验丰富的工程师，也得先炸掉十几台才能得到一台能工作的。 这里又绕回莫拉维克悖论。把纸面指令变成物理世界里的实物，需要大量不写在指令里的知识。有生物学家在网上回应那些担心，大意是，你知道实验室里的活儿有多难干吗，这可不轻松。 ## 通用人工智能不会是一个事件 他反复强调一点：AGI 不会在某个时刻被"发现"，然后某台机器被打开，人类就进入了新时代。好莱坞的叙事就是这个样子。 真实的路径是渐进的。会先有能从视频里学会世界如何运转、学出好表示的系统。然后会有带大容量联想记忆、能记住东西的系统。然后会有能推理和规划的、按目标驱动的系统。最后要把这些拼在一起，还要解决分层规划、分层表示、按情境重新配置能力这些问题。 他的判断是这至少需要十年，很可能更久，因为现在还有一堆看不到的坑，没人知道这个框架里是否存在简单解。他说他听这套"AGI 就在转角"的说法已经 12 到 15 年了，这些人系统性地错了，当年他就知道他们会错。 顺带他把"智能"这个概念本身拆了。智能不是线性可比的量，也没法用一个数字衡量。人类比猩猩聪明吗，有些维度上是的，但猩猩在森林里生存所需的大量领域比人类强。IQ 能对人类测出点东西，前提是人类这个物种本身同质化程度很高。换成一个能力分布完全不同的智能体，这个指标就没有意义。智能是一组技能的集合，加上高效获得新技能的能力。这组技能铺开在一个高维空间里，两个智能体之间没法简单排出高低。 至于 AI 末日论者，他逐条反驳。 第一个假设，超级智能的出现是一个事件，因为我们从没做过，所以第一次就会失控。这条前面已经说过，错的。会先有和猫差不多聪明的系统，然后一点点往上走，每往上走一步都会同步加上护栏。 第二个假设，越聪明的物种越会消灭别的物种。他说这很荒谬。首先 AI 不会是一个物种，不会和人类构成物种竞争。其次，支配欲不是智能的自然产物，它必须被硬编码进去。支配欲、顺从、争夺地位，这些是群居物种的特征，人类有，狒狒、黑猩猩、狼有，红毛猩猩没有。而红毛猩猩几乎和我们一样聪明。 那 LLM 不受控怎么办？他的回答是 LLM 确实不受控，但目标驱动的 AI 不一样，它的答案来自对目标函数的优化，而目标函数里可以直接写进护栏。一条是服从人类，另一条是在伤害他人时不要服从。 当然他也承认这事没有银弹，没有数学证明能保证系统安全。会是一个不断迭代的设计过程，出错就修正。他拿涡轮喷气发动机打比方：这种东西在极高温度下连续运行 20 小时，可靠到能让双发客机以接近音速飞越半个地球，这是怎么做到的？ 通用原理并不存在。安全是几十年一点点调出来的。而且通用电气或者斯奈克玛内部并没有一个专门负责安全的独立部门，安全就长在设计里，因为更好的发动机同时就是更安全、更可靠的发动机。**AI 也一样，让 AI 更好，它就会更安全。** ## 那个试图给你洗脑的 AI，得先过你 AI 这一关 Lex 提出一个更贴近现实的威胁：一个极其有说服力的 AI，可以操纵人的心智，政府可能拿它当武器。这算不算是 AI 版的核武器？ 杨立昆说不是。区别在于核武器是一次性的、决定性的突破，谁先拿到谁就改变格局。AI 不属于这一类，任何突破都会极快地扩散。 这个场景是这样的。某个国家造出一个 AI，试图说服每一个美国人去投票给某个特定的人。它根本接触不到你，它只能接触你的 AI 助手，而你的助手和它一样聪明。你甚至不会知道这件事发生过。你的助手会说这是垃圾信息，直接拦下来。垃圾邮件过滤器就是这个逻辑，你不会看到那些邮件，它们在你看不见的文件夹里被处理掉了。 他给了一个具体数字支撑这个说法：**AlphaGo 发布后三个月内就被复现了**，而且是在没有详细资料的情况下。这个领域不擅长保密，人从一家公司跳到另一家公司，信息就流出来了。硅谷之所以成功，恰恰就是因为信息流动得快。 关于对新技术的恐慌，他提了一个网站叫悲观主义者档案（Pessimist Archive），里面收集了几百年来报纸上那些关于新技术如何毁灭社会的报道。爵士乐、漫画书背过失业的锅，曾经有人认真论证火车开过每小时 50 公里人就没法呼吸。这些是膝跳反射式的反应，几百年来一直如此。真正的问题只有一个：我们是拥抱变化，还是抵制它，以及哪些是真实的危险，哪些是想出来的危险。 ## 人形机器人还差一个世界模型 特斯拉 Optimus 让整个人形机器人赛道重新热了起来，波士顿动力在这个方向上已经做了很多年，现在又多出 Figure AI、宇树等一批公司。 杨立昆的判断是，人形机器人会来，但不是很快。接下来十年会很有意思，因为机器人产业已经等了十到二十年还没真正起来，除了那些预先编程好的行为之外。卡住的还是莫拉维克悖论：怎么让系统理解世界如何运转，然后规划动作。 波士顿动力的路线是用大量手工建的动力学模型和提前规划，是很经典的机器人学加上很多创新和一点感知。但这条路造不出家用机器人。完全自动驾驶远未解决，靠行驶 20 小时自学成才的系统更是遥不可及。在没有世界模型之前，机器人不会有实质进展。现在做机器人硬件的人，某种意义上是在赌 AI 会及时跟上。 FAIR 里有个叫具身智能的小组，不自己造机器人，用商用机器人做研究。你可以让机器狗去冰箱那儿，它能打开冰箱，还能拿出里面的罐子递给你。它能导航，能抓取它被训练识别过的物体，现在的视觉系统在这件事上做得不错。但让它收拾餐桌，远远不行。 Lex 提到家用机器人是件很有吸引力的事，因为它能让人和 AI 在物理空间里直接打交道，人因此有机会去探索人和机器人之间的关系。杨立昆说，他也希望这件事能快点成。但他们在这个方向上已经摸索了十年，真正有实质进展是最近两三年。 ## 给想做研究的人：三个还没有答案的问题 他特别强调，这里面的很多突破不一定需要天量算力，做博士还有大量空间。他列了三个方向。 一个是靠观察训练世界模型，怎么训练、需不需要超大数据集，都还开着。也许要像 LLM 那样靠规模涌现，但他认为很多好想法不需要堆算力。 第二个是用学到的世界模型做规划。而且这里的"动作"不限于物理动作。如果系统运行的环境是互联网，一个动作可以是搜索、查数据库、跑一次模拟、调用计算器、解一个微分方程，那么怎么让系统规划出一串动作去解决一个问题？FAIR 做过一个叫 Toolformer 的工作，还有别的规划相关研究，但他认为没有好答案。 第三个是分层规划。从纽约到巴黎这个例子是分层的，几乎所有行动都带有分层结构。但在 AI 里，分层规划的各个层级表示都必须由人来指定。机器狗从客厅去厨房，我们可以设计一个高层路径规划避开障碍，再交给一个低层规划器，让它算出腿该怎么动才能跟上这条轨迹。这套两级规划能跑，但两级之间的划分是手工设计的。哪一层该用什么抽象、用什么表示，全靠人指定。 深度学习能让人从数据里学到分层表示的"感知"版本。如果对象换成行动方案，对应的版本是什么？没有答案，也没有任何演示。 他点出的关键是，这三个问题目前没有人有解，也没人知道解该长什么样。打算读博的人可以拿它当坐标。 ## 印刷术、书法家协会，以及我们今天在保护谁 访谈最后，Lex 问了一个大问题：面对战争、分裂、仇恨，什么让你对未来有希望？ 杨立昆的答案是他反复讲的那一套：AI 会让人变聪明。每个人都会拥有一批比自己更聪明的 AI 助手，它们听你调遣，用比你更好的方式完成任务。这就像管理一个团队，其中有些人比你聪明。他说他这辈子一直在和比自己聪明的人共事，这是件非常美妙的事。 > 人类犯的所有错误，归根结底都是因为智能不足，或者知识不足。（杨立昆） 智能是最被需要的商品。让人变聪明，只可能变得更好。这和公共教育是好东西、书是好东西、互联网是好东西是同一个道理，社交网络只要运营得当，本身也是好东西。 他把 AI 助手普及这件事在人类史上的对应事件，类比为印刷术的发明。 印刷术让所有人变聪明了。书变便宜了，更多人有了学认字的动力，以前不是这样。启蒙运动没有印刷术就不可能发生。哲学、理性主义、从宗教教条里挣脱出来、民主、科学，都建立在这上面。没有印刷术，大概也不会有美国独立战争和法国大革命，我们可能还活在封建制度下。 但印刷术也带来了欧洲长达两百年的宗教冲突。因为人们第一批读到的东西是《圣经》，然后发现神父讲的和经文里写的可能不是一回事。新教运动由此而起，裂痕由此而生。天主教会不喜欢印刷术，但它没有选择。 今天没有人会说印刷术在总体上起了负面作用，哪怕它带来了两百年宗教战争。 这个类比里最有意思的一半在后面。杨立昆说他本来很得意于这个类比，后来发现有人先想到了。他拿奥斯曼帝国作对照。奥斯曼帝国把印刷术禁了两百年，而且只禁阿拉伯语印刷，拉丁语、希伯来语的书照样可以印。 他原以为原因很简单，统治者想维持对民众和宗教教条的控制。后来他和阿联酋 AI 部长 Omar Al Olama 聊起这件事，对方告诉他还有另一个原因：**为了保护书法家协会**。用漂亮的字体抄写诗歌和宗教文本是一门艺术，而这个行会势力很大，几乎掌控了帝国的相当一部分。你没法让他们失业。 于是问题被抛回来了。今天要禁 AI 的人，到底是在保护谁？ 他不否认技术变革对就业市场的冲击是个真问题，但他咨询过的经济学家告诉他，这不会造成大规模失业，只会让职业结构逐渐迁移。十到十五年后最热门的职业是什么，今天没人知道。二十年前也没人能想到移动应用开发者会成为最抢手的岗位之一，那时候智能手机还没被发明。 ## 一封来自未来的操作清单 这场对话里，杨立昆其实给每个角色都留了具体的活。下面是他给出的具体建议。 - 如果你是研究者或博士生，别把算力当作入场券。他从自监督学习里列出的三个开放问题，训练世界模型的表示、用世界模型做规划、学习分层规划，都可能在没有超大规模集群的情况下做出东西。判断切入点的标准是：这个问题有没有清晰的成功判据，能不能被今天的评测证伪。 - 如果你在做产品，把基座模型和最后一公里分开看。基座可以来自开源，真正的壁垒在你的私有数据、在你的垂直场景、在你能把系统调到多贴合具体用户。塞内加尔的医疗信息、印度的 22 种官方语言、一家出版社的几千本书，都是这个逻辑。 - 如果你在评估风险，先问这个问题：它是不是一个事件。核武器是事件，谁先拿到谁改格局。AI 走的是一条不同的路径，它是连续进展，任何突破都会在几个月内扩散。判断一项 AI 危险性的第一步，是分清它属于"一次性突破"还是"可复现的能力"。 - 如果你担心模型偏见，别指望做出一个让所有人都满意的系统，那在定义上就不可能。可行的做法是让系统足够多，让每个人都能找到贴合自己价值观的那个。这意味着支持开源、支持微调生态。指望某一个模型对所有问题都给出一致答案，那条路走不通。 - 如果你在做安全护栏，与其贴在产品外面，不如写进目标函数。目标驱动的架构里，护栏是优化目标的一部分，"服从人类"和"在伤害他人时不要服从"可以直接编码进去。这比事后加一层过滤要牢固。 - 如果你只是普通用户，注意一件事：你未来与数字世界的每一次交互都会被 AI 中介。这意味着你的 AI 助手会替你挡掉绝大多数针对你的操纵尝试。培养一个能替你判断信息真伪的助手，比逐个分辨每条信息更现实。 - 如果你在焦虑"AI 会不会是人类最后一个发明"，回到印刷术那个类比。变革会带来很长时间的混乱，这是常态，不是失败。真正需要防的是权力通过技术高度集中。开源在这里提供了具体的对冲手段，超出了理想主义口号。 杨立昆在节目最后没有给出任何宏大预言。他说的是一件更朴素的事：让 AI 变好，它就会变安全。这两件事在他那里从来不是一对矛盾。