2026 年 AI 现状：大模型、编程、扩展定律、中国、智能体、GPU、AGI

2025 年，Anthropic 在法庭上输了，要赔作者十五亿美元。花钱买书扫描那部分法院认了，用种子下载那部分没认。这笔钱在硅谷的讨论里几乎没留下什么痕迹，可它是十五亿美元。

这件事说明的东西比金额本身更重要：训练数据是这场竞赛里最贵、最不透明、最容易打起来的资产。第 490 期 Lex Fridman 播客里，Nathan Lambert 把话说得更直：

如果你加入一个前沿实验室，想产生影响，最好的做法就是找到更好的新数据。那些花哨的算法突破，比如想出怎么缩放强化学习，是科学家眼里最性感的想法。有团队做成了，可更多的贡献其实是“我把数据做得更好了”，或者“我把基础设施做得更好了，让我团队里每个人跑实验快了 5%”。（Nathan Lambert）

这期节目 2026 年 1 月底录制，嘉宾除了 Nathan，还有 Sebastian Raschka。前者是 Allen Institute for AI 的后训练负责人，写过 RLHF 领域的标准参考书；后者写过《从零构建大语言模型》和《从零构建推理模型》。三个人坐下来聊了一整年 AI 到底发生了什么，接下来一年可能会发生什么。

聊到最后能拎出一条主线：过去一年最大的变化不在模型架构上，在训练方法和数据质量上；模型之间的能力差距在收窄，差异化竞争正从模型本身转向产品形态和工程效率；2026 年的看点不在更大的模型，在推理成本、上下文管理和智能体系统的成熟度。

DeepSeek 丢了王冠，接班的还是中国公司

2025 年 1 月，DeepSeek R1 发布，整个行业震了一下。接近甚至达到当时最前沿的水平，据说用的算力少得多、成本低得多。一年过去，Nathan 的判断是 DeepSeek 正在失去它在中国开源模型界头把交椅的位置，接班的却不是美国公司。

现在有一大堆中国科技公司在发布非常强的前沿开源权重模型，DeepSeek 正在失去它作为中国最杰出开源模型制造者的王冠，Z.ai 的 GLM、MiniMax、月之暗面的 Kimi K2 Thinking，尤其最近几个月，光芒更盛。（Nathan Lambert）

DeepSeek 没变差。Sebastian 补了一个关键视角：其他公司在用 DeepSeek 的思路做自己的模型，架构几乎一样，只是训练得更晚，所以看起来更好。这种跳跃式竞争的结果就是，最新的模型往往就是当下最好的模型，领先者并没有做错什么。

有个被忽略的商业逻辑。Nathan 经常收到一些中国公司的主动接洽，对方很清楚一件事：美国的大科技公司和 IT 企业出于安全顾虑，不会为中国的 API 付费。开源权重模型于是成了进入美国 AI 支出市场的通道。企业下载权重、自己部署、自己微调，数据不出内网，安全顾虑绕开了，影响力照样打出去了。

许可证的友好程度也在起作用。Llama 和 Gemma 的许可证带用户数上限之类的附加条款，超过一定规模要向 Meta 或 Google 报告财务状况。中国这批模型用的是几乎没有附加限制的开源许可证。想做商业产品的团队，这个差别是实打实的。

两家中国开源公司已经开始走上市流程。MiniMax 和 Z.ai 都递了 IPO 材料，在西方做大量的市场推广，想要西方用户的注意力。DeepSeek 反而一直沉默，它由一家叫 High-Flyer 的对冲基金孵化，外界不清楚它到底拿模型干什么、在不在意这些事。同样是开源，背后的激励结构完全不同。

2025 年谁赢了，2026 年谁会赢

Lex 问得很直接。Nathan 的回答绕了一下，落脚点很明确。

2025 年的消费者聊天机器人赛道上，动量在 Gemini 这边，可它是从一个很低的起点追上来的。Bard 时代的失败不用回避，Google 顶着组织层面的混乱把 Gemini 3 做出来，这件事本身值得给 credit。Nathan 说自己不太敢押 Gemini 赢过 ChatGPT，OpenAI 作为在位者的优势太大，而且 OpenAI 看起来乱，却非常擅长把事情做成。

GPT-5 收到的评价很分裂，其中有个被低估的设计：high-line 功能做了个路由器，大部分用户不再像以前那样烧 GPU 成本。这是省钱的做法，也是让产品跑得更稳的做法。Nathan 说，很难把“我个人喜欢什么模型”和“什么能在普通用户那里产生差异化”分开来看。

2026 年，Nathan 的判断是：Gemini 会继续缩小和 ChatGPT 的差距，Google 的规模优势和把研究与产品分离的能力是结构性优势；Anthropic 会在软件和企业侧继续成功，这条路他们已经反复走过；基础设施这块 Google 的 TPU 给了成本优势，英伟达芯片的利润率太高，Google 能从芯片到数据中心自己搭一整套，不用付这笔溢价。

要赌一个全新的范式，Nathan 还是押 OpenAI。Deep Research、Sora、o1 这些定义性的东西都从 OpenAI 出来。他们的研究部门一次又一次证明了自己能把新想法变成产品。所以 2026 年大概率是关于规模，关于把模型里那些低垂的果实摘下来。

还有一个有意思的观察：三个人聊了二十分钟各自怎么在日常工具之间切换，谁都没提中国模型。Nathan 的解释很简单，美国模型目前就是更好，他愿意为那点边际智能付钱。中国模型在 OpenRouter、Perplexity 上都能跑，用起来图个新鲜，但不会回头。

我们不在这儿讨论中国模型，是因为美国模型目前更好，我们就用它。我试过那些开源模型，“挺好玩，但我不会回去用”。（Nathan Lambert）

他还提了一个技术层面的差异：从服务方式看，中国模型的每个副本用的 GPU 更少，代价是速度更慢、某些错误模式不一样。对用户来说，速度和智能同时占优才有意义。这个差距今年会不会反转，是这条赛道最值得盯的事。

架构没怎么变，变的是别的东西

这是整期节目里信息密度最高的一段。Sebastian 花了不少时间解释一个看着反直觉的事实：从 GPT-2 到 gpt-oss-120b，底层架构的变化远没有外界想象的那么大。

变化主要是几个模块的替换：多头注意力换成分组查询注意力，LayerNorm 换成 RMSNorm，激活函数从 sigmoid 一类换成 ReLU 一类，加上混合专家层。混合专家（Mixture of Experts，MoE）的逻辑是把原来那个昂贵的全连接层拆成多个专家网络，每个 token 只激活其中一小部分。有 256 个专家，路由器根据输入决定用哪几个。模型参数量可以做得很大，每次前向传播消耗的算力却不会同比例增长。

如果你熟悉深度神经网络，这就像把 sigmoid 换成 ReLU，并没有从根本上改变网络，只是一个小调整。基本上就是这样，它并没有本质上的不同，还是同一个架构。你可以通过添加这些改动，从一种架构转换到另一种。（Sebastian Raschka）

那进步到底发生在哪里？答案分三层。

第一层是训练阶段的分化。GPT-2 时代只有预训练，现在有预训练、中期训练、后训练。ChatGPT 本质上是一个 GPT-3，架构和 GPT-2 一样，新东西是监督微调加人类反馈强化学习。能力解锁发生在算法层面，不在架构层面。

第二层是系统工程。Nathan 提到英伟达发布会上的 FP8、FP4 这些精度优化，本质是让同样的硬件塞进更多计算、更快地做实验。训练代码库的变化是巨大的，架构看起来一模一样。拿同样的 GPU 训练 gpt-oss-20b，实际耗时可能远少于当年训练 GPT-2 的时间。这些系统层面的进步不直接给模型新能力，它让研究人员能更快试错、更快找到更好的配置。

第三层是替代架构的探索。文本扩散模型、Mamba 这类状态空间模型都在尝试，都有取舍。目前最前沿的性能还是来自自回归 Transformer，替代方案更多在成本敏感的场景里找空间。

缩放定律：四个旋钮都还转，性价比变了

Nathan 先给了个技术定义：缩放定律是计算量加数据量和留出集预测准确率之间的幂律关系。这个关系在预训练里已经验证了十几个数量级。后来 o1 引入了推理时缩放，让模型在回答前生成更多 token 来思考。再后来人们发现强化学习训练也能缩放，对数增加训练算力，线性提升评估表现。

现在是四个旋钮：预训练规模、强化学习训练时长、推理时计算量、上下文长度跟数据质量。问题不在哪个死了，在钱该往哪儿花。

Sebastian 算了一笔账。预训练是固定成本，训练完了能力就永远在那儿。推理时缩放按查询付费，用户越多花得越多。如果你的模型半年后就会被替换掉，花五千万美元多训练两个月可能不划算，不如把钱花在推理时缩放上。反过来，ChatGPT 有海量用户，每次查询都多烧推理算力会要命，所以 GPT-5 用了个更小的模型加路由器。

Nathan 补了成本结构里最关键的一点：训练成本相对于服务成本其实很低。DeepSeek 那个著名的五百万美元预训练成本按云市场价格算的。OLMo 3 的论文第 2.4 节详细写了集群租用、工程问题、多随机种子的总成本，大约两百万美元。可服务几亿用户的经常性成本是几十亿美元级别的算力。一千块 GPU 一天就是十万美元，这些公司可能上百万块 GPU 在跑。模型做大之后，服务成本的压力会倒逼团队把模型做小、把效率做高。

这些模型，很多人花一到一千万美元就能训一个出来，可用它服务几百万用户的经常性成本，是真的几十亿美元级别的算力。（Nathan Lambert）

关于“预训练已死”的说法，Nathan 认为那只是兴奋点转移了，实际发生的事情并非如此。他用 OLMo 3 的发布节奏举例：十一月二十号的截止日期，强化学习跑了五天；十二月又跑了一次，让 RL 多跑三周半，模型明显变好，就发布了。这种决策在训练模型时经常发生，你不能无限期留着不发布。研究人员的新改进要收进来，要重做预训练，要做后训练，要给用户，要做安全测试。整个循环被这些现实约束推着往前走。

Sebastian 的补充更干脆：在算力无限的理想世界里，四个旋钮全开。现实里算力有限，你要决定这一笔钱花在把模型做大，还是花在把知识解锁得更彻底。今年 Claude 4.5 的表现就说明了一件事，把大量预算砸进预训练未必是最好的选择，同样的钱花在推理时缩放或者后训练上可能回报更高。

数据才是真正的护城河

预训练数据集的规模以万亿 token 计。小模型五到十万亿，Qwen 有文档记录到五十万亿，据说闭源实验室能到一百万亿。真正用来训练模型的只是这个漏斗里很小的一部分。

合成数据的定义比很多人想的宽。DeepSeek 和 AI2 都做过 OCR 方向的论文，用光学字符识别从海量 PDF 里提取文本，这被归类为预训练的合成数据。ChatGPT 现在能给出很好的答案，拿这些最好的答案去训练，也是合成数据。这和早期 ChatGPT 幻觉数据完全不是一回事。

数据配比的方法论已经相当科学化。从 Common Crawl 里采样不同来源的小样本，比如 GitHub、Stack Exchange、Reddit、维基百科，训练小模型，测评估表现，做线性回归，得到最优配比。评估集一变，最优配比就变了。OLMo 3 做的大量工作就是加入推理相关的新数据源，让模型在数学和代码上更强，然后重新跑这套配比流程。

如果你改变评估方式，你的数据集就会大幅改变。OLMo 3 的很多工作就是加入新的推理数据源，让模型在数学和代码上更强，然后做这个混合流程，它会给你答案。（Nathan Lambert）

版权这块，2025 年还有一层复杂性被大多数人略过了。即使你买了电子书，用它训练模型也处在灰色地带。大公司已经开始找私有企业谈专有数据授权，私有企业越来越保护自己的数据，因为那是未来几年的护城河。制药、法律、金融这些行业，迟早会从前沿实验室挖人，用自己的私有数据训练内部模型。这些数据你根本拿不到，临床试验数据大部分时候不对外开放。从这个角度看，预训练缩放远没有死，只是战场从通用模型转向了垂直领域。

RLVR 解锁了什么

可验证奖励强化学习（Reinforcement Learning with Verifiable Rewards，RLVR）是 2025 年最重要的训练方法突破。Nathan 的团队在 DeepSeek 之前就在 Tulu 3 的工作里提出了这个术语，真正的训练突破是 DeepSeek 做的。

原理不复杂：让模型生成答案，用可验证的方式判断对错，正确率就是强化学习的奖励。数学题有标准答案，代码题能跑测试用例，这些领域天然适合。传统 RLHF 用的是人类偏好训练出来的奖励模型，问题域一下子窄了很多。换成可验证奖励之后，优化可以扩展到更大的规模。

Sebastian 给了一个亲手做过的例子：拿 Qwen 3 基础模型在 MATH-500 上跑 RLVR，基础模型准确率大约 15%，只跑了 50 步，几分钟，准确率从 15% 跳到 50%。

这个例子背后有争议。Nathan 指出，今年有两篇论文讨论 Qwen 的数据污染问题，具体表现是：如果你把数学题的单词保留但改掉数字，Qwen 会不加工具地给出一个高精度小数答案。这意味着它在某个时刻见过几乎一模一样的问题，并且用工具算出了高精度结果。一个不带工具的语言模型不可能天然产生这种输出。所以从 15% 到 50% 的提升，到底有多少是真正学会了新知识，有多少只是把预训练里已有的东西激活出来，研究社区还没有定论。

即使只是激活，这件事本身也很漂亮。你只给模型问题和答案，不约束中间过程，模型会自己发展出逐步推导的行为，会在发现自己算错的时候说“啊，我搞错了，让我重来”。DeepSeek R1 论文里把这个叫做 aha moment。Nathan 的补充是，预训练阶段模型已经看过整个互联网，包括数学课的转录文本里有人说“你试试这个，哦我搞砸了”。RLVR 做的是放大这类行为，因为它们在让模型思考更久、检查自己工作的时候非常有用。

我认为这些 aha moment 有点假，因为预训练阶段你实际上已经看过了整个互联网。你肯定见过有人在解释自己的工作，甚至是口头的，比如数学讲座的转录：“你试试这个，哦我搞砸了。”强化学习，这套 RLVR，非常擅长放大这些行为，因为它们在让模型思考更久、检查自己工作的时候非常有用。（Nathan Lambert）

RLVR 和推理时缩放是一个完美的组合。DeepSeek R1 论文展示了训练越久，模型回答越长，用的 token 越多。简单任务上变贵了，复杂任务上的准确率提升了。这两个东西互相强化，一起改变了模型的使用体验。

后训练的完整链条

Nathan 把后训练拆成三段讲。

中期训练提供模型学习技能所需的基础。o1 这类推理模型能出现，前提是中期训练阶段有大量精心策划的推理轨迹数据，就是模型把问题拆成中间步骤、一步步求解的文本。没有这些数据，后训练阶段的强化学习就没有可放大的行为。

RLVR 让模型在难题上反复试错，把大量算力投入到 trial-and-error 学习里。这里有个关键机制叫 GRPO，奖励基于同一个问题的多个答案之间的相对好坏来分配。所有答案都一样，就没有信号。所以实验室在找更难的题，这就是为什么你会听到科学领域、更难的软件工程问题，那些领域里模型很难全对，才有训练信号。

RLHF 是最后收尾，让模型更好用。组织方式、语气、风格这些人类反馈能教会的东西，是 ChatGPT 当年让人觉得神奇的根源。Nathan 说风格、格式和解题方法在训练时其实紧密相连，RLHF 仍然可以让模型数学更好，可验证领域是更直接的路径。

算力分配上，Nathan 提到 Grok 4 透露过预训练和后训练用的算力差不多。两者的硬件特性完全不同。预训练是计算密集型的，所有 GPU 互相通信，效率极高。强化学习是内存密集型的，要生成很长的序列，注意力机制在长序列下内存是二次增长。从时间维度看，RL 训练的天数正在接近预训练，同时用的 GPU 数量少一些。实验室里有条经验法则，预训练不要超过一个月，因为大规模训练失败是常态，十万块 GPU 里几乎肯定至少有一块是坏的。你规划了两个月的大集群第五十天挂了，机会成本太大。GPT-4 那种训练三个月、所有人都吃惊它居然成了的 YOLO 式做法，现在没人想再来一次。

从零构建是最好的学习方式

Sebastian 的两本书核心方法论就一句话：自己动手写代码。图的错误你可能看不出来，概念解释你可能理解偏，代码能跑就是对的，不能跑就是错的。这是最精确的验证方式。

他推荐的学习路径很具体：先用 GPT-2 这样的小模型在一张 GPU 上跑通，理解注意力机制、预训练、监督微调各自在干什么。然后去 Hugging Face 上看目标模型的 config 文件，一百行左右的人类可读配置里写清楚了用了多少层、什么注意力机制、什么位置编码。从 GPT-2 出发，把这些组件一个个加上去，加载预训练权重，看输出能不能和 Transformers 库的参考实现对齐。对齐就等于架构写对了，等于给自己发了一个验证奖励。

最难的地方在于找到你要理解的那一部分，这就像大海捞针。但好在它有一个能跑的完整实现，你可以反向工作。（Sebastian Raschka）

他自己复现 OLMo 3 的时候，卡在 RoPE 位置编码的 YaRN 扩展上，那里有自定义的缩放逻辑，一开始怎么都对不上。在一整天的挣扎里，你反而真正理解了那个东西在干什么。最后用单元测试对上了参考实现，那种确认感是看论文得不到的。

这里有个更深的讨论。Lex 提到一份对 791 名十年以上经验的专业开发者的调查，结果显示资深开发者比初级开发者更倾向于让 AI 生成超过一半的交付代码。直觉上你会觉得初级开发者更需要 AI，数据反过来了。一种解释是资深开发者更擅长审查 AI 生成的代码，所以更信任它。另一种解释是 AI 还解决不了初级开发者面对的那些问题。

Sebastian 的担忧是：你从来不自己动手，怎么成为专家？数学课本上直接看答案也能学到东西，先自己做一遍、卡住、再去看答案，你会把解法放进自己的心智框架里。LLM 永远在旁边，你还愿不愿意经历那个挣扎的过程？挣扎不舒服，不经历又永远到不了那个能用 LLM 做杠杆的专家位置。

我认为存在一个黄金平衡点，也许诀窍是你每天安排专门的两小时离线时间用来学习，一天中其余时间使用 LLM。我认为人们仍然要投资自己，这很重要，不能把所有事都交给 LLM。（Sebastian Raschka）

职业选择：学术界、开源实验室还是前沿实验室

Nathan 把这几个选项的梯度讲得很直白：越闭源，钱越多，你能拿到的 credit 越少。学术界能清楚地建立作品集，博士生基本不拿钱，能走这条路的人往往有比较稳定的安全网。前沿实验室给的钱是改变人生的量级，OpenAI 平均每位员工每年股票收入超过一百万美元，可你在里面是一台机器上的齿轮，发表越来越少。

他带学生的时候会跟学生说：如果你拿到的是 OpenAI 的 offer，离开博士项目我觉得可以理解；如果是个可能归零的随机创业公司，别去。

有个观察很有意思。Nathan 说他的教授朋友平均来说比在前沿实验室工作的朋友更快乐。原因不在工作量，教授要写基金、要教书、要做研究，三份工作合一。原因在有学生、有持续的指导关系、有一个跟人有关的使命。在事情变化很快、很混乱的时代，这种东西对人的滋养很强。

9/9/6 的工作文化被拿出来讨论，早九点到晚九点、一周六天，七十二小时。Sebastian 说这几乎翻转了他对学术界的认知，以前当教授是三份工作合一的压力，现在前沿实验室的强度让教授相比之下显得没那么夸张。Nathan 提到《苹果在中国》那本书里写的供应链团队，有专门的“拯救婚姻”项目代号，同事看到某个人需要回家陪家人，会发红色警报让这个人周末必须回去。书里还提到有人因为这种工作强度去世。这些人没有被强迫，他们对产品太有热情，自己进入了那种状态。Sebastian 说自己也有过，做出过背部和颈部的毛病，没人逼他，是他自己想干。

文本扩散、工具调用、持续学习

文本扩散模型的逻辑从图像生成搬过来。图像那边用扩散过程逐步去噪，效果超过了 GAN。文本是离散的，直觉上不好做去噪，BERT 那种并行填空的思路给了启发：从一段随机文本出发，多轮迭代逐步精炼。好处是一次可以生成多个 token，理论上更快。Google 已经发布了 Gemini Diffusion，声称在多数基准上同等质量下生成速度快很多。

Nathan 听到的实际用例是代码创业公司。用户说“改一下这个”，返回的是一大段代码 diff，不需要太多外部上下文，用扩散模型能很快生成很长的 diff。用自回归模型要几分钟，用户等不了，每一秒都在流失用户。工具调用这块扩散模型不好做，自回归的链条被外部工具打断之后，扩散的并行生成没法自然衔接。Nathan 原本以为不同类型模型会更快地分化到不同用途，实际比预想慢。

工具调用本身是 2025 年一个重要的解锁。gpt-oss 是第一个真正带着工具使用意识训练的开源权重模型，生态还没完全准备好。幻觉问题最好的解法之一就是别让模型硬记，数学用计算器、事实查搜索。Sebastian 说这没法完全解决幻觉，模型得知道什么时候该调工具，互联网上的信息也不总是对的。方向是对的。

还有一篇 Sebastian 很喜欢的论文，递归语言模型。做长上下文任务时把整段内容拆成子任务，让模型决定哪些子任务合理，递归调用自己去解决，每个子任务可以调工具去查资料，最后汇总。这个思路的价值在不改进模型本身，改进的是模型被使用的方式。

持续学习是目前最模糊的地带。Nathan 给了个判断标准：语言模型能解决很多任务，可 AI 社区一个关键里程碑是 AI 能替代任何远程工作者，接收信息、解决数字任务。限制在语言模型不会像员工那样从反馈里学习。你雇一个编辑，他可能犯错，你告诉他，他不会再犯。语言模型没有这种快速修改自己、快速学习的能力。

反方观点是：也许不需要改权重，只需要给更多上下文。你可以写很长的文档，说“这是我所有的博客文章，我喜欢这种写法，我的声音基于这个”。大部分人不会给模型提供这些。智能体模型才刚刚开始。取舍就在这里：通过持续学习更新权重让模型快速学习，还是给更多上下文、靠模型本身足够聪明来制造“学会了”的表象。

Sebastian 的看法更务实：权重更新这件事已经有不同版本在做了。GPT-5 到 5.1 到 5.2 就是快速策划的更新，社区反馈了做不到的事情，更新权重，发布下一个模型。RLVR 是更细粒度的版本，跑一遍就更新一次。问题在不能对每个人单独做，成本太高。这件事只有在设备端、成本由消费者承担的时候才可行，就像苹果把模型放在手机上让它从使用中学习。

机器人、世界模型和 AGI 时间线

Sebastian 提到 Meta 有一篇叫 Coder World Models 的论文，把世界模型的概念用到 LLM 上：不只检查最终答案对不对，还检查中间变量对不对。模型在学一个代码环境。这个方向很合理，只是贵。它让整个过程更精细，不只建模结果，还建模过程。

他回忆起读研时参加 CASP 蛋白质结构预测竞赛的经历。AlphaFold 第一版显式建模了物理相互作用、分子物理、不可能的角度这些东西。到第二代，这些被去掉了，直接暴力缩放。LLM 现在正处在暴力缩放有效的阶段，Sebastian 觉得某个时间点把物理约束那套东西找回来可能是有意义的。CASP 那种“benchmark 存在但没人知道答案，要等实验揭晓”的机制，LLM 领域也需要一个。

机器人这块 Nathan 的态度很分裂。他对消费级家用学习型机器人非常悲观，对自动驾驶非常乐观，对仓储自动化这类为机器人重新设计过的环境也非常乐观。Amazon 建了全新的配送中心，从一开始就为机器人设计，没按人类习惯建好再塞机器人进去。这条路径合理得多，重复性任务、人类能做但不想做、环境可以重新设计。可它比大部分人预测的花更长时间。

Lex 补了一个很少被提及的点：安全。LLM 里的失败模式是有趣的谈资，在机器人领域、在人们家里、在数百万分钟和数十亿次交互里，你几乎不被允许失败。具身系统放到真实世界里，你要解决的问题比单纯思考通用机器人学习问题多得多。

AGI 和 ASI 的定义没有人真正达成一致。Nathan 说有个还算合理的锚点是“能复现大部分数字经济工作”，远程工作者是个不错的例子。这个定义他不喜欢。今天语言模型虽然强大，远不是即插即用的远程工作者。有些事比远程工作难得多，做出一个你事先无法设想的科学发现，或者读取所有医疗记录，找到没人知道的疾病关联，发现某种常见药能治疗某种罕见癌症。这些是超级智能级别的问题。

AI 2027 报告把目标定在超级人类程序员，然后超级 AI 研究员，再是超级智能 AI 研究员，最后是完整 ASI。最初的预测 2027 到 2028 年，后来推后三到四年到 2031 年。Nathan 的预测比 2031 年还要靠后。他所属的阵营认为 AI 是锯齿状的，有些事极其擅长，有些事非常糟糕。当模型接近自动化软件工程师的时候，它在传统 ML 系统和前端上很强，在分布式 ML 上很差，因为大规模分布式学习的训练数据很少。这种锯齿会持续存在。人类有创造力，会利用模型的超强能力去填补模型的弱点，快速推进。最好的 AI 研究员就是能启用这种超能力的人。

大科技公司花一千亿美元的速度，会比我们得到一个自动化 AI 研究员、引发 AI 研究奇点的速度快得多。（Nathan Lambert）

广告、并购和 Llama 的黄昏

Nathan 预测广告会来。现在 LLM 便宜是因为大量补贴，最终会通过广告变现。Google 最有可能先做成这件事，它已经有广告供应侧。如果它想清楚怎么把 Gemini 应用的需求转化成有用的广告，随时可以开闸。现在没人做的原因很现实：竞争对手都没做，先做的会因为新闻头条损失声誉。只要有人开了头，飞轮一旦转起来，十年后广告收入能支撑更好的研发、更好的模型，这个逻辑是 YouTube 主导视频市场的逻辑。Netflix 害怕 YouTube，因为 YouTube 的广告模式让它能持续投入，Netflix 靠订阅费。

并购方面，Dario 不会卖 Anthropic，这是 Nathan 的判断。整合压力已经出现：Groq 估值两百亿美元，Scale AI 接近三百亿。有些交易结构对硅谷生态是有害的，那种授权式收购，没做到全员被带上，只拿走顶尖人才。你加入一家创业公司，即使不太成功，公司也可能被低价收购，你的期权能兑现。授权式收购把这个生态的底层逻辑抽掉了。

Llama 的故事被拿出来当案例。Nathan 不觉得会有开源权重的 Llama 5。Sebastian 的分析是：Llama 1、2、3 是开源权重模型的先驱，社区很爱。问题出在上层管理者看到 Llama 在社区里受欢迎，想把开源当成更大的声量工具。Llama 4 那些超大模型是为了刷榜，可 Llama 的目标从来不该是刷榜击败 ChatGPT。目标是让人们能用、能信任、能修改、能理解。这包括有小模型，不必是最好的模型。这些模型因为用了偏好数据专门调过，在 benchmark 上表现比实际好，小模型又没做，没人跑得动大模型，整个事情就变得很奇怪。Nathan 的补充更直接：在内部分歧和错位的激励下崩溃了，研究人员想做出最好的模型，中间有一层管理层想证明自己做了这些事。

还有个被低估的细节。社区对 Llama 4 的猛烈批评，可能反过来推了 Meta 一把。公司本来指望正面报道，结果是负面报道，心想“我们试着做了件好事，给你们一个开源模型，你们这么骂”，于是就有了“那我们重新评估一下和开源的关系”。X 上的舆论生态能把社区带偏，Groq 4.1 和 Grok Code Fast 也是类似的例子，Reddit 和 X 上没人夸，用的人却不少。

ATOM 项目和开源模型的美国缺口

Nathan 花了五个月做政策方面的工作，推一个叫 ATOM 的项目，American Truly Open Models。起因是 2025 年 7 月，市面上有四五个 DeepSeek 级别的中国开源权重模型，美国这边是零。

他的论证逻辑很清晰：开源模型是 AI 研究的引擎，人们做研究是从这些模型开始的，拥有它们很重要。美国应该在造最好的模型，这样最好的研究发生在美国，美国公司能从“AI 研究发生在这里”这件事上获取价值。现在的局面是，网站上的图表全是 Qwen、Qwen、Qwen，这些来自中国公司的优秀模型正在美国和国际上积累影响力。美国在 AI 上的支出远超中国。造一个比闭源前沿实验室落后半代到一代的开源模型，成本大约一亿美元。很多钱，跟这些公司的体量比不算什么。需要一个中心化的力量把愿意做这件事的人聚起来。

反馈是积极的。NSF 给了 AI2 四年一亿美元的资助，这是 NSF 历史上最大的计算机科学 grant。英伟达 2025 年动作更大，Nemotron 3 发布的模型和部分数据都更开放，英伟达这个体量的公司很少有愿意这么做的。Reflection AI 二十亿美元的融资明确说要造美国开源模型。白宫的 AI 行动计划里有专门一节叫“鼓励开源和开放权重 AI”，定义这类模型并论证它们对创新和创业的独特价值。

Nathan 说他本来可以让这个故事更病毒式传播，讲中国 AI 和威权国家结合、变成 ASI、统治世界、所以我们需要自己的美国模型。他刻意讲创新和科学，那个结局更现实，也是他更愿意去实现的世界。

关于曼哈顿计划式的中央化和保密，Sebastian 和 Nathan 都认为不可能。知识一旦存在就 containment 不住。训练这些模型的成本，一亿到一亿美元，全世界有大量的人能够达到。这些模型会在世界各地被训练出来。要阻止这件事，需要对互联网做一次彻底的重构，建一道美国的大防火墙，而防火墙是已知不太好用的。

硬件、伟人和一百年后

英伟达的护城河在 CUDA 生态，二十年积累下来的兼容性。Sebastian 读研时做生物物理模拟、分子动力学，实验室里就有一块 Tesla GPU 专门做计算。那时候没人知道这是为 AI 准备的。有了 LLM 之后，复制一个 CUDA 容易多了，当初花十五年是因为难。训练和推理的算力分离正在发生，Groq 被收购就是为了这个，Vera Rubin 架构里有专门为 pre-fill 设计的芯片，不需要高带宽内存，per flop 的拥有成本低很多。只要 AI 进展的速度快，英伟达的平台最灵活，人们会想要这个。如果停滞了，定制芯片就有更多时间去做。

关于伟人史观，Nathan 的观点是：这些人让事情发生得更早、更快。科学上很多伟大科学家都承认自己在正确的时间出现在正确的地点，最终别人也会有这个想法。Jensen 让 GPU 革命 manifest 得更快、更聚焦。ChatGPT 最终会发生，这种建设最终会发生，不会这么快。另一条时间线里，深度学习可能再等二十年，或者又一个寒冬来了，因为 GPU 不在。Sebastian 说这就像投资 ETF 和个股，个股波动更大，最终会到同一个地方，区别在聚焦。热情和专注让事情提前发生。

一百年后回头看，Sebastian 认为被记住的是“计算”这个大伞。被记住的并非 AI、CUDA、GPU 的具体细节，是计算本身。这可能是一个摩尔定律式的讨论。Nathan 想的是连接性，互联网和算力能不能合并。连接人这件事非常基础，你想找到世界上某个领域最好的人，那个人在世界某个地方，信息能流动到那里是根本性的。AI 也依赖这个。他之前说“一个中心模型”的梦想正在死去，正在演化的是人们为不同任务拥有多个 agent，已经在发生了，不同任务用不同 Claude。这被描述为数据中心里的多个 AGI，每个管理一些东西，互相通信。这极其依赖网络和信息自由流动，网络，尤其 GPU 之间的网络，本身就是算力缩放的一部分。

一百年后的人怎么和设备交互。Sebastian 说很难想象还是手机和笔记本电脑，会不会是植入设备。Lex 说必须是脑机接口，除非人类和现实交互的方式彻底改变。Nathan 觉得人们还是会随身带一块物理的计算砖，人需要一个私密的接口。可能不像 iPhone，可能用得少很多，你还是会带点什么。他不确定人脑能不能处理非视觉方式灌进来的信息，比如你给计算机一个信号，然后你就知道了你的收件箱，这事人脑能不能承受。人一百年不会变。Agency 和社区是人真正想要的东西，你亲近的人、能和他们一起做事、能给自己的生活赋予意义。这些东西不会在我们可以讨论的时间尺度上被人类生物学改变。

Lex 补了一段必须被记住的话：社会转型过程中大量工作消失，每一个失去的工作都是一个正在受苦的人。落到每个具体的人身上，那是真实的个人悲剧。我们讨论经济学、讨论 GDP 会好、讨论新工作会被创造出来的时候，不能忘记这一点。Nathan 说他希望社会在 AI 垃圾内容里淹得足够深，然后突然醒悟，受不了了，物理世界的东西重新获得溢价。就像艺术，数字复制品可以完美，你站在博物馆看真迹，你知道那是人手做出来的，那种欣赏是不一样的。

关于人类和机器的战争，Sebastian 说他不担心 AI 接管，原因在意识。人类决定自己想做什么，AI 在目前的实现里，你告诉它做什么它就做什么。代理权还在你手里，它没有拿走你的代理权，它变成了一个工具。它比其他工具更自动、更强大，仍然是你在掌控。

如果要在 2026 年做点什么

这期节目信息量很大，落到行动上，对读者真正有用的东西集中在几个方向。下面这几条可以作为自己的行动清单。

• 自己从零写一遍 GPT-2，然后复现一个当红开源模型的架构。单张 GPU 能跑通就行。看 config 文件，列组件，从 GPT-2 出发一个个加上去，加载预训练权重，用输出对齐参考实现作为验证。这个过程的摩擦本身就是学习。
• 把每天两小时设成离线学习时间，其余时间才用 LLM。挣扎不是敌人，卡住才是真正在学的证据。把一切外包出去，两年后你会发现自己再也够不着专家用 LLM 做杠杆的那个位置。
• 如果做研究，先做窄，再做深。读三五篇论文就能站到某个细分领域的前沿，然后写一封认真的邮件给作者。匿名 X 账号和 ML 圈的距离比想象中近得多。没算力的人做 eval 是最优解：找到 Claude 明显失败的地方，如果你的 eval 被下一代模型写进博客，职业火箭就起飞了。
• 如果做产品，关注文本扩散在长 diff 生成上的应用，以及工具调用在开源生态里的缺口。前者已经被代码创业公司用来解决用户等待时间问题，后者是开源模型落后闭源模型一个身位的地方，谁补上都可能吃到红利。
• 如果做企业决策，考虑用中国开源权重模型做内部部署。许可证干净，可以在自己的硬件上跑，数据不出内网。美国大公司因为安全顾虑不会买中国 API，下载权重自己部署是另一回事。这正在成为很多美国创业公司的默认选项。
• 如果你是资深开发者，别只把 AI 当加速器，把它当教你新东西的合作者。调查数据里资深开发者比初级开发者更依赖 AI 生成交付代码，真正的杠杆在于用 AI 拓展你原本够不着的领域，用它做你已经会做的事价值有限。
• 如果你在硅谷，走出去。读历史书，去别的地方看看。Twitter 和 Substack 不是整个世界。泡泡有用，待在泡泡里太久会失去判断现实的能力。一百年后回头看，被记住的是计算本身。计算最终服务于什么，取决于此刻还在泡泡外面看着这一切的人。