DeepSeek、中国、OpenAI、NVIDIA、xAI、台积电、星际之门与 AI 超级集群

DeepSeek-V3 的预训练用了 2000 张 H800，官方公布的成本是 557 万美元。这个数字在 2025 年 1 月底传遍硅谷，NVIDIA 单日市值蒸发近 6000 亿美元。让同行真正坐不住的，是技术报告里另一层细节：一个中国团队在 NVIDIA 的 CUDA 之下手写 PTX 指令，直接调度 GPU 内部的 SM 核心，只为把混合专家模型的通信开销再压一点。全球能干这活儿的团队，一只手数得过来。

Lex Fridman 在 2 月初把 SemiAnalysis 的 Dylan Patel 和 Allen 人工智能研究所的 Nathan Lambert 请进播客。前者是半导体与算力供应链最权威的独立分析师之一，后者刚发布完全开源的后训练方案 Tülu 3。五小时聊下来，从混合专家的路由机制到台积电的研发集中度，从思维链的涌现到 Stargate 的钱到底在哪，2025 年初这轮 AI 竞争的关键问题基本都过了一遍。

V3 与 R1 共用一个底座，后训练分成两条路

很多人讨论 R1 时没分清它和 V3 的关系。Nathan 一开场就做了澄清：两个模型共享同一个预训练底座，叫 DeepSeek-V3 Base，是一个只做下一 token 预测的基座模型，输出像高级自动补全，用起来远不如 ChatGPT 顺手。

从这个底座出发，DeepSeek 做了两次互相独立的后训练。第一次是指令微调加人类反馈强化学习，得到 DeepSeek-V3，一个能聊天、能写代码、能答疑的常规对齐模型。第二次是在同一个底座上做强化学习，得到 DeepSeek-R1，会先写出一大段思考过程，再给出答案。

「预训练只做一次，从同一个底座出发，可以做两条完全不同的后训练路线。」（Nathan Lambert）

这个结构解释了 R1 为什么便宜。它不需要从零训一个新模型，只在 V3 Base 上追加一轮强化学习，成本远低于预训练。DeepSeek 还把 V3 Base 一并放出来，意味着别人能从源头复现整条路径，闭源实验室不会这么干。

开源权重离开源软件还差着几层

开源权重指的是把模型的权重矩阵挂到网上供人下载。这个词听上去跟开源软件是一家，实际差得很远。开源软件的核心是四条自由：使用、研究、修改、分发。开源权重只满足第一条。你拿到一堆几十 GB 的数字矩阵，能推理，看不到训练数据，也看不到训练代码，模型的偏好和盲区从哪里来，你只能猜。

Nathan 所在的 Allen AI 主张的是完整开源：训练数据、训练代码、权重一起公开。他的理由很直接，数据质量和数据过滤是决定模型质量的第一因素，训练代码决定实验迭代的速度。只给权重不给数据，复现成本会高出一个数量级。

DeepSeek 这次做得比 Meta 更彻底。R1 采用 MIT 许可证，商用不限、用例不限、可以用输出蒸馏合成数据。Llama 的许可证苛刻得多，有使用场景的限制，还有一条让不少人皱眉的条款：基于 Llama 做出来的模型，名字里得带 Llama。按开源软件的标准衡量，这就不算开源许可证。

Nathan 在节目里半开玩笑地总结：「我没法拿 Llama 做个便宜拷贝假装是自己的，但拿中国模型可以。」这话听着像调侃，其实点出了中国实验室在开源策略上的结构性优势。许可证越宽松，生态扩散越快，用的人越多。

成本被砍下来的两个技术支点

Dylan 把 DeepSeek 的效率优势归到两个技术选择上，剩下的靠无数工程细节叠加。

第一个是混合专家模型（Mixture of Experts，MoE）。传统稠密模型像 Llama 70B，每生成一个 token，700 亿参数全得过一遍。MoE 换了个思路：模型总参数做得很大，每次只激活其中一小块。粗糙地类比，大脑处理视觉任务时视觉皮层活跃，受惊时杏仁核活跃，各区域按需上岗。MoE 就是让不同的「专家」轮流值班。

DeepSeek-V3 总参数 6710 亿，每次只激活约 370 亿。对比 Llama 405B 是 4050 亿全激活，DeepSeek 的嵌入空间更大，能压缩更多知识，实际计算量却小一个数量级。训练和推理开销顺着往下掉。

真正激进的地方在稀疏度。业界常见的 MoE 像 Mixtral 是 8 个专家选 2 个，激活比例四分之一。DeepSeek 是 256 个专家选 8 个，激活比例只有百分之三点几。稀疏度越高，效率潜力越大，工程难度也越变态。模型大到一张 GPU 装不下，不同专家得分在不同节点上，一旦某批数据全被路由到同一个专家，那组 GPU 累死，其余节点干等。负载均衡和通信调度，成了这套架构最要命的地方。

MoE 还有个老问题叫辅助损失。训练时如果不管，模型会偷懒，只用少数几个专家，其他专家永远学不到东西。学界通常加一个辅助损失项强制均衡，代价是干扰主目标。DeepSeek 的改法是给路由加一个可更新参数，每个 batch 之后调整一次，让下一批的专家使用更均匀。这种改动能带来多大幅度的提升不好量化，但它会累积，一年下来差距就出来了。

第二个支点是多头潜在注意力（Multi-head Latent Attention，MLA）。注意力机制有个绕不开的瓶颈叫 KV 缓存，模型每生成一个 token，都要把之前所有 token 的键值对读一遍。上下文越长，缓存越大，显存越吃紧。MLA 用低秩近似把这块压掉了八成到九成。

压缩本身不难，难的是跟另一个组件配合。业界常用旋转位置编码（RoPE）扩展上下文长度，RoPE 和 MLA 的矩阵结构天然打架。DeepSeek 的解法是在 MLA 里额外拆出专门承载位置信息的部分，绕开这个冲突。Nathan 评价说，这种程度的架构创新，只有最顶尖的实验室在做，而 DeepSeek 把它公开写进了论文。

把优化一路做到汇编层

Dylan 讲了一个很少被外界注意的细节。训练大模型时，每一层之间都要在 GPU 之间通信，把梯度同步一遍。NVIDIA 提供标准库 NCCL 干这件事，几乎所有公司都直接调。

DeepSeek 没调。美国出口管制卡了 H800 的卡间互联带宽，标准库的效率在他们手里发挥不出来。于是他们自己写通信调度，把 GPU 内部的 SM 核心分组，一组跑模型计算，一组做 allreduce，一组做 allgather，来回切换。这需要直接写 PTX，一种接近汇编的指令集。

「你可以用 Python 调 PyTorch 和 NVIDIA 的库，也可以下到 C 层，还可以一路下到汇编层。大实验室在个别场景会这么干，大多数公司不会，性价比太低。」（Dylan Patel）

Dylan 的判断是，DeepSeek 是被逼出来的，需求是发明之母。互联带宽被卡，只能在有限硬件上榨出每一滴性能。Meta 在 Llama 3 里也做过类似的事，没公开实现细节。DeepSeek 把方法写进论文，客观上抬高了整个行业的技术水位。

他也补了一句冷静的话：这些底层代码高度绑定具体的模型架构和规模，换个架构可能全部作废。通用性和极致性能之间永远要取舍，DeepSeek 选了后者，因为他们没有挥霍算力的余地。NVIDIA 的通用库随便什么模型都能跑，代价是放弃一部分性能。对 DeepSeek 来说，那部分性能就是他们全部的利润空间。

训练时盯着 loss 曲线的人

节目里有个段落特别生动，聊的是训练过程中的 loss 曲线。所有大模型训练都盯着一条曲线看，正常情况一路往下降。MoE 和低精度训练（FP8）会带来 loss 尖峰，模型突然不学了，没人百分百知道原因。

Nathan 举了 Allen AI 自己踩过的坑：早期模型崩掉，罪魁祸首是一个叫 microwavegang 的 Reddit 子版块。里面所有帖子全是字母 M，评论区全是「beep beep」。人看到 M 会预期后面接别的字母，模型看到一长串 M 直接懵，loss 飙升。这类数据在成熟的数据管线里会被过滤掉，早期模型没这个待遇。

Dylan 描述了一种更日常的焦虑：跟在这些实验室工作的朋友吃饭，他们每十分钟看一次手机，不是回消息，是看 loss 有没有炸。有些尖峰能恢复，有些得回滚几个小时从头再来。行业里管一次完整的大训练叫 YOLO run，You Only Live Once，把全部资源押上去，赌这一把能成。

失败是常态。Nathan 说得很直白，每家想推前沿的公司都有失败训练，区别只在于有没有被媒体报道。失败一次可能是一周到一个月的时间损失，这本就是推边界的代价。他还提到 loss 尖峰分快慢两种，快尖峰过去就好，慢尖峰是曲线先爬升再爆掉，遇上了得往回退很远。训练过程的紧张感，很大一部分来自这两种形态分不清的头几个小时。

推理价格差里藏着 OpenAI 的毛利

R1 的 API 输出价格是每百万 token 2 美元，o1 是 60 美元，差 30 倍。这个差距不能全归功于 DeepSeek 的技术效率。

Dylan 拆得很清楚。OpenAI 推理业务的毛利率超过 75%，光这一项就占了四五倍价差。它敢这么定价，因为一度是唯一有这种能力的公司。这笔钱也不是白赚，训练和研究吃掉的钱远超推理赚的，公司整体还在亏，融资是为了继续烧。

把 OpenAI 的毛利剥掉，剩下的才是真正的效率差。同一份 R1 权重，Together AI、Fireworks 这些公司拿去服务，价格比 DeepSeek 官方 API 还高五到七倍。这些公司是赚钱的，靠的不是补贴，所以这个价差反映的是实打实的工程效率。DeepSeek 的训练库有一部分能复用到推理，那部分没开源。

Nathan 提了一个很少被讨论的点：全世界的显存要为推理做更多准备。推理模型的输出动辄上万 token 的思维链，KV 缓存一直挂在显存里不释放。同一台 8 卡 H100 服务器，能并发服务的用户数可能掉一个数量级。推理模型的普及，本质上是在给全球显存容量加压力。这也是为什么 H200 这种显存更大的卡在 R1 发布后变得紧俏。

思维链是模型自己长出来的

节目里有个片段被反复引用。Lex 让 R1 给一个关于人类的真正新颖的洞察，模型的思维链跑了 157 秒，中间来回自我否定：这个够不够新？是不是太老套？让我再挖深一点。最后给出的答案是：人类通过集体假装抽象规则（货币、法律、权利）是真实的，把自私的欲望转化成合作系统，这些共享的幻觉像一场游戏，竞争被暗中重定向为群体利益，冲突成了社会的燃料。

Nathan 解释了这种能力怎么来的。DeepSeek 在 R1 论文里公开了一个叫 R1-Zero 的版本：从 V3 Base 出发，只在可验证的问题上做大规模强化学习，答对给奖励，答错不给。没有任何人类标注的思维链样本，模型自己演化出了「等一下，让我重新检查」这种行为。

这一点 Andrej Karpathy 在推特上讲得很透。他把学习分成两类，模仿学习（看别人怎么做然后复制）和试错学习（自己试，成了就强化）。深度学习史上所有让人瞠目结舌的结果，几乎都来自第二类。AlphaGo 先模仿人类棋谱，AlphaZero 完全从零开始自我对弈，后者强得多。R1-Zero 就是同一个逻辑在语言模型上的重演。

「人类标注者根本不知道正确的解题策略长什么样，他们没法教模型。模型只能自己在强化学习里把有用的策略找出来。」（Andrej Karpathy）

Nathan 把这个类比接到「苦涩的教训」上。Rich Sutton 那篇著名文章的核心是：能规模化学习和搜索的方法，最终会赢过人类精心设计的先验知识。DeepSeek 这次的强化学习路线，又是一次验证。研究者的聪明解法能在短期内带来小收益，把系统放开让它自己学，长期看总会反超。

并行采样与搜索进入推理阶段

OpenAI 的 o3 在 ARC-AGI 基准上刷出惊人分数，靠的不止一条思维链。Dylan 指出，他们并行跑了上千条思维链，再从里面挑答案。单条跑对的概率大概 30%，跑一千条挑一条，成功率能到七成到九成。

这跟 AlphaGo 里用的蒙特卡洛树搜索是同一个思路，只是搬到了语言模型上。Nathan 补了一句谨慎的话：外界其实不完全清楚 OpenAI 挑答案的机制，是多数投票，是训练了一个专门的打分模型，还是更复杂的树搜索，公开信息不足以判断。

方向已经很清楚。过去语言模型被设计成「一次给出正确答案」，现在开始转向「多次尝试后再选」。这个转向会倒逼训练方式调整，也会让推理成本结构彻底改变。o1-pro 每月 200 美元还在亏钱，说明高端推理服务的算力消耗远超订阅费。

Dylan 在这里放了一张成本曲线图，横轴是时间，纵轴是每百万 token 的推理成本，对数坐标。GPT-3 刚出来时是 60 到 70 美元，两年后同等智能水平降到几美分，降幅大约 1200 倍。他说 DeepSeek 并没有掉到这条趋势线下面，它只是第一个踩到线上的公司。真正的信号是这条线还在陡峭下行，下一代硬件的算力成本会继续推动它向下。

蒸馏争议与数据的循环

1 月底《金融时报》报道，OpenAI 称有证据显示 DeepSeek 用了它的 API 输出来训练模型。节目里两位嘉宾把这事拆得很细。

蒸馏本身是行业标准做法，小模型学大模型的输出，早就有了。Meta 公开说过用 405B 当奖励模型去训练 70B。争议点在于 OpenAI 的服务条款写明「不能用输出训练竞争对手」，可服务条款和许可证是两回事。违反服务条款，OpenAI 能封你的账号；违反许可证，那是另一层法律问题。而「竞争对手」这个词在 AI 领域压根没有清晰定义。

Nathan 提了一个绕不开的循环论证：「凭什么你能拿互联网上的文本训练，我不能拿你的输出训练？」大模型预训练数据大部分来自公开网页，而网页里早就堆满了 ChatGPT 的对话截图。Reddit 上有专门分享「最佳 ChatGPT 回答」的子版块，这些内容现在躺在任何新模型的预训练数据里。

Dylan 补了一个更微妙的观察：很多模型被问「你是谁」，会说「我是 ChatGPT，由 OpenAI 训练」。原因在于训练数据里到处都是这个句式，团队没特意做后训练去纠正。Allen AI 自己的开源模型也这样，他们得在系统提示词里明写「你是 Tülu，由 Allen AI 训练」才盖得住。

讽刺的是，播客录制前后，社区里开始出现把 DeepSeek 模型蒸馏进 Llama 的版本。原因是 DeepSeek 的 MoE 架构推理太复杂，Llama 的稠密架构好部署，工具链成熟。技术流动的方向从来不只一条。

出口管制：短期掐算力，长期赌一个时间窗

Dylan 对出口管制的分析是整期节目里最硬核的一段。他的核心判断是：如果 AI 在未来五到十年不会带来颠覆性变化，美国的出口管制长期一定会让中国赢。理由很实在，管制同时伤害了美国芯片公司的收入和研发循环，而中国的工业能力、电力建设能力、STEM 毕业生规模都远超美国。封锁一个增长中的市场，等于主动放弃规模优势。

反过来，如果 AI 在五到十年内真的改变世界格局，算力就是唯一有效的杠杆。人才不构成瓶颈，美国能吸收全世界的人；电力也不构成瓶颈，中国有全球最凶的基建能力。唯一能拉开的差距，就是先进芯片的可得性。

目前美国政府的策略分档次推进。2022 年 10 月 7 日第一版管制同时卡算力和互联带宽，后来发现 H800 这种「算力保留、带宽砍半」的芯片中国能自己优化绕过去，于是取消带宽那一条，只卡算力。于是有了 H20，算力只有 H100 的三分之一，显存带宽和容量反倒更高。Dylan 说，H20 这个规格对推理、尤其对内存密集的推理任务，严格说比 H100 更合适。

NVIDIA 去年往中国运了大约 100 万张 H20。就在节目录制前几周，NVIDIA 把 H20 和下一代 B20 的订单全砍了。Dylan 的判断是，NVIDIA 猜测更严的管制在路上，提前收缩。同时，拜登政府在任期最后一周推出的 AI Diffusion Rules，把 GPU 出口管到了连新加坡、葡萄牙这些盟国都要审批的程度。Dylan 的原话是：「新加坡有 F-35，我们不让它买 GPU。」

走私的量级他也给了估计：去年合法渠道进入中国的大约 100 万张 H20，经新加坡、马来西亚等渠道绕进去的大约 20 万到 30 万张，还有一块完全合法的路径是中国公司租用境外云厂商的算力。字节跳动据说在全球租了超过 50 万张 GPU，是 Oracle 最大的 GPU 客户，也是 Google 第二大客户。新的管制规则专门堵了这条租借路径。

台积电与全球三个研发中心

Dylan 讲台积电的段落信息密度极高。他说全球真正做先进制程研发的地方只有三个：台湾新竹、美国俄勒冈州希尔斯伯勒（Intel）、韩国平泽（三星）。这三个地方决定未来所有芯片的演进路线。

台积电在亚利桑那建的厂，在他看来更接近装配车间。如果新竹从地球上消失，亚利桑那的厂一两年内也会停产。「如果我有几枚导弹，我知道打哪里能造成最大的经济伤害，那里是这三个研发中心。」

台积电做成的理由，文化占一部分。台湾顶尖大学最好的毕业生，首选就是去台积电，起薪折合七八万美元。在美国，同等水准的毕业生去 Google、Amazon 拿的是几十万美元。地震一来，台积电员工不用通知，自己开车往厂里冲，停车场瞬间挤满，像蚁群，没人指挥，全知道该干什么。

另一部分是商业模式。张忠谋当年在德州仪器没被提拔成 CEO，一怒之下跑到台湾创办台积电。台积电只做代工，不设计芯片，客户从 NVIDIA 到苹果到高通。过去三十年，能自建晶圆厂的公司一家家死掉，因为一座先进制程厂的投资超过三四百亿美元，还得持续投下一代。AMD 差点破产，卖掉了自己的厂，那块业务变成了 GlobalFoundries。现在连 Intel 的最新 PC 芯片都用上台积电的工艺。

美国能不能把先进制造搬回来？Dylan 的回答是能，但得花十年和一万亿美元。台积电目前在亚利桑那建了大约 20% 的 5 纳米产能，这还只是零头。他提到一个细节：亚利桑那厂有 3000 名从台湾派来的工程师，不少人的太太把条件谈成了「你去亚利桑那可以，我们到那儿生孩子」，日本熊本的厂也发生过同样的事。

超级集群与电力的硬约束

节目后半段转向算力基建。Dylan 报了一串数字：Meta 训练 Llama 3 用了 16000 张 H100，而 Meta 去年总共买了 40 多万张 GPU。xAI 在孟菲斯的集群现在有 20 万张（10 万 H100 加 10 万 H200），是全球单一地点最大的。Meta 和 OpenAI 各有 10 万张左右的规模。

更惊人的是功耗。GPT-4 训练时 2 万张 A100，总功耗十几二十兆瓦，标准的机房规模。到 2024 年，10 万张 H100 集群的功耗跳到 150 兆瓦，两年涨了将近十倍。而 OpenAI 在德州 Abilene 的 Stargate 一期，满负荷是 2.2 吉瓦输入，1.8 吉瓦送到芯片，比不少城市的用电量还高。

电力成了美国建集群最大的卡点。Dylan 说某些地区（比如弗吉尼亚）输电成本已经超过发电成本，电网建设太慢。于是各家开始自建电厂。Meta 在路易斯安那建两座天然气电厂，OpenAI 在德州也这么干。xAI 在孟菲斯更极端，把隔壁的天然气管道直接接过来烧，配了一堆移动发电机组，还部署大量特斯拉 Megapack 电池来平滑功率波动。

「建电厂太慢，几十亿美元的 GPU 摆着等电，这买卖不划算。电价占集群成本不到 20%，大头是 GPU 折旧，那就干脆自己建电厂。」（Dylan Patel）

还有一个工程细节特别能说明规模。训练模型时 GPU 的计算功率和通信功率波动很大，瞬时尖峰能把电网设施搞坏。Meta 在 PyTorch 里加了一个操作符，名字大概是 powerplant_no_blow_up，作用是让 GPU 在通信阶段算一些假数字，把功率拉平。这个操作符的存在本身就说明，今天的集群已经是一个能和电网互相伤害的东西。

散热也在换代。风冷是过去的标准方案，Google 的 TPU 用水冷好几年了。xAI 在孟菲斯把水冷做到空前规模，场外摆了 90 个集装箱大小的水冷机。NVIDIA 下一代旗舰 GPU 强制要求水冷。水冷除了散热，还有一层红利：芯片挨得越近，高速互联越容易。

Stargate 的 5000 亿，钱在哪

1 月白宫发布会上，Sam Altman、Larry Ellison 和特朗普一起宣布了 Stargate，5000 亿美元。Dylan 把账算了一遍。

一期在德州 Abilene，2.2 吉瓦的园区，服务器采购大约 500 到 600 亿美元，数据中心建设再加十来亿。把这 1.8 吉瓦全部用两代 NVIDIA 新芯片填满，服务器成本约 500 亿美元，加上数据中心、运维、租金，OpenAI 对外说的「1000 亿美元一期」是这么算出来的。需要说清楚，这是全生命周期总成本（TCO），算的不是资本开支。而且 OpenAI 是租，不拥有资产。

钱从哪来？OpenAI 在这家合资公司里承诺出资 190 亿美元，它上一轮融资拿了 460 亿，手上还有点债。Oracle 已经在自掏腰包建一期（约 60 亿资本开支）。软银说要投 250 亿进 OpenAI，那笔钱得先卖 ARM 的股份才拿得出来。阿联酋的 MGX 基金号称有 1.5 万亿美元投 AI，Dylan 说「这钱有多真，不知道」。

「Elon 说得对，这钱现在确实不存在。钱会来的，只要模型继续变好，融资就能继续。这是个信仰问题。」（Dylan Patel）

特朗普政府的角色主要是松绑管制：联邦土地上的数据中心和电厂审批基本取消，德州本身有全美唯一不受联邦管辖的电网 ERCOT，建得快。至于联邦政府直接掏钱，Dylan 说没有。他补了另一半判断：这种量级的发布会本身会成为催化剂，1000 亿、5000 亿的数字在电视上一说，投资人和各家公司的董事会都会被推着往前跑。

谁在赚钱，谁在烧钱

被问到这个问题时，Dylan 的回答很不客气：真正赚到大钱的只有 NVIDIA 和其他硬件厂商。微软账面上赚钱，但资本开支巨大，还得逐年折旧。Meta 靠推荐系统赚翻，那跟 Llama 没关系，Llama 肯定在亏。OpenAI 和 Anthropic 都在烧钱，而且越来越难说清它们最终靠什么赚钱。

这两家公司现在是模型能力最强的一档，品牌也最响，问题是它们没有分发渠道。X 有特斯拉和 Optimus，Google 有搜索和 YouTube，Meta 有几十亿用户的社交产品。OpenAI 手上真正值钱的东西，几乎只有 ChatGPT 这一个入口。

Nathan 把这个困境讲得更直接：对大多数普通用户来说，没必要非得让 OpenAI 花几十上百亿美元训下一代最强模型，他们完全可以用更便宜的 Llama 5 或者 DeepSeek。ChatGPT 是极其有价值的资产，可它赚的钱要拿去填训练的窟窿。聊天这个赛道的成本正在坍塌，V3 已经把价格打到这个位置，再往下走，聊天迟早变成广告支撑的免费服务。Google 有全球最大的广告系统，Meta 已经在免费服务 405B 级别的模型，它们玩得起，OpenAI 未必。

「Chat 不是终局。真正值钱的是推理、代码、agent、computer use，这些是 OpenAI 必须去的地方，不然它就完了。」（Dylan Patel）

这就形成了一个拧巴的局面：模型进步快，OpenAI 的技术领先能转化成收入，它就赢；模型进步慢，能力变成白菜价，它就会被有分发渠道的大厂包抄。OpenAI 和 Anthropic 的处境，是必须一直跑在技术最前面，一停就会被吞掉。

模型回答里怎么放广告，还没有答案

节目里聊到一个有意思的空白点。今天最赚钱的广告形态有两种，Meta 的信息流广告靠用户画像精准投放，Google 的搜索广告靠关键词匹配。但在一段模型生成的回答里，怎么放一个高质量、不招人烦、又能被测量的广告，现在没有答案。

Nathan 认为，谁先解开这道题，谁就能吃到一块巨大的收入。这活儿不是加一条横幅那么简单，它可能出现在语音对话里，用一句话自然引出某个产品；可能藏在多轮对话的某个转折点上。难的地方在于既要有效，又不能显得下作，否则舆论立刻反噬。Perplexity 这类公司在试，Google 和 Meta 有动力试，OpenAI 和 Anthropic 目前完全没往这个方向看，它们的心思全在 AGI 上。

Agent 与良率的连乘

2025 年初，商业媒体都在喊 agent 是今年的关键词，AI agent 要颠覆一切。Nathan 对这个词的态度是，被用滥了。

他的定义很清晰：agent 应该是一个能独立、开放地解决任务、能应对不确定性的系统。现在这个词被贴到了从 Apple Intelligence 到各种自动化脚本上。Apple Intelligence 那种在消息、照片之间做编排的工具调用，语言模型确实能做，也会做成，可那是封闭域里的编排，跟「帮我订一张两天后去奥斯汀的机票」还差着十万八千里。

Dylan 用制造业的类比讲清了 agent 的真正难点。半导体制造有上万道工序，每道工序的良率如果是 99.9999%，把所有制程乘起来，最终良率可能只剩六成甚至归零。Agent 是同一个逻辑，它要连续完成几十上百个步骤，每一步模型都有出错概率，这些概率连乘起来，整体成功率断崖式下跌。这就是为什么 Waymo 跑了这么多年还得配远程操作员，自动驾驶的「六个九」至今没解决。

真实世界的开放性让问题更糟。软件工程是 agent 最容易攻破的领域，因为代码能编译、能跑单测，结果可验证。电脑操作、网页交互面对的是一个混乱世界，一个航空公司订票网站要点十几次，人类用户每次用都要经历一次存在主义危机，指望 AI 稳定搞定，短期内不现实。

Dylan 也给了另一条路径：如果单个步骤做得好，就可以串起来，靠工程手段补上模型的不稳定。已经在出现的生意是「agent 失败时的人工兜底」，agent 卡住了，一个真人接手帮你完成。等家用机器人普及，很可能也会有一套全球分布的人工操作市场，机器人在你面前卡住时，地球另一端有人远程帮你把碗放进洗碗机。他半开玩笑说，这可能就包含在特斯拉的服务套餐里。

软件工程被吃掉的方式

编程是 AI 已经产生真实收入和真实效率提升的领域。Dylan 提到 SWE-bench 这个基准，题目难度大概需要几年编程经验才能完成，模型一年内从 4% 的正确率涨到 60%，明年还会更高，但不会到 100%，因为「六个九」太难。

他真正看好的方向在代码补全之外，是软件工程 agent。原因是这最可验证，写完能编译、能跑测试。而且 agent 可以一次读进整个代码库，这是普通工程师做不到的，只有最资深的架构师能在脑子里装下这些。模式会变成这样：资深的人定义架构和意图，agent 去执行，人再回来审查。

这件事的外溢效应被低估。Dylan 举了中美 SaaS 的差异：美国公司大量购买 Salesforce 这类平台 SaaS，中国公司很少买，大家都自己搭一套，因为中国工程师成本低。如果软件工程成本再掉一个量级，全世界都会变得更像中国，公司倾向自建高度定制的系统，不愿被通用 SaaS 绑死。这会重塑整个企业软件的格局。

Nathan 补了一个冷静的看法：不会有「某天程序员突然没用」的断崖。他拿 Meta 加 Stories 功能类比，Snapchat 当时在指数增长，Meta 一加 Stories，它的增长曲线直接压平。AI 对程序员就业的影响更像这样，需求曲线先转平，然后缓慢下滑，供给端（比如还在扩招的 CS 学生）反应要慢好几年，两边错配会持续一段时间。

Lex 在这个位置加了一句他个人很看重的建议：程序员应该主动拥抱这套工具，把自己变成 AI 的监督者和合作者，别选择完全不学编程、只靠生成。要管住越来越聪明的系统，本身就需要很高的专业水平。Dylan 补充，除了会用 AI，还得在某个具体领域做到专家，航空航天、半导体、化工这些行业至今还在用二十年前的软件，谁能把最前沿的 AI 能力带进这些老旧领域，谁就站在前沿。

开源 AI 缺少反馈循环

节目最后聊到 Nathan 自己做的事。他所在的 Allen AI 刚发布 Tülu 3，一套完全开源的后训练方案，训练数据、训练代码、配方全部公开。名字来自 tülu，一种单峰驼和双峰驼杂交的骆驼，沿用了 ChatGPT 之后那波用哺乳动物命名模型的传统。

Tülu 3 基于 Llama 3.1 405B 的底座，用了指令微调、偏好对齐，还有最近很热的可验证奖励强化学习（RLVR）。Nathan 说他们在数学这个可验证基准上的提升特别明显，方法跟

Tülu 3 基于 Llama 3.1 405B 的底座，用了指令微调、偏好对齐，还有最近很热的可验证奖励强化学习（RLVR）。Nathan 说他们在数学这个可验证基准上的提升特别明显，方法跟 DeepSeek 论文里讲的是一条路。区别在于，DeepSeek 只公开了论文和权重，Allen AI 把配方、数据、代码一起放了出来。

他们用相当有限的算力做出了超过 Llama 官方 instruct 版本的评测成绩。Nathan 报了个具体数字：Tülu 3 在自建的十个评测项上平均 80 分，DeepSeek V3 不计安全项是 79 分，把安全分算进去会掉到 70 上下。安全这一项他特意没有拿去当主要卖点，理由是一家之言的安全标准不该成为排行榜的核心变量。有人想把安全留到部署层做，有人想在训练阶段做，两种选择都合理。

这套评测的思路值得一提。学术界通常只用少数几个基准，大厂内部会针对一个核心场景堆几十上百个评测。Allen AI 选了十个有代表性的维度，覆盖聊天、精确指令跟随（比如只用表情符号回答）、数学、代码、安全。这些分数本身说明不了模型有多聪明，但它让外人第一次能看清后训练每一步到底在优化什么。

往前看，Nathan 认为开源后训练的下一步是扩大验证器的覆盖范围，把数据规模提上去，复现 DeepSeek 的一部分结果。有论文可读，这件事比一年前容易太多。

开源 AI 缺的是反馈循环

但 Nathan 对开源 AI 的现状有一份清醒的悲观。开源软件能繁荣，靠的是一整套反馈循环：你改一行代码，全世界都能受益，改的人自己也有好处，于是越改越快。开源 AI 没有这个循环。你放出模型权重、训练数据、训练代码，别人想在此基础上改进，还得有海量算力、专业团队和踩过一遍的工程直觉，门槛高到大多数人根本接不住。

「在开源 AI 形成反馈循环之前，它基本还是一场意识形态驱动的苦行。Zuckerberg 说美国需要一个开源标准，我同意他，但在这个动机还高涨的窗口期，我们得赶紧把生态搭起来。」（Nathan Lambert）

他自己也在找突破口。Allen AI 准备上线一个演示，你输入一个查询，系统告诉你哪些预训练数据和它最相关。这件事法律上有风险，技术上也很麻烦，预训练数据是几 TB 的文件，解析起来极费劲。可如果人们真想让开源 AI 产生商业价值，「看见模型到底学了什么」这件事就必须做到。否则所谓开放只开放了结果，没开放因果。

他也承认这条路的现实压力。算力受限、人手受限，Allen AI 只能靠从别处学到的技巧做跳跃，比如从 John Schulman 那类研究者身上借经验。别人花一个月能试一百个方向，他们只能试十个，选错的成本更高。开源 AI 今天更像一种公共品，靠一批人自愿往里贴资源维持，商业上还没找到自洽的闭环。

Google 手握 TPU 却不卖

聊硬件竞争时绕不开一个问题：Google 有 TPU，为什么不做成生意去跟 NVIDIA 抢？

Dylan 的分析是，Google 的基因里没有这门生意。TPU 最初是为了让搜索跑得更便宜，后来服务 Gemini、YouTube、广告这些内部业务，整个架构为内部工作负载深度优化。他举了个很具体的例子，Google 开源的 Gemma 7B 其实有 80 亿参数，因为词表做得特别大，而词表这么大是因为 TPU 的矩阵乘法单元特别宽，Google 就顺手把词表也做大了。这在这么小的模型上并不合理，可它跟自家硬件最匹配。反过来，Llama 在 TPU 上跑不如在 GPU 上顺，Gemma 在 GPU 上跑也不如 Llama。

更难的是软件栈。Google 内部的工程师用 TPU 训练模型，几乎不用碰硬件细节，体验相当顺。这些人一旦离开 Google 创业，会发现外面没有这套东西，他们得从头学 GPU 那一套。Dylan 说很多从 Google 出来的人又跑回去借内部工具，就是因为外面的基础设施太难伺候。

组织也是一层障碍。Google Cloud、TPU 团队、DeepMind、搜索是四个平行的组织，各有各的 KPI。内部的 JAX 和 XLA 团队服务的是 DeepMind 和搜索，不对外部客户。NVIDIA 的 CUDA 团队反过来，从第一天起就在对着外部客户做，NCCL 这类库的迭代节奏由客户需求驱动。一家公司愿意为外部客户改工具，另一家只愿意为内部团队改，时间一长，差距会自己长出来。

那 AWS 为什么一直压着 Azure 和 Google Cloud 打？Dylan 的答案很朴素：先发、好用、便宜，而且从第一天就服务小客户。早期 AWS 会跑到湾区各种活动发代金券，让小公司刷信用卡就能用。Snowflake 当年在 AWS 还没重视它的时候就开始用 AWS，等长成大客户，关系已经绑死。再加上 Amazon 自研了一堆芯片，在存储、CPU、网络、数据库这些基础层的成本结构比对手低。AWS 贡献了 Amazon 超过八成的利润，而零售业务赚得很少，这个反差本身就说明云这门生意的质地。

Intel 在悬崖边，AMD 被软件拖住

被问到有没有谁能挑战 NVIDIA，Dylan 的回答很干脆：短期看不到。

AMD 的硬件很多地方其实比 NVIDIA 好，问题全在软件。SemiAnalysis 团队曾经花好几个月在 AMD 的 GPU 上做训练和推理，结果发现自己成了提交 bug 最多的用户。原因是 AMD 只服务少数几个大客户，会给他们发私有镜像，普通用户拿 PyTorch 和公开库去用，体验很差。Dylan 说他们确实在好转，可差距太大，投入也不够。

Intel 的处境更严峻。Dylan 提醒大家别忘了，Intel 曾经领先制造工艺二十年，应变硅、高 K 金属栅、FinFET 这些技术都是它第一个量产、赚最多钱的。问题出在文化坏了，能力没坏。拒绝 iPhone、晶圆厂管理失当、设计部门锁死，一层层叠加。现在它在服务器和 PC 两个主战场上都在丢阵地：苹果 M 系列吃掉了 PC 高端，亚马逊、微软、Google 都在自研 ARM 服务器芯片，Intel 自己在 AI 加速器上几乎没有像样的产品。

更麻烦的是，Dylan 之前说的「全球只有三个地方在做先进制程研发」，其中三星和 Intel 现在都做得不好。如果只剩台积电一家能搞研发，而台积电又集中在台湾，全世界的科技产业就吊在一根绳子上。这也是为什么 Intel 的命运不只关乎商业，还关乎国家安全。

AGI 的时间表比 CEO 说的晚几年

Lex 反复追问 AGI 的时间点。Dario Amodei 说 2026 年会出现强大的 AI，具备实质性的军事和地缘优势。Nathan 的态度是，这些 CEO 确实想得很深，得认真对待，也要理解他们的激励机制，所以在他的时间上加几年，大概是 2030 或稍晚。

Dylan 的补充更实在。能力可能在 2027、2028 年就到了某个门槛，一个人如果能把这种能力用上足够长时间，可以说这就是 AGI。可真正制约它铺开的是成本。今天问 ChatGPT 一个问题花几分钱，解决一个 AGI 级别的高难度任务要花 5 到 20 美元，未来可能是几千、几十万美元的 GPU 时间。世界上没有那么多电、那么多芯片、那么多基础设施，让这种能力瞬间铺满整个经济。所以不会有一个「啪」的时刻，而是「能力先到，铺不开」的漫长过渡。

他举了个回看的例子。2023 年 GPT-4 刚出，所有人恐慌搜索要被颠覆，Perplexity 冒了出来。可如果算一下把 GPT-3 塞进每一次 Google 搜索的成本，会发现物理上根本做不到。同样的道理，AGI 的能力和 AGI 的普及之间隔着一道算力的墙。

在这个过渡期里，谁有权把 AGI 指向某个任务，也就成了关键问题。Dylan 引了 Dario 那篇博客的核心担忧：美国的 AI 会更偏资本化配置，流向回报最高的商业场景；中国的体制有可能更快把 AI 用到军事和特定目标上。他提到一个现实，在无人机这类非对称武器上，中国已经大幅领先西方。技术领先和军事应用之间，还隔着一条组织能力的缝，谁的体制能更快穿过这条缝，谁就把算力变成了实力。

Nathan 在这里给了一个他自己的定义。他说语言模型就是某种形式的 AGI，这句话不用等到超级智能。一个模型能跨那么多领域提供价值，本身已经足够通用。真正还没到的是那一步，模型能独立地在训练数据之外解决陌生任务，还得靠几轮技术突破。

两套不同的隐忧

节目快结束时，Lex 问了一个大问题：什么让你对人类未来抱有希望？

Nathan 的回答很朴素。他认为人类一定能活过一千年，历史上出过很多大灾难，人少了很多，可人类活了下来。人对长期风险的判断力很差，一旦风险变得迫在眉睫，人总能想办法解决。物理约束、人类的基本善意、以及过去解决问题的记录，让他偏向乐观。他不太担心 AI 接管。

Dylan 的隐忧更具体，也更值得记下来：他担心的东西是人和机器融合之后，极少数人获得远超常人的能力。当一部分人可以脑机接口、可以调动 AGI 的全部能力，他们的影响力会指数级放大。不会是一个人统治所有人，而是几百、几千、几万人凌驾于其余所有人之上。他把这种东西叫技术法西斯主义的风险。

他也给了另一半判断：多数情况下，这种能力会被用在逐利上，逐利会增加供给和丰裕，从而降低痛苦。这是他愿意对商业动机保持乐观的原因。

聊到最后，两个人还开了个玩笑。如果未来是躺在营养管里刷信息流、被算法喂饱多巴胺，那算不算一个好结局？Dylan 说，从某种角度看算，人快乐了。Nathan 接了一句更酸的：刷信息流维持的是世界的现状。这段听着轻松，其实藏着整期节目最沉重的一层意思。人和算法的关系，早就不是「用不用」的问题，它已经在塑造每个人认为什么是重要的。

这五小时真正立住的几个判断

信息量这么大的一期，如果只挑几条带走，大概是这些。

DeepSeek 的技术报告值得认真读，它是实打实的工程记录，不带营销味。一个被算力卡住脖子的团队，把混合专家的稀疏度推到 256 选 8，自己发明注意力压缩方案，还下到汇编层调度 GPU 核心。这些细节对任何做模型训练的人都有直接参考价值，也是这轮开源讨论里最硬的一份材料。

R1 便宜的原因要拆开看。一部分是真实的技术效率，另一部分是 OpenAI 的高毛利。把这两层剥开，才能看清这个行业的价格结构是怎么形成的，也才能判断下一轮价格战谁扛得住。

思维链的涌现是这一轮最值得关注的现象。模型在没有人类示范的情况下，自己学会了回头检查、自我否定、换条路再试。这件事的意义超出工程范畴，它说明强化学习在可验证领域的天花板还远没到。

Agent 不会在 2025 年颠覆一切，它会在特定封闭领域逐步推进。判断标准很简单，这个任务的每一步能不能被验证。能验证的先被吃掉，靠开放世界和人类常识的还得等。良率连乘这件事，比任何发布会都诚实。

整个行业的瓶颈正在从芯片转向电力。谁能更快建起吉瓦级的电厂和数据中心，谁就握有下一轮竞赛的入场券。这也是为什么松绑审批的政策被谈论得这么多，为什么天然气电厂、核电站、储能电池会突然变成 AI 圈的关键词。

给读者的几条具体建议

• 把 DeepSeek-V3 的技术报告完整读一遍，尤其 MLA 和专家路由那两节。这是目前公开材料里工程含量最高的一份，比大多数综述都有用。
• 如果你是开发者，把 R1 或 V3 的权重下载到本地跑一次。断网环境下跑通一次，你对「开源权重到底意味着什么」的理解会比读十篇文章更具体。
• 追踪推理成本曲线，别只追踪榜单分数。过去两年同等智能水平的推理成本降了一千多倍，这个斜率决定了什么应用能活、什么应用会死。
• 评估 agent 产品时先问一个问题：它的每一步能不能被自动验证？能验证的场景值得投，不能验证的先别信宣传。
• 如果你在传统行业（制造、化工、航空、医疗），花一周时间梳理团队还在用的二十年前的软件，以及最痛的三个流程。这是 AI 最容易切进去、也最容易被忽视的地方。
• 程序员把重心从「写代码」移到「定义问题、审查结果、理解整个系统」。SWE-bench 一年从 4% 到 60%，离 100% 还很远，中间那段空间就是人的位置。
• 关注电力，别只关注芯片。想判断一家公司或一个地区未来能不能撑起大模型，去看它的电网、变电站、发电规划，这些公开数据比发布会更可靠。
• 对 AGI 的时间表保持两层判断：能力可能比预期更早到，普及一定比预期更晚。做产品和做投资时，这两件事要分开算。
• 读英文技术报告时，把附录和实现细节当成正文看。这轮技术突破的关键，几乎都藏在那些不起眼的脚注里。
• 给自己的 AI 使用留一段离线时间。Nathan 在节目最后说的那句话值得记住，刷信息流维持的是世界的现状，而你想改变的东西，通常需要你先从那条流里走出来。