# DeepSeek、中国、OpenAI、NVIDIA、xAI、台积电、星际之门与 AI 超级集群 > 两位嘉宾解析 DeepSeek 的模型路线、芯片与算力供应链，以及中美 AI 竞争的整体格局。 - 原标题：#459 – DeepSeek, China, OpenAI, NVIDIA, xAI, TSMC, Stargate, and AI Megaclusters - 期数：第 459 期 - 发布日期：2025-02-02 - 嘉宾 / 主题：DeepSeek 与 AI 算力竞赛 - 网页版：https://lexfridman-cn.pages.dev/ep/deepseek-dylan-patel-nathan-lambert/ - 官方页面：https://lexfridman.com/deepseek-dylan-patel-nathan-lambert/ - 精读字数：约 16139 字（阅读约 36 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 DeepSeek-V3 的预训练用了 2000 张 H800，官方公布的成本是 557 万美元。这个数字在 2025 年 1 月底传遍硅谷，NVIDIA 单日市值蒸发近 6000 亿美元。让同行真正坐不住的，是技术报告里另一层细节：一个中国团队在 NVIDIA 的 CUDA 之下手写 PTX 指令，直接调度 GPU 内部的 SM 核心，只为把混合专家模型的通信开销再压一点。全球能干这活儿的团队，一只手数得过来。 Lex Fridman 在 2 月初把 SemiAnalysis 的 Dylan Patel 和 Allen 人工智能研究所的 Nathan Lambert 请进播客。前者是半导体与算力供应链最权威的独立分析师之一，后者刚发布完全开源的后训练方案 Tülu 3。五小时聊下来，从混合专家的路由机制到台积电的研发集中度，从思维链的涌现到 Stargate 的钱到底在哪，2025 年初这轮 AI 竞争的关键问题基本都过了一遍。 ## V3 与 R1 共用一个底座，后训练分成两条路 很多人讨论 R1 时没分清它和 V3 的关系。Nathan 一开场就做了澄清：两个模型共享同一个预训练底座，叫 DeepSeek-V3 Base，是一个只做下一 token 预测的基座模型，输出像高级自动补全，用起来远不如 ChatGPT 顺手。 从这个底座出发，DeepSeek 做了两次互相独立的后训练。第一次是指令微调加人类反馈强化学习，得到 DeepSeek-V3，一个能聊天、能写代码、能答疑的常规对齐模型。第二次是在同一个底座上做强化学习，得到 DeepSeek-R1，会先写出一大段思考过程，再给出答案。 > 「预训练只做一次，从同一个底座出发，可以做两条完全不同的后训练路线。」（Nathan Lambert） 这个结构解释了 R1 为什么便宜。它不需要从零训一个新模型，只在 V3 Base 上追加一轮强化学习，成本远低于预训练。DeepSeek 还把 V3 Base 一并放出来，意味着别人能从源头复现整条路径，闭源实验室不会这么干。 ## 开源权重离开源软件还差着几层 开源权重指的是把模型的权重矩阵挂到网上供人下载。这个词听上去跟开源软件是一家，实际差得很远。开源软件的核心是四条自由：使用、研究、修改、分发。开源权重只满足第一条。你拿到一堆几十 GB 的数字矩阵，能推理，看不到训练数据，也看不到训练代码，模型的偏好和盲区从哪里来，你只能猜。 Nathan 所在的 Allen AI 主张的是完整开源：训练数据、训练代码、权重一起公开。他的理由很直接，**数据质量和数据过滤是决定模型质量的第一因素，训练代码决定实验迭代的速度**。只给权重不给数据，复现成本会高出一个数量级。 DeepSeek 这次做得比 Meta 更彻底。R1 采用 MIT 许可证，商用不限、用例不限、可以用输出蒸馏合成数据。Llama 的许可证苛刻得多，有使用场景的限制，还有一条让不少人皱眉的条款：基于 Llama 做出来的模型，名字里得带 Llama。按开源软件的标准衡量，这就不算开源许可证。 Nathan 在节目里半开玩笑地总结：**「我没法拿 Llama 做个便宜拷贝假装是自己的，但拿中国模型可以。」**这话听着像调侃，其实点出了中国实验室在开源策略上的结构性优势。许可证越宽松，生态扩散越快，用的人越多。 ## 成本被砍下来的两个技术支点 Dylan 把 DeepSeek 的效率优势归到两个技术选择上，剩下的靠无数工程细节叠加。 第一个是混合专家模型（Mixture of Experts，MoE）。传统稠密模型像 Llama 70B，每生成一个 token，700 亿参数全得过一遍。MoE 换了个思路：模型总参数做得很大，每次只激活其中一小块。粗糙地类比，大脑处理视觉任务时视觉皮层活跃，受惊时杏仁核活跃，各区域按需上岗。MoE 就是让不同的「专家」轮流值班。 DeepSeek-V3 总参数 6710 亿，每次只激活约 370 亿。对比 Llama 405B 是 4050 亿全激活，DeepSeek 的嵌入空间更大，能压缩更多知识，实际计算量却小一个数量级。训练和推理开销顺着往下掉。 真正激进的地方在稀疏度。业界常见的 MoE 像 Mixtral 是 8 个专家选 2 个，激活比例四分之一。DeepSeek 是 **256 个专家选 8 个**，激活比例只有百分之三点几。稀疏度越高，效率潜力越大，工程难度也越变态。模型大到一张 GPU 装不下，不同专家得分在不同节点上，一旦某批数据全被路由到同一个专家，那组 GPU 累死，其余节点干等。**负载均衡和通信调度，成了这套架构最要命的地方。** MoE 还有个老问题叫辅助损失。训练时如果不管，模型会偷懒，只用少数几个专家，其他专家永远学不到东西。学界通常加一个辅助损失项强制均衡，代价是干扰主目标。DeepSeek 的改法是给路由加一个可更新参数，每个 batch 之后调整一次，让下一批的专家使用更均匀。这种改动能带来多大幅度的提升不好量化，但它会累积，一年下来差距就出来了。 第二个支点是多头潜在注意力（Multi-head Latent Attention，MLA）。注意力机制有个绕不开的瓶颈叫 KV 缓存，模型每生成一个 token，都要把之前所有 token 的键值对读一遍。上下文越长，缓存越大，显存越吃紧。MLA 用低秩近似把这块压掉了八成到九成。 压缩本身不难，难的是跟另一个组件配合。业界常用旋转位置编码（RoPE）扩展上下文长度，RoPE 和 MLA 的矩阵结构天然打架。DeepSeek 的解法是在 MLA 里额外拆出专门承载位置信息的部分，绕开这个冲突。Nathan 评价说，这种程度的架构创新，只有最顶尖的实验室在做，而 DeepSeek 把它公开写进了论文。 ## 把优化一路做到汇编层 Dylan 讲了一个很少被外界注意的细节。训练大模型时，每一层之间都要在 GPU 之间通信，把梯度同步一遍。NVIDIA 提供标准库 NCCL 干这件事，几乎所有公司都直接调。 DeepSeek 没调。美国出口管制卡了 H800 的卡间互联带宽，标准库的效率在他们手里发挥不出来。于是他们自己写通信调度，把 GPU 内部的 SM 核心分组，一组跑模型计算，一组做 allreduce，一组做 allgather，来回切换。这需要直接写 PTX，一种接近汇编的指令集。 > 「你可以用 Python 调 PyTorch 和 NVIDIA 的库，也可以下到 C 层，还可以一路下到汇编层。大实验室在个别场景会这么干，大多数公司不会，性价比太低。」（Dylan Patel） Dylan 的判断是，DeepSeek 是被逼出来的，需求是发明之母。互联带宽被卡，只能在有限硬件上榨出每一滴性能。Meta 在 Llama 3 里也做过类似的事，没公开实现细节。DeepSeek 把方法写进论文，客观上抬高了整个行业的技术水位。 他也补了一句冷静的话：这些底层代码高度绑定具体的模型架构和规模，换个架构可能全部作废。通用性和极致性能之间永远要取舍，DeepSeek 选了后者，因为他们没有挥霍算力的余地。NVIDIA 的通用库随便什么模型都能跑，代价是放弃一部分性能。对 DeepSeek 来说，那部分性能就是他们全部的利润空间。 ## 训练时盯着 loss 曲线的人 节目里有个段落特别生动，聊的是训练过程中的 loss 曲线。所有大模型训练都盯着一条曲线看，正常情况一路往下降。MoE 和低精度训练（FP8）会带来 loss 尖峰，模型突然不学了，没人百分百知道原因。 Nathan 举了 Allen AI 自己踩过的坑：早期模型崩掉，罪魁祸首是一个叫 microwavegang 的 Reddit 子版块。里面所有帖子全是字母 M，评论区全是「beep beep」。人看到 M 会预期后面接别的字母，模型看到一长串 M 直接懵，loss 飙升。这类数据在成熟的数据管线里会被过滤掉，早期模型没这个待遇。 Dylan 描述了一种更日常的焦虑：**跟在这些实验室工作的朋友吃饭，他们每十分钟看一次手机，不是回消息，是看 loss 有没有炸。**有些尖峰能恢复，有些得回滚几个小时从头再来。行业里管一次完整的大训练叫 YOLO run，You Only Live Once，把全部资源押上去，赌这一把能成。 失败是常态。Nathan 说得很直白，每家想推前沿的公司都有失败训练，区别只在于有没有被媒体报道。**失败一次可能是一周到一个月的时间损失，这本就是推边界的代价。**他还提到 loss 尖峰分快慢两种，快尖峰过去就好，慢尖峰是曲线先爬升再爆掉，遇上了得往回退很远。训练过程的紧张感，很大一部分来自这两种形态分不清的头几个小时。 ## 推理价格差里藏着 OpenAI 的毛利 R1 的 API 输出价格是每百万 token 2 美元，o1 是 60 美元，差 30 倍。这个差距不能全归功于 DeepSeek 的技术效率。 Dylan 拆得很清楚。OpenAI 推理业务的毛利率超过 75%，光这一项就占了四五倍价差。它敢这么定价，因为一度是唯一有这种能力的公司。这笔钱也不是白赚，训练和研究吃掉的钱远超推理赚的，公司整体还在亏，融资是为了继续烧。 把 OpenAI 的毛利剥掉，剩下的才是真正的效率差。同一份 R1 权重，Together AI、Fireworks 这些公司拿去服务，价格比 DeepSeek 官方 API 还高五到七倍。**这些公司是赚钱的，靠的不是补贴，所以这个价差反映的是实打实的工程效率。**DeepSeek 的训练库有一部分能复用到推理，那部分没开源。 Nathan 提了一个很少被讨论的点：全世界的显存要为推理做更多准备。推理模型的输出动辄上万 token 的思维链，KV 缓存一直挂在显存里不释放。同一台 8 卡 H100 服务器，能并发服务的用户数可能掉一个数量级。**推理模型的普及，本质上是在给全球显存容量加压力。**这也是为什么 H200 这种显存更大的卡在 R1 发布后变得紧俏。 ## 思维链是模型自己长出来的 节目里有个片段被反复引用。Lex 让 R1 给一个关于人类的真正新颖的洞察，模型的思维链跑了 157 秒，中间来回自我否定：这个够不够新？是不是太老套？让我再挖深一点。最后给出的答案是：**人类通过集体假装抽象规则（货币、法律、权利）是真实的，把自私的欲望转化成合作系统，这些共享的幻觉像一场游戏，竞争被暗中重定向为群体利益，冲突成了社会的燃料。** Nathan 解释了这种能力怎么来的。DeepSeek 在 R1 论文里公开了一个叫 R1-Zero 的版本：从 V3 Base 出发，只在可验证的问题上做大规模强化学习，答对给奖励，答错不给。没有任何人类标注的思维链样本，模型自己演化出了「等一下，让我重新检查」这种行为。 这一点 Andrej Karpathy 在推特上讲得很透。他把学习分成两类，模仿学习（看别人怎么做然后复制）和试错学习（自己试，成了就强化）。深度学习史上所有让人瞠目结舌的结果，几乎都来自第二类。AlphaGo 先模仿人类棋谱，AlphaZero 完全从零开始自我对弈，后者强得多。R1-Zero 就是同一个逻辑在语言模型上的重演。 > 「人类标注者根本不知道正确的解题策略长什么样，他们没法教模型。模型只能自己在强化学习里把有用的策略找出来。」（Andrej Karpathy） Nathan 把这个类比接到「苦涩的教训」上。Rich Sutton 那篇著名文章的核心是：**能规模化学习和搜索的方法，最终会赢过人类精心设计的先验知识。**DeepSeek 这次的强化学习路线，又是一次验证。研究者的聪明解法能在短期内带来小收益，把系统放开让它自己学，长期看总会反超。 ## 并行采样与搜索进入推理阶段 OpenAI 的 o3 在 ARC-AGI 基准上刷出惊人分数，靠的不止一条思维链。Dylan 指出，他们并行跑了上千条思维链，再从里面挑答案。单条跑对的概率大概 30%，跑一千条挑一条，成功率能到七成到九成。 这跟 AlphaGo 里用的蒙特卡洛树搜索是同一个思路，只是搬到了语言模型上。Nathan 补了一句谨慎的话：外界其实不完全清楚 OpenAI 挑答案的机制，是多数投票，是训练了一个专门的打分模型，还是更复杂的树搜索，公开信息不足以判断。 方向已经很清楚。过去语言模型被设计成「一次给出正确答案」，现在开始转向「多次尝试后再选」。这个转向会倒逼训练方式调整，也会让推理成本结构彻底改变。**o1-pro 每月 200 美元还在亏钱，说明高端推理服务的算力消耗远超订阅费。** Dylan 在这里放了一张成本曲线图，横轴是时间，纵轴是每百万 token 的推理成本，对数坐标。GPT-3 刚出来时是 60 到 70 美元，两年后同等智能水平降到几美分，降幅大约 1200 倍。他说 DeepSeek 并没有掉到这条趋势线下面，它只是第一个踩到线上的公司。**真正的信号是这条线还在陡峭下行，下一代硬件的算力成本会继续推动它向下。** ## 蒸馏争议与数据的循环 1 月底《金融时报》报道，OpenAI 称有证据显示 DeepSeek 用了它的 API 输出来训练模型。节目里两位嘉宾把这事拆得很细。 蒸馏本身是行业标准做法，小模型学大模型的输出，早就有了。Meta 公开说过用 405B 当奖励模型去训练 70B。争议点在于 OpenAI 的服务条款写明「不能用输出训练竞争对手」，可服务条款和许可证是两回事。违反服务条款，OpenAI 能封你的账号；违反许可证，那是另一层法律问题。而「竞争对手」这个词在 AI 领域压根没有清晰定义。 Nathan 提了一个绕不开的循环论证：**「凭什么你能拿互联网上的文本训练，我不能拿你的输出训练？」**大模型预训练数据大部分来自公开网页，而网页里早就堆满了 ChatGPT 的对话截图。Reddit 上有专门分享「最佳 ChatGPT 回答」的子版块，这些内容现在躺在任何新模型的预训练数据里。 Dylan 补了一个更微妙的观察：很多模型被问「你是谁」，会说「我是 ChatGPT，由 OpenAI 训练」。原因在于训练数据里到处都是这个句式，团队没特意做后训练去纠正。Allen AI 自己的开源模型也这样，他们得在系统提示词里明写「你是 Tülu，由 Allen AI 训练」才盖得住。 讽刺的是，播客录制前后，社区里开始出现把 DeepSeek 模型蒸馏进 Llama 的版本。原因是 DeepSeek 的 MoE 架构推理太复杂，Llama 的稠密架构好部署，工具链成熟。**技术流动的方向从来不只一条。** ## 出口管制：短期掐算力，长期赌一个时间窗 Dylan 对出口管制的分析是整期节目里最硬核的一段。他的核心判断是：**如果 AI 在未来五到十年不会带来颠覆性变化，美国的出口管制长期一定会让中国赢。**理由很实在，管制同时伤害了美国芯片公司的收入和研发循环，而中国的工业能力、电力建设能力、STEM 毕业生规模都远超美国。封锁一个增长中的市场，等于主动放弃规模优势。 反过来，**如果 AI 在五到十年内真的改变世界格局，算力就是唯一有效的杠杆。**人才不构成瓶颈，美国能吸收全世界的人；电力也不构成瓶颈，中国有全球最凶的基建能力。唯一能拉开的差距，就是先进芯片的可得性。 目前美国政府的策略分档次推进。2022 年 10 月 7 日第一版管制同时卡算力和互联带宽，后来发现 H800 这种「算力保留、带宽砍半」的芯片中国能自己优化绕过去，于是取消带宽那一条，只卡算力。于是有了 H20，算力只有 H100 的三分之一，显存带宽和容量反倒更高。Dylan 说，**H20 这个规格对推理、尤其对内存密集的推理任务，严格说比 H100 更合适。** NVIDIA 去年往中国运了大约 100 万张 H20。就在节目录制前几周，NVIDIA 把 H20 和下一代 B20 的订单全砍了。Dylan 的判断是，NVIDIA 猜测更严的管制在路上，提前收缩。同时，拜登政府在任期最后一周推出的 AI Diffusion Rules，把 GPU 出口管到了连新加坡、葡萄牙这些盟国都要审批的程度。Dylan 的原话是：「新加坡有 F-35，我们不让它买 GPU。」 走私的量级他也给了估计：去年合法渠道进入中国的大约 100 万张 H20，经新加坡、马来西亚等渠道绕进去的大约 20 万到 30 万张，还有一块完全合法的路径是中国公司租用境外云厂商的算力。字节跳动据说在全球租了超过 50 万张 GPU，是 Oracle 最大的 GPU 客户，也是 Google 第二大客户。**新的管制规则专门堵了这条租借路径。** ## 台积电与全球三个研发中心 Dylan 讲台积电的段落信息密度极高。他说全球真正做先进制程研发的地方只有三个：台湾新竹、美国俄勒冈州希尔斯伯勒（Intel）、韩国平泽（三星）。这三个地方决定未来所有芯片的演进路线。 台积电在亚利桑那建的厂，在他看来更接近装配车间。如果新竹从地球上消失，亚利桑那的厂一两年内也会停产。**「如果我有几枚导弹，我知道打哪里能造成最大的经济伤害，那里是这三个研发中心。」** 台积电做成的理由，文化占一部分。台湾顶尖大学最好的毕业生，首选就是去台积电，起薪折合七八万美元。在美国，同等水准的毕业生去 Google、Amazon 拿的是几十万美元。地震一来，台积电员工不用通知，自己开车往厂里冲，停车场瞬间挤满，像蚁群，没人指挥，全知道该干什么。 另一部分是商业模式。张忠谋当年在德州仪器没被提拔成 CEO，一怒之下跑到台湾创办台积电。台积电只做代工，不设计芯片，客户从 NVIDIA 到苹果到高通。**过去三十年，能自建晶圆厂的公司一家家死掉，因为一座先进制程厂的投资超过三四百亿美元，还得持续投下一代。**AMD 差点破产，卖掉了自己的厂，那块业务变成了 GlobalFoundries。现在连 Intel 的最新 PC 芯片都用上台积电的工艺。 美国能不能把先进制造搬回来？Dylan 的回答是能，但得花十年和一万亿美元。台积电目前在亚利桑那建了大约 20% 的 5 纳米产能，这还只是零头。他提到一个细节：亚利桑那厂有 3000 名从台湾派来的工程师，不少人的太太把条件谈成了「你去亚利桑那可以，我们到那儿生孩子」，日本熊本的厂也发生过同样的事。 ## 超级集群与电力的硬约束 节目后半段转向算力基建。Dylan 报了一串数字：Meta 训练 Llama 3 用了 16000 张 H100，而 Meta 去年总共买了 40 多万张 GPU。xAI 在孟菲斯的集群现在有 20 万张（10 万 H100 加 10 万 H200），是全球单一地点最大的。Meta 和 OpenAI 各有 10 万张左右的规模。 更惊人的是功耗。GPT-4 训练时 2 万张 A100，总功耗十几二十兆瓦，标准的机房规模。到 2024 年，10 万张 H100 集群的功耗跳到 150 兆瓦，两年涨了将近十倍。而 OpenAI 在德州 Abilene 的 Stargate 一期，满负荷是 **2.2 吉瓦输入，1.8 吉瓦送到芯片**，比不少城市的用电量还高。 电力成了美国建集群最大的卡点。Dylan 说某些地区（比如弗吉尼亚）输电成本已经超过发电成本，电网建设太慢。于是各家开始自建电厂。Meta 在路易斯安那建两座天然气电厂，OpenAI 在德州也这么干。xAI 在孟菲斯更极端，把隔壁的天然气管道直接接过来烧，配了一堆移动发电机组，还部署大量特斯拉 Megapack 电池来平滑功率波动。 > 「建电厂太慢，几十亿美元的 GPU 摆着等电，这买卖不划算。电价占集群成本不到 20%，大头是 GPU 折旧，那就干脆自己建电厂。」（Dylan Patel） 还有一个工程细节特别能说明规模。训练模型时 GPU 的计算功率和通信功率波动很大，瞬时尖峰能把电网设施搞坏。Meta 在 PyTorch 里加了一个操作符，名字大概是 *powerplant_no_blow_up*，作用是让 GPU 在通信阶段算一些假数字，把功率拉平。**这个操作符的存在本身就说明，今天的集群已经是一个能和电网互相伤害的东西。** 散热也在换代。风冷是过去的标准方案，Google 的 TPU 用水冷好几年了。xAI 在孟菲斯把水冷做到空前规模，场外摆了 90 个集装箱大小的水冷机。NVIDIA 下一代旗舰 GPU 强制要求水冷。**水冷除了散热，还有一层红利：芯片挨得越近，高速互联越容易。** ## Stargate 的 5000 亿，钱在哪 1 月白宫发布会上，Sam Altman、Larry Ellison 和特朗普一起宣布了 Stargate，5000 亿美元。Dylan 把账算了一遍。 一期在德州 Abilene，2.2 吉瓦的园区，服务器采购大约 500 到 600 亿美元，数据中心建设再加十来亿。把这 1.8 吉瓦全部用两代 NVIDIA 新芯片填满，服务器成本约 500 亿美元，加上数据中心、运维、租金，OpenAI 对外说的「1000 亿美元一期」是这么算出来的。需要说清楚，这是**全生命周期总成本（TCO），算的不是资本开支**。而且 OpenAI 是租，不拥有资产。 钱从哪来？OpenAI 在这家合资公司里承诺出资 190 亿美元，它上一轮融资拿了 460 亿，手上还有点债。Oracle 已经在自掏腰包建一期（约 60 亿资本开支）。软银说要投 250 亿进 OpenAI，那笔钱得先卖 ARM 的股份才拿得出来。阿联酋的 MGX 基金号称有 1.5 万亿美元投 AI，Dylan 说「这钱有多真，不知道」。 > 「Elon 说得对，这钱现在确实不存在。钱会来的，只要模型继续变好，融资就能继续。这是个信仰问题。」（Dylan Patel） 特朗普政府的角色主要是松绑管制：联邦土地上的数据中心和电厂审批基本取消，德州本身有全美唯一不受联邦管辖的电网 ERCOT，建得快。至于联邦政府直接掏钱，Dylan 说没有。他补了另一半判断：**这种量级的发布会本身会成为催化剂，1000 亿、5000 亿的数字在电视上一说，投资人和各家公司的董事会都会被推着往前跑。** ## 谁在赚钱，谁在烧钱 被问到这个问题时，Dylan 的回答很不客气：**真正赚到大钱的只有 NVIDIA 和其他硬件厂商。**微软账面上赚钱，但资本开支巨大，还得逐年折旧。Meta 靠推荐系统赚翻，那跟 Llama 没关系，Llama 肯定在亏。OpenAI 和 Anthropic 都在烧钱，而且越来越难说清它们最终靠什么赚钱。 这两家公司现在是模型能力最强的一档，品牌也最响，问题是它们没有分发渠道。X 有特斯拉和 Optimus，Google 有搜索和 YouTube，Meta 有几十亿用户的社交产品。OpenAI 手上真正值钱的东西，几乎只有 ChatGPT 这一个入口。 Nathan 把这个困境讲得更直接：对大多数普通用户来说，没必要非得让 OpenAI 花几十上百亿美元训下一代最强模型，他们完全可以用更便宜的 Llama 5 或者 DeepSeek。ChatGPT 是极其有价值的资产，可它赚的钱要拿去填训练的窟窿。聊天这个赛道的成本正在坍塌，V3 已经把价格打到这个位置，再往下走，聊天迟早变成广告支撑的免费服务。Google 有全球最大的广告系统，Meta 已经在免费服务 405B 级别的模型，它们玩得起，OpenAI 未必。 > 「Chat 不是终局。真正值钱的是推理、代码、agent、computer use，这些是 OpenAI 必须去的地方，不然它就完了。」（Dylan Patel） 这就形成了一个拧巴的局面：模型进步快，OpenAI 的技术领先能转化成收入，它就赢；模型进步慢，能力变成白菜价，它就会被有分发渠道的大厂包抄。**OpenAI 和 Anthropic 的处境，是必须一直跑在技术最前面，一停就会被吞掉。** ## 模型回答里怎么放广告，还没有答案 节目里聊到一个有意思的空白点。今天最赚钱的广告形态有两种，Meta 的信息流广告靠用户画像精准投放，Google 的搜索广告靠关键词匹配。但**在一段模型生成的回答里，怎么放一个高质量、不招人烦、又能被测量的广告，现在没有答案。** Nathan 认为，谁先解开这道题，谁就能吃到一块巨大的收入。这活儿不是加一条横幅那么简单，它可能出现在语音对话里，用一句话自然引出某个产品；可能藏在多轮对话的某个转折点上。难的地方在于既要有效，又不能显得下作，否则舆论立刻反噬。Perplexity 这类公司在试，Google 和 Meta 有动力试，OpenAI 和 Anthropic 目前完全没往这个方向看，它们的心思全在 AGI 上。 ## Agent 与良率的连乘 2025 年初，商业媒体都在喊 agent 是今年的关键词，AI agent 要颠覆一切。Nathan 对这个词的态度是，被用滥了。 他的定义很清晰：agent 应该是一个能独立、开放地解决任务、能应对不确定性的系统。现在这个词被贴到了从 Apple Intelligence 到各种自动化脚本上。Apple Intelligence 那种在消息、照片之间做编排的工具调用，语言模型确实能做，也会做成，可那是封闭域里的编排，跟「帮我订一张两天后去奥斯汀的机票」还差着十万八千里。 Dylan 用制造业的类比讲清了 agent 的真正难点。半导体制造有上万道工序，每道工序的良率如果是 99.9999%，把所有制程乘起来，最终良率可能只剩六成甚至归零。**Agent 是同一个逻辑，它要连续完成几十上百个步骤，每一步模型都有出错概率，这些概率连乘起来，整体成功率断崖式下跌。**这就是为什么 Waymo 跑了这么多年还得配远程操作员，自动驾驶的「六个九」至今没解决。 真实世界的开放性让问题更糟。软件工程是 agent 最容易攻破的领域，因为代码能编译、能跑单测，结果可验证。电脑操作、网页交互面对的是一个混乱世界，一个航空公司订票网站要点十几次，人类用户每次用都要经历一次存在主义危机，指望 AI 稳定搞定，短期内不现实。 Dylan 也给了另一条路径：**如果单个步骤做得好，就可以串起来，靠工程手段补上模型的不稳定。**已经在出现的生意是「agent 失败时的人工兜底」，agent 卡住了，一个真人接手帮你完成。等家用机器人普及，很可能也会有一套全球分布的人工操作市场，机器人在你面前卡住时，地球另一端有人远程帮你把碗放进洗碗机。他半开玩笑说，这可能就包含在特斯拉的服务套餐里。 ## 软件工程被吃掉的方式 编程是 AI 已经产生真实收入和真实效率提升的领域。Dylan 提到 SWE-bench 这个基准，题目难度大概需要几年编程经验才能完成，模型一年内从 4% 的正确率涨到 60%，明年还会更高，但不会到 100%，因为「六个九」太难。 他真正看好的方向在代码补全之外，是软件工程 agent。原因是这最可验证，写完能编译、能跑测试。而且 agent 可以一次读进整个代码库，这是普通工程师做不到的，只有最资深的架构师能在脑子里装下这些。模式会变成这样：资深的人定义架构和意图，agent 去执行，人再回来审查。 这件事的外溢效应被低估。Dylan 举了中美 SaaS 的差异：美国公司大量购买 Salesforce 这类平台 SaaS，中国公司很少买，大家都自己搭一套，因为中国工程师成本低。**如果软件工程成本再掉一个量级，全世界都会变得更像中国，公司倾向自建高度定制的系统，不愿被通用 SaaS 绑死。**这会重塑整个企业软件的格局。 Nathan 补了一个冷静的看法：不会有「某天程序员突然没用」的断崖。他拿 Meta 加 Stories 功能类比，Snapchat 当时在指数增长，Meta 一加 Stories，它的增长曲线直接压平。AI 对程序员就业的影响更像这样，需求曲线先转平，然后缓慢下滑，供给端（比如还在扩招的 CS 学生）反应要慢好几年，两边错配会持续一段时间。 Lex 在这个位置加了一句他个人很看重的建议：**程序员应该主动拥抱这套工具，把自己变成 AI 的监督者和合作者，别选择完全不学编程、只靠生成。**要管住越来越聪明的系统，本身就需要很高的专业水平。Dylan 补充，除了会用 AI，还得在某个具体领域做到专家，航空航天、半导体、化工这些行业至今还在用二十年前的软件，谁能把最前沿的 AI 能力带进这些老旧领域，谁就站在前沿。 ## 开源 AI 缺少反馈循环 节目最后聊到 Nathan 自己做的事。他所在的 Allen AI 刚发布 Tülu 3，一套完全开源的后训练方案，训练数据、训练代码、配方全部公开。名字来自 tülu，一种单峰驼和双峰驼杂交的骆驼，沿用了 ChatGPT 之后那波用哺乳动物命名模型的传统。 Tülu 3 基于 Llama 3.1 405B 的底座，用了指令微调、偏好对齐，还有最近很热的可验证奖励强化学习（RLVR）。Nathan 说他们在数学这个可验证基准上的提升特别明显，方法跟Tülu 3 基于 Llama 3.1 405B 的底座，用了指令微调、偏好对齐，还有最近很热的可验证奖励强化学习（RLVR）。Nathan 说他们在数学这个可验证基准上的提升特别明显，方法跟 DeepSeek 论文里讲的是一条路。区别在于，DeepSeek 只公开了论文和权重，Allen AI 把配方、数据、代码一起放了出来。 他们用相当有限的算力做出了超过 Llama 官方 instruct 版本的评测成绩。Nathan 报了个具体数字：Tülu 3 在自建的十个评测项上平均 80 分，DeepSeek V3 不计安全项是 79 分，把安全分算进去会掉到 70 上下。**安全这一项他特意没有拿去当主要卖点，理由是一家之言的安全标准不该成为排行榜的核心变量。**有人想把安全留到部署层做，有人想在训练阶段做，两种选择都合理。 这套评测的思路值得一提。学术界通常只用少数几个基准，大厂内部会针对一个核心场景堆几十上百个评测。Allen AI 选了十个有代表性的维度，覆盖聊天、精确指令跟随（比如只用表情符号回答）、数学、代码、安全。这些分数本身说明不了模型有多聪明，但它让外人第一次能看清后训练每一步到底在优化什么。 往前看，Nathan 认为开源后训练的下一步是扩大验证器的覆盖范围，把数据规模提上去，复现 DeepSeek 的一部分结果。有论文可读，这件事比一年前容易太多。 ## 开源 AI 缺的是反馈循环 但 Nathan 对开源 AI 的现状有一份清醒的悲观。开源软件能繁荣，靠的是一整套反馈循环：你改一行代码，全世界都能受益，改的人自己也有好处，于是越改越快。开源 AI 没有这个循环。你放出模型权重、训练数据、训练代码，别人想在此基础上改进，还得有海量算力、专业团队和踩过一遍的工程直觉，门槛高到大多数人根本接不住。 > 「在开源 AI 形成反馈循环之前，它基本还是一场意识形态驱动的苦行。Zuckerberg 说美国需要一个开源标准，我同意他，但在这个动机还高涨的窗口期，我们得赶紧把生态搭起来。」（Nathan Lambert） 他自己也在找突破口。Allen AI 准备上线一个演示，你输入一个查询，系统告诉你哪些预训练数据和它最相关。这件事法律上有风险，技术上也很麻烦，预训练数据是几 TB 的文件，解析起来极费劲。**可如果人们真想让开源 AI 产生商业价值，「看见模型到底学了什么」这件事就必须做到。**否则所谓开放只开放了结果，没开放因果。 他也承认这条路的现实压力。算力受限、人手受限，Allen AI 只能靠从别处学到的技巧做跳跃，比如从 John Schulman 那类研究者身上借经验。别人花一个月能试一百个方向，他们只能试十个，选错的成本更高。**开源 AI 今天更像一种公共品，靠一批人自愿往里贴资源维持，商业上还没找到自洽的闭环。** ## Google 手握 TPU 却不卖 聊硬件竞争时绕不开一个问题：Google 有 TPU，为什么不做成生意去跟 NVIDIA 抢？ Dylan 的分析是，Google 的基因里没有这门生意。TPU 最初是为了让搜索跑得更便宜，后来服务 Gemini、YouTube、广告这些内部业务，整个架构为内部工作负载深度优化。他举了个很具体的例子，Google 开源的 Gemma 7B 其实有 80 亿参数，因为词表做得特别大，而词表这么大是因为 TPU 的矩阵乘法单元特别宽，Google 就顺手把词表也做大了。这在这么小的模型上并不合理，可它跟自家硬件最匹配。反过来，Llama 在 TPU 上跑不如在 GPU 上顺，Gemma 在 GPU 上跑也不如 Llama。 更难的是软件栈。Google 内部的工程师用 TPU 训练模型，几乎不用碰硬件细节，体验相当顺。这些人一旦离开 Google 创业，会发现外面没有这套东西，他们得从头学 GPU 那一套。Dylan 说很多从 Google 出来的人又跑回去借内部工具，就是因为外面的基础设施太难伺候。 组织也是一层障碍。Google Cloud、TPU 团队、DeepMind、搜索是四个平行的组织，各有各的 KPI。内部的 JAX 和 XLA 团队服务的是 DeepMind 和搜索，不对外部客户。NVIDIA 的 CUDA 团队反过来，从第一天起就在对着外部客户做，NCCL 这类库的迭代节奏由客户需求驱动。**一家公司愿意为外部客户改工具，另一家只愿意为内部团队改，时间一长，差距会自己长出来。** 那 AWS 为什么一直压着 Azure 和 Google Cloud 打？Dylan 的答案很朴素：先发、好用、便宜，而且从第一天就服务小客户。早期 AWS 会跑到湾区各种活动发代金券，让小公司刷信用卡就能用。Snowflake 当年在 AWS 还没重视它的时候就开始用 AWS，等长成大客户，关系已经绑死。再加上 Amazon 自研了一堆芯片，在存储、CPU、网络、数据库这些基础层的成本结构比对手低。**AWS 贡献了 Amazon 超过八成的利润，而零售业务赚得很少，这个反差本身就说明云这门生意的质地。** ## Intel 在悬崖边，AMD 被软件拖住 被问到有没有谁能挑战 NVIDIA，Dylan 的回答很干脆：短期看不到。 AMD 的硬件很多地方其实比 NVIDIA 好，问题全在软件。SemiAnalysis 团队曾经花好几个月在 AMD 的 GPU 上做训练和推理，结果发现自己成了提交 bug 最多的用户。原因是 AMD 只服务少数几个大客户，会给他们发私有镜像，普通用户拿 PyTorch 和公开库去用，体验很差。Dylan 说他们确实在好转，可差距太大，投入也不够。 Intel 的处境更严峻。Dylan 提醒大家别忘了，Intel 曾经领先制造工艺二十年，应变硅、高 K 金属栅、FinFET 这些技术都是它第一个量产、赚最多钱的。问题出在文化坏了，能力没坏。拒绝 iPhone、晶圆厂管理失当、设计部门锁死，一层层叠加。现在它在服务器和 PC 两个主战场上都在丢阵地：苹果 M 系列吃掉了 PC 高端，亚马逊、微软、Google 都在自研 ARM 服务器芯片，Intel 自己在 AI 加速器上几乎没有像样的产品。 更麻烦的是，Dylan 之前说的「全球只有三个地方在做先进制程研发」，其中三星和 Intel 现在都做得不好。**如果只剩台积电一家能搞研发，而台积电又集中在台湾，全世界的科技产业就吊在一根绳子上。**这也是为什么 Intel 的命运不只关乎商业，还关乎国家安全。 ## AGI 的时间表比 CEO 说的晚几年 Lex 反复追问 AGI 的时间点。Dario Amodei 说 2026 年会出现强大的 AI，具备实质性的军事和地缘优势。Nathan 的态度是，这些 CEO 确实想得很深，得认真对待，也要理解他们的激励机制，所以在他的时间上加几年，大概是 2030 或稍晚。 Dylan 的补充更实在。能力可能在 2027、2028 年就到了某个门槛，一个人如果能把这种能力用上足够长时间，可以说这就是 AGI。可**真正制约它铺开的是成本。**今天问 ChatGPT 一个问题花几分钱，解决一个 AGI 级别的高难度任务要花 5 到 20 美元，未来可能是几千、几十万美元的 GPU 时间。世界上没有那么多电、那么多芯片、那么多基础设施，让这种能力瞬间铺满整个经济。所以不会有一个「啪」的时刻，而是「能力先到，铺不开」的漫长过渡。 他举了个回看的例子。2023 年 GPT-4 刚出，所有人恐慌搜索要被颠覆，Perplexity 冒了出来。可如果算一下把 GPT-3 塞进每一次 Google 搜索的成本，会发现物理上根本做不到。同样的道理，AGI 的能力和 AGI 的普及之间隔着一道算力的墙。 在这个过渡期里，谁有权把 AGI 指向某个任务，也就成了关键问题。Dylan 引了 Dario 那篇博客的核心担忧：美国的 AI 会更偏资本化配置，流向回报最高的商业场景；中国的体制有可能更快把 AI 用到军事和特定目标上。他提到一个现实，在无人机这类非对称武器上，中国已经大幅领先西方。**技术领先和军事应用之间，还隔着一条组织能力的缝，谁的体制能更快穿过这条缝，谁就把算力变成了实力。** Nathan 在这里给了一个他自己的定义。他说语言模型就是某种形式的 AGI，这句话不用等到超级智能。一个模型能跨那么多领域提供价值，本身已经足够通用。真正还没到的是那一步，模型能独立地在训练数据之外解决陌生任务，还得靠几轮技术突破。 ## 两套不同的隐忧 节目快结束时，Lex 问了一个大问题：什么让你对人类未来抱有希望？ Nathan 的回答很朴素。他认为人类一定能活过一千年，历史上出过很多大灾难，人少了很多，可人类活了下来。人对长期风险的判断力很差，一旦风险变得迫在眉睫，人总能想办法解决。物理约束、人类的基本善意、以及过去解决问题的记录，让他偏向乐观。他不太担心 AI 接管。 Dylan 的隐忧更具体，也更值得记下来：**他担心的东西是人和机器融合之后，极少数人获得远超常人的能力。**当一部分人可以脑机接口、可以调动 AGI 的全部能力，他们的影响力会指数级放大。不会是一个人统治所有人，而是几百、几千、几万人凌驾于其余所有人之上。他把这种东西叫技术法西斯主义的风险。 他也给了另一半判断：多数情况下，这种能力会被用在逐利上，逐利会增加供给和丰裕，从而降低痛苦。这是他愿意对商业动机保持乐观的原因。 聊到最后，两个人还开了个玩笑。如果未来是躺在营养管里刷信息流、被算法喂饱多巴胺，那算不算一个好结局？Dylan 说，从某种角度看算，人快乐了。Nathan 接了一句更酸的：**刷信息流维持的是世界的现状。**这段听着轻松，其实藏着整期节目最沉重的一层意思。人和算法的关系，早就不是「用不用」的问题，它已经在塑造每个人认为什么是重要的。 ## 这五小时真正立住的几个判断 信息量这么大的一期，如果只挑几条带走，大概是这些。 DeepSeek 的技术报告值得认真读，它是实打实的工程记录，不带营销味。一个被算力卡住脖子的团队，把混合专家的稀疏度推到 256 选 8，自己发明注意力压缩方案，还下到汇编层调度 GPU 核心。这些细节对任何做模型训练的人都有直接参考价值，也是这轮开源讨论里最硬的一份材料。 R1 便宜的原因要拆开看。一部分是真实的技术效率，另一部分是 OpenAI 的高毛利。把这两层剥开，才能看清这个行业的价格结构是怎么形成的，也才能判断下一轮价格战谁扛得住。 思维链的涌现是这一轮最值得关注的现象。模型在没有人类示范的情况下，自己学会了回头检查、自我否定、换条路再试。这件事的意义超出工程范畴，它说明强化学习在可验证领域的天花板还远没到。 Agent 不会在 2025 年颠覆一切，它会在特定封闭领域逐步推进。判断标准很简单，这个任务的每一步能不能被验证。能验证的先被吃掉，靠开放世界和人类常识的还得等。良率连乘这件事，比任何发布会都诚实。 整个行业的瓶颈正在从芯片转向电力。谁能更快建起吉瓦级的电厂和数据中心，谁就握有下一轮竞赛的入场券。这也是为什么松绑审批的政策被谈论得这么多，为什么天然气电厂、核电站、储能电池会突然变成 AI 圈的关键词。 ## 给读者的几条具体建议 - 把 DeepSeek-V3 的技术报告完整读一遍，尤其 MLA 和专家路由那两节。这是目前公开材料里工程含量最高的一份，比大多数综述都有用。 - 如果你是开发者，把 R1 或 V3 的权重下载到本地跑一次。断网环境下跑通一次，你对「开源权重到底意味着什么」的理解会比读十篇文章更具体。 - 追踪推理成本曲线，别只追踪榜单分数。过去两年同等智能水平的推理成本降了一千多倍，这个斜率决定了什么应用能活、什么应用会死。 - 评估 agent 产品时先问一个问题：它的每一步能不能被自动验证？能验证的场景值得投，不能验证的先别信宣传。 - 如果你在传统行业（制造、化工、航空、医疗），花一周时间梳理团队还在用的二十年前的软件，以及最痛的三个流程。这是 AI 最容易切进去、也最容易被忽视的地方。 - 程序员把重心从「写代码」移到「定义问题、审查结果、理解整个系统」。SWE-bench 一年从 4% 到 60%，离 100% 还很远，中间那段空间就是人的位置。 - 关注电力，别只关注芯片。想判断一家公司或一个地区未来能不能撑起大模型，去看它的电网、变电站、发电规划，这些公开数据比发布会更可靠。 - 对 AGI 的时间表保持两层判断：能力可能比预期更早到，普及一定比预期更晚。做产品和做投资时，这两件事要分开算。 - 读英文技术报告时，把附录和实现细节当成正文看。这轮技术突破的关键，几乎都藏在那些不起眼的脚注里。 - 给自己的 AI 使用留一段离线时间。Nathan 在节目最后说的那句话值得记住，刷信息流维持的是世界的现状，而你想改变的东西，通常需要你先从那条流里走出来。