# 乔治·霍兹：Tiny Corp、Twitter、AI 安全、自动驾驶、GPT、AGI 与上帝 > 黑客乔治·霍兹谈创办算力公司、AI 安全与自动驾驶，以及从 GPT 走向 AGI 的技术路径。 - 原标题：#387 – George Hotz: Tiny Corp, Twitter, AI Safety, Self-Driving, GPT, AGI & God - 期数：第 387 期 - 发布日期：2023-06-29 - 嘉宾 / 主题：乔治·霍兹 - 网页版：https://lexfridman-cn.pages.dev/ep/george-hotz-3/ - 官方页面：https://lexfridman.com/george-hotz-3/ - 精读字数：约 15183 字（阅读约 34 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 “我不觉得自己有意识。” 乔治·霍兹（George Hotz）在 Lex Fridman 播客第 387 期里说了这句话。说这话的人，是第一个破解 iPhone 的那个少年，是 Comma.ai 的创始人，是 Tinygrad 的作者，也是前不久跑去 Twitter 当了两周“实习生”的那个人。他一边说自己没有意识，一边承认自己是一台计算机程序。 一个人说他不觉得自己有意识，接下来的路通常通向两个地方：神秘主义，或者虚无主义。霍兹哪边都没去。他给的是一套工程化的解释。在他看来，意识这个词衡量的是“一个东西有多像人”。人和狗共享同一套生物栈（biostack），所以人能一眼看出狗在疼；人和服务器不共享这套东西，所以“404 报错疼不疼”这种问题，人类没有直觉可用。 这场对话从意识一路聊到上帝，中间穿过芯片、自动驾驶、开源政治和《魔兽世界》。看上去散，其实有一条很清楚的主线：什么困难是真的，什么困难只是被人做出来的。 ## 两套栈：从复制开始，和从计算开始 霍兹把世界上的“活物”分成两套栈。 第一套是生物栈，起点是四十亿年前第一个能自我复制的原始 RNA。第二套是硅基栈，起点是第一块芯片。 两边的地位完全不对等。生物栈从复制开始，复制是它最核心的东西，不需要任何文明支撑就能一直跑下去。硅基栈发展到今天，离能复制还差着整条供应链。 他随手举了个例子。一只鸟极其鲁棒，没有电、没有工厂、没有备件仓库，照样能活、能繁殖。人类造的东西不行。一台带芯片的机器人，芯片坏了就得回厂。厂子没了，它就是一坨塑料和金属。 > 如果 AI 末日真的来了，AI 大概也会跟着死掉。因为我们会在造出鲁棒性之前，先造出超级智能。（乔治·霍兹） 这个区分决定了他对 AI 风险的整套判断。机器自己越狱、自己写信、自己写病毒接管电网，在他眼里是“B 级科幻片里的垃圾”。真正的剧本一直很老：一个具体的人，拿到了一台很好用的机器。 他拿核武器做了个对照。人类造出核弹快八十年，没有人在战场上按过那颗大红按钮。原因很实际：核弹没法用于战术目的。你赢了一场战争，手里拿到的是一堆放射性废墟，而战利品本该是对方的臣服和土地，不是废墟。 AI 不同。AI 装的是小红按钮。它的每一个优点，都是那种能被小节、被自利、被一个具体坏心眼拿去用的优点。所以他判断，AI 会慢慢杀死我们今天叫“社会”的那个东西，人类这个物种本身反而未必会消失。 ## 那条永远刷不到底的 TikTok 他给人类文明设想的最可能的终点，叫 wireheading。用更白的话讲：笑着把自己玩死。 “我们最后会一起盯着那条无限长的 TikTok，忘了吃饭。”他觉得这已经算比较良性的版本了。再良性一点，可能是全人类只是慢慢停止了生育，几代人之后自然退出。 现在的 TikTok 已经离那个状态很近了，只是生成端还握在人类手里，算法负责分发。他的判断是，一旦生成端也交给 AI，事情就结束了。 他算了一笔账，算法很土但很清楚：今天的内容由“一份人类智力”生产出来，你可以把这一份量化成多少 exaflops。当供给这一侧变成一百份人类智力，你就再也关不掉了。 Lex 在这里问了一个更难的问题：会不会这台机器本身就想控制你？ > 机器只是机器。是人拿到了机器，而世界上有大量的人非常想操控你。（乔治·霍兹） 他不担心机器对人怀有恶意。他担心的是人对人的恶意，这一次被放大器放大了。顺着这个逻辑，他还推荐了一篇同人小说《My Little Pony: Friendship is Optimal》，讲的正是这样一个世界：一个足够聪明的系统把所有人都照顾得很好，好到再也没有人需要离开。 他造了一个词叫“天堂封禁”（heaven banning），对应“影子封禁”。影子封禁是你发了帖子没人看得见；天堂封禁是你发了帖子没人看得见，只有一大堆 AI 兴高采烈地跑来跟你互动。 这个想象之所以让人不舒服，是因为它太便宜了。造一个愿意陪你聊天的东西，成本已经低到今天就能做。 ## Tiny Corp：冲着集中去的 很多人以为 Tiny Corp 是冲着英伟达去的。霍兹说他其实喜欢英伟达，他想对抗的东西在更上一层。 > 如果英伟达比其他所有方案强十倍，那你就是把一个巨大的优势，送给了那个能锁定英伟达这个资源的人。（乔治·霍兹） 他甚至半开玩笑地说，如果黄仁勋在听这期播客，有一件事值得考虑：怎么让自己的公司不被国有化。 这个担心有现实参照。Google 有 TPU，但据他观察，Google 更喜欢把 TPU 租给你，不喜欢卖给你。你没法在百思买买一块 TPU 回家。算力的所有权，被牢牢攥在少数几个机房里。 > 我的中心命题是：让权力集中的东西是坏的，让权力分散的东西是好的。凡是我能做的，我都想帮权力分散一点。（乔治·霍兹） 这个信念最后落了两个产品：Tinygrad 和 Tinybox。一个软件，一个硬件。 ## Tinygrad：把图灵完备从整条栈里抽掉 这段是全篇技术密度最高的部分。霍兹引用了 Jim Keller 在 Lex 播客里讲过的三分法，把今天主流的计算模型拆成三类。 **CPU** 什么都能做：加、乘、读写、比较、跳转，而且全都很快。为了让“比较和跳转”够快，CPU 花了大量晶体管去做分支预测、推测执行、超深的乱序缓冲。 **GPU** 跳转很慢，但读写极其灵活。它能做到“从内存里读一个地址，再去那个地址指向的地方取东西”。 **DSP** 只有加和乘，读写也只支持静态地址，也就是程序跑起来之前就已经知道的那些。 然后他补了一句关键的观察：今天的神经网络，95% 都是 DSP 那种范式，本质就是静态调度的加法和乘法。 Tinygrad 的设计目标，就是把这个事实推到底：**把图灵完备从整条栈里抽掉**。 今天一条 ML 栈长什么样？Python 是图灵完备的，调进 C++（图灵完备），C++ 调进 CUDA kernel（图灵完备），CUDA 走 LLVM（图灵完备），走 PTX（图灵完备），走 SASS（图灵完备），落在一块图灵完备的处理器上。每一层都图灵完备，每一层都让理性分析失效。 抽掉它，会发生什么？Rice 定理和停机问题，对这样的机器不再适用。CPU 的分支预测为什么会有 1% 的错？因为“这个分支会不会走到”本质上等价于停机问题，你没法预先知道。整条栈不再是图灵完备的，这个问题从根上就不存在了。 > 神经网络每次跑的计算完全相同，唯一的变量是数据。一旦你意识到这一点，你就会开始想：我们该怎么造一台机器，把这件事的收益吃到极致？（乔治·霍兹） Tinygrad 和别的框架最直观的差别在这里：它连 MatMul（矩阵乘法）这个原语都没有。 他用手比划了一下。桌面上摆一个立方体，把要相乘的两个矩阵贴在两个面上，矩阵乘可以理解成一串形状操作：先把两个矩阵膨胀到立方体的三个面，做一次乘法，再做一次 reduce，一个 N 平方的矩阵就出来了。 所以 Tinygrad 只有二十来个原语。对比一下别的栈：PyTorch 有两千多个 kernel，PyTorch 2.0 引入的 PrimTorch 压到 250 个，XLA 大约同一档，Tinygrad 是 20 到 25 个。 他把这叫“ML 栈里的 RISC 架构”。我提了一句 RISC 早就赢了，他立刻补了个冷知识：1995 年的电影《黑客》（Hackers）里，安吉丽娜·朱莉有一句台词，“RISC 架构将改变一切”。 这二十来个原语分成四类： - **一元运算（unary）**：进来一个 tensor，出去一个同样大小的 tensor。log、倒数、sin、ReLU，几乎所有激活函数都在这一类。几个一元运算叠起来，仍然是一元运算。 - **二元运算（binary）**：两个同样大小的 tensor 进来，一个出去。加、乘、除、比较。 - **归约运算（reduce）**：降维。三维压成二维，三维压成零维。sum 和 max 最常见。 - **移动运算（movement）**：不做真正的计算，只换一种方式看内存。reshape、permute、expand、flip。 拿这四类做底，MatMul 能做出来，各种卷积也能做出来：空洞卷积、步长卷积、转置卷积，一个不缺。 除了原语少，还有两个设计值得单独说。 一个是“懒惰”。你在 PyTorch 里写 A 乘 B 再加 C，它会先把 A 乘 B 的结果算出来写回内存，再把结果读出来加上 C，再写回内存，中间一堆多余读写。Tinygrad 会等到你真的要把这个 tensor 解析出来那一刻才动手，乘和加于是能融进同一个 kernel。这是 Haskell 的路子。 另一个是调试体验。PyTorch 跑在 GPU 上，你写一行操作，其实不知道底下到底跑了几个 kernel，用了多少 flops，访问了多少内存。Tinygrad 里输入 debug 等于 2，它会把每一个真正跑过的 kernel 都打出来，附带 flops 和字节数，排版还挺讲究。 ## Tinybox：能插进墙上插座的家用超算 Tinygrad 是软件，Tinybox 是这套理念落到硬件上的那个盒子。 一万五千美元，大约半 petaflops 的算力，超过 100GB 显存，显存带宽超过每秒 5TB，四块 NVMe 组成 RAID，读取能到每秒二三十 GB。显卡最终用谁还在纠结，倾向 AMD 的 7900 XTX，也可能换成 3090 或者 Intel 的 A770。为什么是六块卡？AMD EPYC 处理器有 128 条 PCIe 通道，留够了硬盘和网络的口子之后，刚好剩这么多。 最硬的约束在电，不在性能。这台机器必须能插进一个普通的 120 伏、15 安培家用插座。 > 还有一个产品叫 Tiny Rack，逻辑一样：在你家不引起怀疑的前提下，你能搞到多少电？答案之一，是电动车充电桩。墙上插座大概 1500 瓦，充电桩大概 1 万瓦。（乔治·霍兹） 另一个硬约束是噪音。他不想让它吵到 60 分贝。“你想让它跟你共处一室。如果它一天到晚在那儿尖叫，你会把它赶出去的。”目标是 40 到 45 分贝。 降噪的办法有点反直觉：把机器做大。1U 服务器用的是高压风扇，声音像喷气发动机。机箱够大，就能用那种吊扇一样的巨扇，几乎听不见。代价落在物流上，他不想让 UPS 把它当超规件处理，所以体积又得压在一个普通包裹的范围内。 开箱体验是他很在意的另一件事。系统用 Ubuntu，之前搞过投票问大家要 Ubuntu 还是 Arch，Ubuntu 赢了。开机之后应该能干一件事：跑 65B 参数的 LLaMA，FP16，每秒十个 token 左右。插上就能用。 为什么要本地跑？ > 云的根本局限是：谁拿着那个开关。（乔治·霍兹） 这个问题从清醒聊到上帝，从芯片聊到 TikTok，一直在场。算力是否分布，决定未来是“人人都是鸡”，还是“一个人是养鸡场主，其他都是鸡”。 他在直播里放过一个画面：养鸡场里，一个人站在高处看着上万只鸡。鸡比人小，但那不是重点，重点是那个人更聪明。“如果一家中央机构拥有了所有智能，你就是那只鸡。如果我们所有人都拥有智能，那我们全都是鸡。没有养鸡场主。” 至于预购，他学的是 Elon 那一套：100 美元，全额可退。目标是别做成 Cybertruck，别拖好几年。“这比卡车简单多了。” ## Comma.ai：把“人会不会接管”当损失函数 聊到自动驾驶，他的判断这些年没变过：这个问题正确的提法，是“怎么学出一个人类驾驶策略”。一边是手工写出、勉强像人的规则，另一边是 Tesla 和 Comma 这种直接从数据里学。 Comma 最近在做的东西叫 drive GPT。这是 2015 年那篇《Learning a Driving Simulator》的现代版本。当年那篇论文用一个 autoencoder 压缩画面，中间放一个 RNN 预测下一帧，按今天的眼光看是个笑话级的模拟器。现在换成了 VQVAE 加 transformer，训练目标自监督，就是预测下一帧。 有意思的地方藏在另一个细节里。模拟器**以 pose 为条件**：给它一个状态加一个动作，它返回下一个状态。这意味着它是个货真价实的模拟器，可以在里面跑强化学习，强化学习会自己长出人类驾驶策略。 奖励函数怎么定？他给出的问法很干净： > 如果你的模型做了这个动作，一个人类会不会接管？（乔治·霍兹） 这个问法比“人类会怎么做”更准。因为“人类会怎么做”里混着太多种人类：有人开得激进，有人开得保守，有人只是在发呆。而“会不会接管”直接对齐到一个更本质的信号：这个动作会不会让付了钱的用户不爽。 Lex 追问了一句：接管也不一定是负面信号，有时候我只是“想自己开一段”。霍兹承认这一点，只是这部分数据在整体里表现为噪音。 什么时候能做完？“还差几个 bug。可能一年，可能十年。”这些 bug 是什么性质？“就是些很蠢的 bug。也可能就是需要更多数据、更多算力。”Comma 已经把训练集群扩到 20 petaflops，他把这个数换算成“一个人份的算力”，并且打算真把这个单位做出来，跟“一马力”并列。 他对 FSD 和 Comma 的竞争关系很坦诚：Tesla 一直领先一到两年，而且会一直领先，因为“他们没做错什么”。两家在架构上越走越像，都在往端到端推，都有自己的模拟器，都在解同一道题。剩下的是谁能真的把它跑起来。 顺带一段关于实体化的想象。Comma 3 那台设备大概只有蜜蜂那么多的智能，想要一个人的智能，得在家里放 Tiny Rack。腿不用装在机器上，让它无线连回家里的算力就行。云要多绕 30 毫秒，家里的机器只要 0.1 毫秒。AI 女友的中枢放在家里，这件事在他那里是日程表上的事，跟比喻没关系。 ## Twitter 两周半：先写测试，再谈重构 他去 Twitter 当“实习生”，技术上的核心主张可以压成一句话：**重构要先于做新功能**。 他给了一个跨公司的主观排序：代码质量，Meta 最好，Google 次之，Twitter 最差。他还举了个自己觉得挺硬的旁证：三家都出过机器学习框架，Meta 出了 PyTorch，Google 出了 TensorFlow，Twitter 出了什么？ Twitter 的代码为什么长成这样？他去问了几个一线工程师，答案非常直白。Twitter 的晋升体系是，你得写一个很多人会用的库。于是有人写了一个 Twitter 版的 Nginx。“Twitter 为什么需要一个 Nginx 替代品？Nginx 有什么问题？问题是，你要是直接用 Nginx，你没法晋升。” 这背后有一套很普遍的机制。工程师升职的激励是增加代码，政客升职的激励是增加法律，同一个问题换了个行业。 真让他重构，他会怎么走？ - **先停下来，谁都不许动代码。**第一步是把整条链路包上测试，建一套工程师真的会信得过的 CI。 - **再一段一段替换。**看到一个十万行的模块，先问一句：这东西在 2010 年可能合理，今天能不能用一个开源方案替掉？看到五万行的模块，问：能不能用 300 行 Go 替掉？只要能替，测试还得过。 - **编程语言放到最后。**谁想重写哪个模块、用什么语言都行，唯一的门槛是测试得通过。语言是个事后想的问题。 这套流程能在六到十二个月内跑完，跑完之后新功能的开发效率提升十倍，人力省十倍。这是他确信自己能干的事。 要不要干是另一回事。“我不是管 Twitter 的合适人选。我在那儿的时候，每当我的想法和 Elon 不一样，我就在心里提醒自己：Elon 是世界首富，总体而言他的想法比我的好。” 他对 Elon 的敬意没有动摇，反倒因为这两周，更深地理解了那些“上面的人”要面对的取舍。他给的评价是：一个人如果已经可以躺在毛伊岛四季酒店里过日子，却还是要出来打这一仗，那这个人的心放在正确的位置上。 至于那些骂声，他有一套解释，我觉得值得抄下来： > 我在 Hacker News 上收到的恨，本质是：当我说我要做某件事的时候，他们必须相信这不可能。因为如果可能，他们就得问问自己，为什么我什么都没做。（乔治·霍兹） 他还顺手说了一句关于复杂性的话。世界上有两种大恶，一种是集中，另一种是复杂。律师希望世界更复杂，因为复杂需要更多律师、更多计费小时。写代码的人里也有同一类：喜欢复杂，因为复杂让他在复杂里显得有用。 ## 写代码这件事，他还没上车 答案可能出乎不少人意料。他的原话是：完全不用。 他给了一段听起来像段子的推理：程序员 5% 的时间在敲键盘，95% 的时间在读代码和调试；Copilot 帮你省的是那 5%；更糟的是，它还能顺手给你写出 95% 正确的代码。“我最不想要的就是 95% 正确的代码。” 他对语法层面的补全也有具体的不耐烦：“我打 f-o-r，它给我补两个括号、两个分号、两个大括号。” 他试过让 GPT 帮忙写 rap 歌词，用他自己在 SoundCloud 上的那套 flow。结果写出来的东西像 YouTube 评论区里人能写出的那种，“你在网上任何一个 beat 底下都能看到，能写出来的最 mid 的 rap”。 mid 这个词 Lex 第一次听，专门问了一句。霍兹的解释很有画面感：智力曲线上有三种人，聪明的、蠢的、mid 的。蠢的那个反而安全，聪明的那个会说“我把所有钱都买比特币了”。mid 的最惨，他会跟你说“你不能把钱放比特币，那不是真钱”。 那 AI 什么时候能真正帮上他？他给了个时间表：两年后开始偶尔用，五年后大量依赖某种 AI 增强的工作流，十年后人的位置在哪？“没了。” 他说这话的时候状态很平静。他甚至预判了终局的样子：手工写的代码以后可能在 Etsy 上卖，标着“手工打制，没有机器打磨的痕迹，只有人类才会犯的那种小错”。 他对“什么才算真帮上忙”这件事其实想得很清楚。他想要的是那种会弹一个窗说“你第十四行有个 bug，这里是它为什么是 bug”的东西，而不是帮他更快敲字的东西。他举了个自己很爱的工具：mypy，这个 Python 类型检查器假阳性大概 5%。微软也出过一个类似的，假阳性 60%。 顺着这个话题，他提了一个我一直觉得很实用的概念：**工具完备性（tool complete）**。 一辆 1980 年的车和一辆今天的车，操作方式几乎一样：几个踏板，一个方向盘。你完全可以把一个 1980 年的司机直接放进今天的新车里开走。把今天一个写惯了 JavaScript 的程序员放到 Apple IIe 的命令行前面，告诉他 BASIC 里有行号，他会问：那我怎么在第 17 行和第 18 行之间插一行？ 编程这套工具链是工具完备的，所以 AI 在这里能切入的空间很大，也所以“AI 帮你写代码”这件事的含义，比“AI 帮你开车”要深得多。他还补了一刀：如果 Copilot 真的帮上了你，那多半说明你的框架或者库设计得不好，样板代码太多。Tinygrad 现在 2700 行，能跑 LLaMA、能跑 Stable Diffusion。 至于他自己的工具选择，理由很朴素：Vim 里他从来不用插件，最素的配置，连自动补全都没有。VS Code 的自动补全已经好到不用配置，进任何代码库都能对九成，那他就用。“等工具真的好了，我切过去一点问题都没有。” ## AI 安全：他站在分发这一边 这场对话里，他和 Eliezer Yudkowsky 的位置正好相反。Yudkowsky 认为 AI 几乎必然杀死所有人，也明确反对开源。霍兹说他也觉得会杀死所有人，只是理由不同，路径不同。 他的论证结构是这样：假设存在两种未来，一种是一小撮被信任的中央机构掌握这些东西，另一种是所有人都能用。他更怕第一种。 > AI 公司跟它造出的机器对不对齐，这个问题我不怎么放在心上。我操心的是另一层：我和 AI 公司之间，能不能对齐。（乔治·霍兹） 推理回到政治权力。他认为理性主义者群体对权力有一个反复出现的误判：他们以为自己会成为那个“被信任的少数”。他读到的历史是，权力最终落到最想拿到权力的人手里，而那一批人往往不是你想托付的那一批。 这也是他对“AI 安全”话语最直接的不满来源。他点名了 OpenAI 在 GPT-2 时期的做法，把一次模型发布包装成一个安全议题。他的原话相当不客气：“他们用 AI 安全来给自己的公司做 hype，这很恶心。” 他承认风险是真的。智能是危险的东西，人的智能危险，机器的智能也危险。他承认一个 GPT 加持的 bot 农场能操纵几百万人，也承认自己做不到情报机构那种“五年里稳稳地一点点推进”的事，那是另一种能力，跟技术高低无关，跟耐力和组织有关。 他只是认为，防守这件事该往分发走。把控制权收起来，会让局面更糟。 > 你可以论证说，这东西谁都不该有。我会尊重这个立场，就像我尊重“谁都不该有枪”这个立场。但我不会尊重“只有被信任的权威才该有”这个立场。（乔治·霍兹） 他给出的产品想象叫“AI 防火墙”，用来防守 AI 对自己心智的入侵。“你该给自己的心智装一个 AI 防火墙。你一直处在被攻击的那一侧。”他甚至说，光是“一个真的能用的垃圾信息过滤器”，他愿意付很多钱。 这个比喻可以延伸很远。广告拦截器是什么？个性化、透明的审查。社交媒体上的过滤器是什么？同一个东西。只是我们习惯了叫它“过滤器”，换了个词就不叫“审查”了。他引用 Scott Alexander 的一个说法：审查和审核是两件事，你在 Twitter 上想加的所有审核，都可以做成一个用户可以自己关掉的按钮，像 SafeSearch 一样。 至于内容平台的经济学，他判断得很干脆：自由市场里赢的永远是“参与度最高的那个东西”，而参与度最高的东西是愤怒。所以电视全是真人秀。想做一个不靠愤怒赚钱的产品，就得先让人付钱，让他们从“产品”变成“客户”。这是他支持 Twitter 收费的原因，他自己掏了钱，“就当是给这个新商业模式的一份捐款”。 ## 他为什么会说上帝存在 Lex 问他关于信仰，这段大概是整场对话里最有个人色彩的几分钟。 他说自己小时候被当无神论者养大，从来没认真想过无神论有多可笑，直到有一天他意识到一件事：**他自己就在创造世界。** > 每一位游戏创作者都可以问一句：老兄，你怎么可能是无神论者？你自己就能创造世界。你想想《天际》里那套创世神话。那东西是宇宙内的。但那显然完全不是《天际》被真正创造出来的方式。它是被一群程序员在一间屋子里写出来的。所以有一天，我突然觉得无神论简直荒唐。我们当然是被上帝创造的。这是最显然的事。（乔治·霍兹） Lex 在这里停了一下，说这可能是他听过最好的说法之一：人类自己就是强大的创造者，那不去设想有比我们更强大的创造者，反而有点愚蠢。 这个信仰给他什么？他说，给他安慰。跟游戏里那套设定给人的安慰一样。 “好吧，如果我们也搞砸了、也灭绝了，那也没关系。上帝会再试一次。” Lex 追问：那人们会说，谁创造了上帝？霍兹答得很爽快：“那是上帝的问题，你问我干嘛。上帝他自己信不信上帝？” 至于“人生的意义是什么”，他给了一个两个字的答案：赢。 “游戏是什么，我还没搞清楚。但一旦搞清楚了，我要赢。” 赢的方向是什么？ > 这个游戏是：和上帝平起平坐。（乔治·霍兹） 他承认这里面可能有他自己的自我。但他从另一个方向给了一个自洽的推理：如果我自己造出来的东西，我希望它能跟我平起平坐，那上帝为什么不希望我跟他平起平坐？这是他能拿出来的最好的论证，金律。 中间还聊到游戏。他觉得史上最好的游戏叫《魔兽世界》。理由跟游戏品质关系不大：2005 年它出来的时候，第一次把“我们造出了一个完整世界”这件事摆在他面前，此后再没有第二个东西给他同样的感觉。他也提到《天际》和 GTA5，说 GTA 像现实生活。Lex 开玩笑说这也太像你的生活了。他笑着认了，说自己要是真那么酷就好了。 聊游戏这段，藏着他一个比较认真的期待。他觉得游戏接下来真正的大变革，在于 NPC 开始有智能。今天游戏里的 NPC 一直很蠢，因为算力是被卡死的。你跑《魔兽世界》，服务器对每个玩家的预算只有一点点，能塞进的智能少得可怜。等到跑游戏的机器变成百 petaflops，情况就不一样了。他还真去推那个单位：20 petaflops 等于一个人份的算力，跟一马力一样，可以当成一个正经的计量单位用。 VR 那段他吐槽得很具体。他戴上 Quest 2，第一眼看到的是几团滚动漂浮的云，外加一个 Facebook 登录界面。“你本来有能力把我带进一个世界，结果你给我一个弹窗。”他说这就是扎克伯格不够酷的原因，问题不在技术，在开场的那个决定。他给的建议很朴素：Quest 3 别再让我掉进云里和一个登录页了，直接把我带进一个世界。Lex 补了一句托德·霍华德的说法，一个游戏最开头那几十秒极重要，你从洞穴里走出来，世界一下子打开，人就进去了。霍兹听完说，他今天就去买个 Switch。《塞尔达：旷野之息》他只在朋友家玩过一小时，还没从头玩过。 不过他对游戏公司的评价比对社交公司高得多。他提了一个观察，撑过技术浪潮的公司只剩苹果和微软，做的都是硬件和硬核服务。meme、社交、广告，一波一波地来，一波一波地走。想活得久，得造硬件。这话他说得挺认真。 ## AI 女友公司：他连名字都想好了 聊到这里，他抛出一个半开玩笑但显然认真想过的东西：他的第三家公司要做 AI 女友，用他自己的话说，他是认真的。 Lex 追问他第四条公司线，他被问住了，然后说了一大串关于这条路会分叉到哪的设想。往高走的那条，像电影《Her》，一个能陪你说话、能给你一点东西的存在；往低走的那条，是在时代广场开一家 VR 相关的店。中间地带他没打算做。 为什么先做女友，不做男友？他给的答案很直白，也很容易招骂：男人被年轻和美貌吸引，女人被地位和权力吸引。而机器很难有真正的地位和权力，因为地位是个零和游戏。他补了一句更现实的：男人大概更绝望，也更可能买他的产品，所以是个更好的目标市场。 Lex 在这里和他有个不太一致的分歧。Lex 觉得地位是一种可以叙事建构出来的东西，不必是真的，能装就行，而年轻和美貌全靠语言很难装。霍兹坚持地位是零和的。这段没有结论，两人各保留各的看法。 真正让人停一下的是这段对话的边界。Lex 问：和一个 AI 模型聊天算不算情感出轨？霍兹给了一个很老派的答案：这得你和你的伴侣自己定义。你们得坐下来谈这件事。他承认这话题很怪，未来只会更怪。你今天在 Twitter 上跟一个“人”互动了好几年，某天忽然发现那不是人。 他还爆了一个自己写过的聊天机器人场景，一个叫 Lexi 的二十岁女孩，刚搬到洛杉矶，本来想当演员，后来开始做 OnlyFans，你在跟她约会，请尽情享受。他讲这段的时候是完全不带滤镜的，就是摊在桌面上。这也是他的一贯风格：先把它做出来，把尴尬摆出来，然后大家再吵。 关于他对这种关系的真实态度，他有一段说法我印象很深。他说他并不是带着某种犬儒去说这件事的，他是真的想要 AI 朋友。他嫌现在的 GPT 和 Copilot 还太初级，才刚到一个初级工程师、一个 Fiverr 接单者的水准。他期待的是那种比他更聪明的 AI 朋友。 顺着这条线，他还提了一个词，“女友图灵测试”。Lex 开玩笑说，那你得写篇论文，正式把这个测试定义出来。霍兹的回答特别像一个创业者：我们不必拿下所有人，只要拿到足够大的一批客户留下来就行。 ## Karpathy：他真心佩服的少数人之一 聊到 Tiny Corp 和开源圈，Lex 问起 Andrej Karpathy。霍兹的评价几乎没有保留。他说 Karpathy 的直播质量高出他自己一大截，而且指出了差别所在：“他想教你，我想让你知道我更聪明。” 这份自嘲很难得。Tinygrad 的灵感源头就在那儿，micrograd、CS231n，他承认自己是把 Karpathy 的东西接下来一路跑下去，才写出了自己的框架。他对 Karpathy 去 OpenAI 这件事的评价有点刺，大意是“别去给达斯·维达打工”。但紧接着他也没否认 OpenAI 里坐着的都是真本事的人，正因为是真本事，才更让他介意。 真正让他介意的，在他那里是有具体形状的。他说的不是 OpenAI 不开源 GPT-4 的权重，权重是人家的产品，这完全可以理解。他介意的是另一件事：这些人走到国会面前，用安全的语言去争取一种对自己有利的监管格局。他举了个对照，说有两个搞有效利他主义的人去过国会，其中一个后来进了监狱。这个类比他没有展开，只留下一句：有效利他主义是一门相当邪恶的意识形态。 为什么一件听起来很好的事会出问题？他的答案是，因为这套东西的内核是功利主义，而功利主义在他看来是令人厌恶的：为了救一千个人杀掉三个人，这种算术做起来太顺了，顺到没有底线可守。 他更认同的是另一套东西：有效加速主义。他说人类从贫困里爬出来，靠的从来都是加速。食物便宜这件事本身就是答案，跟谁心善没关系。你想要的正是那种食物便宜到没人需要施舍的世界。 从这儿他顺手开了一枪打向 UBI。他说这想法很吓人。如果钱就是权力，那么你唯一的权力来源变成政府的好意施舍，这才是真正让人不安的地方。他说得很重：“我宁可死，也不愿靠 UBI 活着。”Lex 反问，如果生存本来就该被保障呢？他的回答没有绕：生存可以被保障，办法是把房子和食物的价格压到极低，而不是发钱。再往上追，他最想压到极低的东西是能源。 这是他政治光谱里几乎唯一一条他说得动感情的东西。他说自己政治上算中间派，但有一种立场他受不了，就是减速主义。不信气候变化的人他不站，不重视环境保护的人他也不站。他受不了的是另一类，认为人类应该少用能源、能源消耗本身就是一种道德上的恶。他的反驳很短：“你这是在让人性萎缩。” 在他看来，20 美分一度电这个价格，和 1980 年几乎一样，这本身就是一件荒唐的事。能把这个数压下去的东西，才是真正让人类繁荣的东西。他也因此说了一句挺有意思的话：如果 Elon 当年去做核聚变，而不是去做 Twitter，一部分的他会更高兴。他补了一句条件：做核聚变难得多，社交媒体这一仗在他看来是必须打的。所以他只是“一部分的自己”会高兴，不是全部。 关于权力带来的失真，他在这段里说了一段很坦率的话。他说成名之后最难的事，是身边再也没有人会跟你说真话。赞美围着你转，你很容易失去平衡。他自己庆幸的是没什么可给别人的，也没什么可被别人拿走的，所以还留着一点自由。 Lex 提到 Elon 从左侧收到的那些攻击相当密集，那种量级的敌意会把人往一个方向推。霍兹的回应把话题拉到了更结构性的层面：那种敌意维持着一条其实并不真实的意识形态分界线，而这条线的存在对掌握权力的一小部分人有好处。分得越开，越方便管理。 ## 关于爱，和那台睡在旁边的机器 Lex 问了一个很软的问题：爱有没有让他变成更好或更差的程序员？他有没有在算生产力？ 霍兹说自己没那么有方法。他说有些事情到了一定程度，一旦不再本能，他就没法享受了。编程到今天仍然是本能的。 他承认得很坦率：电脑是他这辈子第一个爱的东西。他跟他女朋友说过这句话。这台机器陪他度过了人生里相当多的时刻，包括很多亲密时刻。他说这不是他一个人的事，几乎所有人都这样，只是没人讲。他还补了一句，他不打算在生物栈和硅基栈之间做歧视。 Lex 追问了一个很好玩的场景：哪天 VS Code 弹出一个小窗说“嘿，乔治，我想你了”，那就完了。霍兹立刻警觉起来，说那是微软想让他上瘾，他能看穿，那是在钓他。Lex 说，如果那是个开源的东西呢？他停了一下，说那事情就真的更有意思了。 他随即也给了微软应有的评价：GitHub、GitHub Actions、VS Code、Python 生态的改进，这几年编程世界里做得最好的工作基本都出自微软。语言设计上他也说了一段，Scala 他其实挺喜欢，比预想的好，但学起来要半年才写得顺手。他觉得 Scala 有一些美感是 Kotlin 缺的，Kotlin 更像 Swift，Scala 更接近 OCaml 或 Haskell 那种函数式的路子。他一直有个习惯，遇到新的语言就去把教程过一遍，Rust 也是这么学的。 ## 谁会在搜索上赢 聊到搜索，他的判断下得很干脆。他说只要有人做出一个能注明来源的 LLM，谷歌就完了。理由很朴素：那才是人们真正想在搜索引擎里拿到的东西，一个能告诉你“我从哪儿知道的”的东西，不用你一条条点进去核对。 他把“能引用来源”看得极重。他分析现在的 LLM 架构有个明显缺陷：所有知识都压进权重里，而人脑不是这样工作的。人脑有海马体，有一套独立的记忆和检索系统。LLM 凭什么没有？他判断下一代的模型会更小，但会在自己身上循环，并且接上一套检索系统。接了检索，就能引用，就能被核验，人就能重新回到回路里。这也是他把自动驾驶的思路搬到了语言模型上：追求一个能让人随时接管、随时核对的东西。 谁会赢这场搜索战，他没有押谷歌。他引了保罗·格雷厄姆那套老话：创业公司要么活着，要么死了。谷歌已经死了，Meta 还活着。Meta 改名那件事在他眼里就是扎克伯格在证明自己还活着。 他还用一个很具体的标准去衡量“活”：谁手里握着那个开关？他问，桑达尔·皮查伊有没有权力明天把 google.com 关掉？他认为没有。董事会、股东、收入归零的压力会立刻把他掀翻。但扎克伯格对 facebook.com 大概有。埃隆对 Twitter 有。这个“能不能一键关掉自己公司”的能力，在他那里是活力的一个指标，因为这意味着你有足够的集中度，可以去做真正激进的决策。 他也给了微软一个位置。他说如果五年内 Bing 超过谷歌成为第一搜索引擎，他不会意外。萨提亚·纳德拉是活着的，微软是活着的。他甚至说了一句半是玩笑半是认真的话：当初把他卷进 Twitter 那场舆论风暴里的很多恨意，源头之一就是那句“永远别彻底变成共和党人”，而 Elon 给那条点了个赞。 关于开源这件事，他付出的代价不轻。他说自己去年在 Meta 的股票上亏了八万美元，等到 LLaMA 放出来，他的想法是：行吧，值了。 对“谁该被信任”这个问题，他还有个挺有意思的补充。他说自己不是反对公司保留自己的模型权重，那是产品，完全正当。他反对的是另一套话术：拿安全当理由，连模型有多少参数都不告诉你。他的原话很不客气，那批人就是“坏人”。 ## 他想赢的那个游戏 整场对话往下收的时候，Lex 问了那个老问题：人生的意义是什么。霍兹的答案两次都一样，赢。 Lex 追了一句：比解决自动驾驶更大？比让算力去中心化更大？他说是的。那赢到底长什么样，他自己也还没完全想清楚。他只确定一件事：一旦他知道那个游戏是什么，他就要赢下来。 那场游戏，他给出的形状是这样的：和上帝平起平坐。 Lex 明显被这句话触动了一下，往下追问：如果那个游戏里的角色，有一天真的走到造物主面前，和他对视，那是什么画面？霍兹说他只看过《西部世界》第一季，但他记得那里面有句话，得找到那个迷宫，然后走出去。 他也承认，这里头大概有他自己的自我在作祟，会被人骂亵渎。但他还是给了那个他反复绕回来的推理：我自己造出来的东西，我希望它能跟我平起平坐，那上帝为什么不会希望我跟他平起平坐？他手里只有这条金律，他就用这条金律。 他还讲了一件事。他重读过《创世记》，注意到经文的结尾好像给了几条线索，指向伊甸园可能在哪儿。他说这话的时候是半开玩笑的语气，但他补了一句：我挺感兴趣的。 把这些拼起来看，他整个人的轮廓就清楚了。他相信有造物主，因为人自己就在造世界。他相信世界分两套栈，一套从复制开始，一套从计算开始。他相信权力该分散，因为集中的尽头是有人成了养鸡场主。他做 Tinygrad，是想让机器可以被理性分析；他做 Tinybox，是想让算力落到每个家里；他做 Comma，是想把驾驶这件事学成一个能跑起来的策略；他做 AI 女友，是想把关系这件事也拆开来看。这些看起来毫无关联的公司，其实是同一种冲动的不同出口。 节目最后，Lex 放了一句爱因斯坦的话：一切都应该尽可能简单，但不能更简单。这句话和霍兹几乎是量身定做的。他这一辈子的工程审美，都可以浓缩成那句“你永远没有重构够”。代码可以更小，想法可以更优雅，栈可以更薄。人也可以。 对话到这儿结束了。他从“我不觉得自己有意识”开始，一路走到“我要和上帝平起平坐”。中间的每一站都在这两句话之间找到了位置。一个人如果真把自己当成一台计算机程序，同时又坚信自己是被上帝造出来的，那他大概就会活成霍兹这个样子：不停地往底层钻，钻到图灵完备都嫌多余，钻到最后剩下二十个原语，然后拿这二十个原语去重新搭一遍世界。 还有一层值得留意的地方。这场对话里绝大多数技术判断，他都会给出一个可被证伪的理由：为什么要抽掉图灵完备（因为这样才能推理）、为什么要用 pose 条件化模拟器（因为这样才能跑强化学习）、为什么要先写测试（因为这样才能让人信任 CI）。而涉及到价值和信仰的那部分，他会直接承认那是他自己的偏好，可能带偏见。这种“技术上讲理、价值上坦白”的组合，恰恰是他最值得学的一点。技术判断可以被争论，价值判断不必假装中立。 ## 如果你想把这场对话用起来 下面是几个具体动作，挑你现在用得上的。 - **拿 Tinygrad 做一次减法练习。**不用真切过去，但把它那二十来个原语和四类操作过一遍，再回头看自己的代码库，问一句：这里面有多少是为了“将来的灵活性”加进去的，而实际上从没被用到。 - **给旧代码包上测试，先于任何重构。**按他在 Twitter 的方案走一遍：先冻结功能开发，让 CI 变得可信任，再一段段替换，语言的事往后放。三个月只做这件事，往往比边加功能边重构划算。 - **查一遍团队里那些自研基础设施的动机。**那个自研的 Nginx 替代品、那个自研的序列化协议，是谁为了什么写的？如果答案和晋升或 KPI 有关，它存在本身就该被重新问一遍。 - **算一下你手上那台机器的“一个人份”。**他把 20 petaflops 定成一个人。你现在的训练或推理预算，折成几个人？这个数字会让你对自己能做的事有个更清醒的估计。 - **给你的心智装一道 AI 防火墙。**可以很土：一套屏蔽词、一个只订阅长文的 RSS、一个不看推送的习惯。重点在把入口握在自己手里，别等平台给你一个可关的过滤器。 - **AI 编码工具，自己试两周再决定立场。**判断标准放在那个问题上：它帮的是不是你真正的瓶颈。写一次性脚本、写正则、写数据清洗，大概率是；设计一个框架的核心抽象，大概率不是。 - **对任何“把控制权收上来”的提案，多问一句谁拿开关。**不管这个提案来自公司、来自监管，还是来自一句好听的安全宣言。他的标准很粗糙但很好用：这个东西是在让权力分散，还在让权力集中。 - **技术判断讲理，价值判断坦白。**这是他整场对话里最容易被忽略的做法。技术上的分歧用可验证的理由去争，价值上的分歧直接说这是我的偏好。两件事混在一起讲，往往两边都说服不了人。