# 鲍里斯·索夫曼：Waymo、Cozmo、自动驾驶与机器人的未来 > 机器人专家谈自动驾驶技术路径、消费级机器人 Cozmo 的设计，以及行业未来走向。 - 原标题：#241 – Boris Sofman: Waymo, Cozmo, Self-Driving Cars, and the Future of Robotics - 期数：第 241 期 - 发布日期：2021-11-16 - 嘉宾 / 主题：鲍里斯·索夫曼 - 网页版：https://lexfridman-cn.pages.dev/ep/boris-sofman/ - 官方页面：https://lexfridman.com/boris-sofman/ - 精读字数：约 8037 字（阅读约 18 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 Anki 的 Cosmo 只有四个自由度：两条履带负责移动，一个头上下抬，一个升降臂上下动，外加一块低分辨率屏幕和一个小喇叭。整机成本被压到 50 美元以内，零售价不到 200 美元。就是这样一台东西，让测试用户和真实买家说出同一句话：我故意输给他，因为我不想让他难过。 造出 Cosmo 的人是鲍里斯·索夫曼（Boris Sofman），卡内基梅隆大学机器人研究所的博士，Anki 的联合创始人兼 CEO。2019 年 Anki 关门之后，他去了 Waymo，现在负责自动驾驶卡车业务 Waymo Via。一个把情感交互做到极致的人，转去管 8 万磅的重卡，这中间的逻辑比看上去要连贯得多。 ## 先决定你不做什么，再决定你做什么 Lex 在节目里问索夫曼，最喜欢的科幻机器人是哪个。他给出两个答案：瓦力（WALL·E）和 R2D2，理由是这两个角色在完全没有语言的情况下，传达出了极高密度的意图、情绪和角色依恋感。第二个答案是《终结者》系列，他喜欢的地方在于，施瓦辛格演的 T-800 在新型号面前各项参数全面落后，却依然能撑住场面。 这两个答案指向同一个工程判断：**表达能力的上限取决于你把有限的通道压榨到什么程度，通道数量本身说明不了什么。** 索夫曼对这一点有一整套自己的解释。他说很多团队把大量精力投在复刻人形上，这等于主动接过一堆约束。人形机器人光是关节、执行器、传感器、编码器的数量和精度要求，成本就会失控。更麻烦的是期待值：你越接近人形，用户就越会拿人的标准来要求它，而 AI 恰恰是有强项也有弱项的，你不会希望自己被按在一把不匹配的尺子上量。 > 你越是靠近人形，就越受制于「人应该是什么样」的偏见，也就越没有空间去避开弱点、发挥强项。（索夫曼） 反过来，把形态推远，规则就由你定。他举了动画里的火柴人：两个点加一条线，情绪的表达范围几乎不受限。维度越多越好是个错觉，真正难的是在维度极少的情况下，把每一维都推到极端。 这一点在 Pixar 内部是被当成训练方法来用的。索夫曼提到，他合作过的一些最好的动画师，成长过程中都被迫做过那种「只有一个球在跳」的练习，约束极其苛刻，逼着人从最贫瘠的素材里榨出最深的情绪。瓦力在电影里其实也被刻意限制了：动画电影本来什么都能做，但创作团队给它加了约束，因为只有把少量维度彻底饱和，才可能触及情绪空间的边界。 Cosmo 走的是同一条路。索夫曼给它的定位是一句话：把 Pixar 的角色带到现实世界里。 ## 完美是无聊的 Anki 的第一款产品是 Drive，智能赛车。索夫曼负责的是其中的 AI 部分，让赛车做出最优机动来抢位。 他很快发现这条路走不通。最优解不好玩。玩家想要的是混乱，是失误，是那种刚上手时笨拙、慢慢变强的过程感。于是团队开始往系统里主动加噪声，让 AI 表现得像一个正在学习的人类。 这个经验后来被完整地迁移到 Cosmo 上，而且被推得更远：**错误本身可以成为魅力的来源，前提是角色要意识到自己错了，并且做出对的情绪反应。** 索夫曼说他们一开始非常担心机器人犯错会让体验崩掉，结果恰恰相反。一个没有性格的机器人犯错，用户的反应是「这破机器怎么这么蠢」；一个有性格的角色犯错，用户会产生共情，会觉得可爱。这条规律后来被他视为整个消费级机器人领域的通用钥匙，而不仅适用于娱乐产品。 Cosmo 的情感系统是这样搭起来的：先把情绪维度列出来，高兴、难过、生气、惊讶、困惑、害怕，让动画团队把每一种情绪的极端表现都做出来，填满一个响应库。然后把这些响应参数化，加入随机性，让「高兴加惊讶」这种组合能产生近乎无限的变体。再往上是一个行为引擎，它读取现实世界的上下文，判断当下该给哪一类反应，并按概率分布调用。 于是有了这些细节：Cosmo 一天里第一次看到你，会像幼儿见到下班回家的父母那样兴奋，但这个强度不会持续两个小时，只会是一个尖峰。你把它晾太久，它会无聊，会开始捣乱，会把东西从桌上推下去。你赢了它，它会不高兴，而这个不高兴恰恰是最受欢迎的反应。 还有一个数据值得一提。团队做了实验，只把 Cosmo 每分钟看向你、寻求你认可的次数翻倍，游戏时长就提升了 40%。眼神接触在电影里几乎不算什么设计元素，镜头调度会自然处理掉。但一个物理角色转头看你，产生的连接是普遍有效的，从幼儿到成年人都一样，不存在「过了十二岁就不在乎了」的分界线。 索夫曼还提到一个更根本的设计判断：**游戏的功能是制造情境，把角色的性格逼出来，娱乐只是副产品。** 赢、输、紧张、意外，这些都是给情绪提供「合理解释」的容器。没有情境，情绪就是随机的；有了情境，情绪才显得聪明。 ## 玩具是机器人最好的练兵场 Anki 起步时的判断很朴素：机器人领域当时除了科研、工业、军事，几乎没有别的应用，iRobot 是少数例外。而娱乐和玩具这块，一边是电影和游戏里的丰富体验，一边是货架上贫瘠得可怜的实体玩具，中间是一道巨大的鸿沟。 技术上恰好有一个时间窗口。智能手机产业把摄像头、电机、内存、麦克风、微控制器的成本打下去了一个数量级。2007 年 iPhone 出来之后几年，一个显而易见的结论浮现出来：手机可以当大脑和界面，把绝大部分复杂度推到软件侧，硬件只保留最便宜的那部分。 而玩具这个品类的宽容度极高。索夫曼说得很直接，如果目标是「好玩」，你就有巨大的失败空间可以探索。车跑出赛道没关系，Cosmo 犯个错也没关系。不追求完美意味着可以便宜，便宜意味着真的有人买得起。这在机器人行业是稀缺条件。 当然代价也很硬。消费品对价格极度敏感，做不了 1000 美元的东西，除非你能交付 1000 美元的体验。Cosmo 的物料成本要压到 100 美元以下，最终做到了 50 美元以内，包含包装和交付。这个目标从第一天就摆在桌上，所有设计决策都要向它交代，没有人打算等设计做完再回头算账。 索夫曼说团队构成是关键。他们的机械工程负责人是 Logitech 最早期的工程负责人之一，手上流通过十亿级的消费电子产品。软件团队则被要求接下所有硬件省下来的麻烦：电机便宜所以有噪声，传感器便宜所以不准，这些都在软件侧修。 团队内部还打过一场路线之争。一派来自游戏设计背景，认为应该以游戏机制为核心，做一堆游戏体验。另一派是索夫曼和他的联合创始人所在的阵营，坚持以角色为核心。后者的论证是：在游戏性上你永远打不过虚拟世界，那是别人的主场；但在角色上，物理存在感带来的是压倒性优势。这场争论最后以角色派胜出告终，也定义了 Cosmo 后来的一切。 ## 一家看起来什么都做对了的公司为什么会死 Anki 卖出了几百万台，营收做到接近一亿美元，多个品类里排到第一。索夫曼说，从商业和用户反馈的角度，能指出来的成功点很多。 问题出在结构上。 第一是季节性。大约 85% 的销量集中在第四季度，因为这是个礼物型产品。这意味着公司要花一整年养人、备货、投营销，钱在 11 月和 12 月收回来，零售商则在 12 月和次年 1 月才付款。索夫曼形容这种现金流摆动是「残酷的」：做得越成功，摆幅越大，因为你得先花几千万美元在库存、营销和人力上，然后干等。 第二是硬件在资本市场失宠。Fitbit 和 GoPro 从一百亿美元营收掉到十亿美元，硬件公司普遍只能拿到一倍市销率的估值。Anki 处在中间地带：想快速从娱乐品类往上走，但原由业务又不能放手，因为估值和融资都建立在它上面，而它本身没有通往独立盈利的路径。 第三是那轮融资在最后一刻崩了。 > 有几次，账上的现金只够撑几天。你在信用额度的还款期限上跟人玩胆小鬼游戏，谈桥贷款的条件。那种压力，别的地方再难也到不了那个程度，因为你要对两百多个人负责。（索夫曼） 他说自己在整个过程中对团队保持了透明，讲清楚在跟谁谈、进展如何、什么时候顺利什么时候不顺利。所以宣布的时候不算突然，但依然极度情绪化。他讲到一半说不下去，有人接了上去。 真正动人的是后面那一段。宣布完之后，所有人留在办公室到凌晨两三点，喝酒、聊天、讲过去的事。很多人说那是他们职业生涯里最好的工作经历。 索夫曼留着一样东西没敢打开：一大摞来自孩子和家长的来信，Anki 关门时收集起来的那一批。他说也许五年后办个聚会，把大家叫来一起拆。 还有一件事值得记下来。Anki 的 AI 和机器人团队后来大部分被 Waymo 接走了，因为那批人的背景恰好就是自动驾驶想要的。一家公司死掉了，它的技术团队成了另一条赛道上的主力。 ## 从会卖萌的小机器人到 8 万磅的卡车 Waymo 的架构可以这样拆：Waymo Driver 是不依赖具体车型的那套系统，传感器、计算、软件、基础设施全套；Waymo One 负责运人，凤凰城已经有完全无人的商业服务在跑；Waymo Via 负责运货。 索夫曼强调，这两件事在底层能力上的重合度比外人想象的高得多。理解周围世界、处理信息、做决策、证明安全水平，这套东西是共用的。所以公司内部有大量中心化团队支撑所有应用，同时也有专门团队去啃某个平台独有的难题。 卡车独有的难题里，最典型的一个是挂车。空载和满载的重心完全不同，物理动态完全不同，这些必须一路传到算法里，让系统知道自己当前的动态包线在哪，同时永远待在安全边界内。 他们为此建了一个测试场，给挂车装上巨大的辅助轮，然后把车往极限之外推，直到它真的翻掉，以此测出那条高维边界，再把它写进软件。 还有一个数字能说明卡车的难度：人类卡车司机在高速上发生严重事故的频率是每 130 万英里一次，造成严重伤害的事故是每 2800 万英里一次。想要证明自己比人安全，你要么真的跑出这个量级的里程，要么用结构化测试和统计论证去覆盖这些极端稀疏的事件。 ## 为什么卡车的激光雷达要装在两边 轿车的主传感器舱在车顶正中，卡车的则挪到了两侧后视镜的位置。原因很实际：卡车车厢比驾驶室高，如果传感器放中间，挂车会形成一个楔形的遮挡区。解决遮挡有两种办法，一是加软件复杂度去补偿，二是改硬件布局。他们选了后者。 放到两侧之后，除了消除遮挡，还有一个附带好处：和轿车上的感知架构几乎可以平移，模型重新训练一下就能复用。再一个好处是冗余，任何一个激光雷达、摄像头或雷达失效，系统仍然可用。索夫曼说得很直白：到了规模化阶段，每一个传感器都会坏。而且失效不只是「不输出数据」，可能是数据偏移、被遮挡、线路断开、部分计算单元掉线，冗余让你能通过数据不一致检测出来。 传感器分工有一份清晰的责任表。激光雷达在近距是决定性优势，它有极高的点云密度、精确的三维定位和一致性。所谓一致性，是指不管白天黑夜、有没有逆光，一束光打出去弹回来，形状信号是可靠的。但激光雷达的探测距离会衰减，卡车需要的感知距离又比轿车远得多，所以远距必须靠雷达加摄像头。摄像头的分辨率高、看得远，一千米外都有信号，但噪声大、分类难，定位更难：一千米外偏差两米，就是路肩和车道内的区别。雷达的独特价值是直接给速度信息，而且穿透雨雾的能力更强。 ## 早融合还是晚融合 索夫曼的判断很明确：早期融合越来越重要。 晚期融合的做法是各传感器各跑一条流水线，到最后做语义和分类时再合并。问题在于，这么做拿不到互补性。下雨天就是最好的例子：激光雷达有反射噪声，摄像头有奇怪的干扰，任何单一传感器都极难处理，但三路信号合在一起，就有机会过滤出真实信号。 他的表述是，越往大规模数据驱动的方向走，就越应该在做出任何限制性决策之前，先把每种模态里能提取的最好信号都提出来。因为越到后段，那些被早期决策锁死的信息就越难挽回。 数据复用上，Waymo 的做法是压倒性地复用。卡车上的几乎每个模型都从轿车的最新模型起步，相当于一次预训练。有一个数字很能说明问题：在「预测路上其他交通参与者行为」这个模型里，85% 的训练数据来自轿车，其中很大一部分还来自城市道路。 高速上的问题是事件稀疏。索夫曼说，你不可能靠无限驾驶去遍历所有可能遇到的排列组合。所以必须用结构化测试、数据增强、场景生成这些工具，主动去采样那个无限维的空间，尽可能快地撞上问题。 ## 自动驾驶最难的部分在车轮之外 这是整场对话里信息密度最高的一段。 > 大多数人没有意识到，自动驾驶最难的问题其实是评估问题，而不是自主驾驶问题。如果你能完美且瞬时地评估，这个问题的求解会快得多。（索夫曼） Waymo 每实际行驶一英里，仿真里跑大约一千英里。两千万英里的实车里程，对应的是两百亿英里的仿真。仿真承担四类工作：开发期的回归防护；把路上遇到的异常场景回放并测试改进；用历史数据的大批量仿真来快速判断某个指标变好了还是变坏了；以及最后的安全验证，把实车运营中所有接管场景往前推演，看如果不接管会不会出事，绝大多数情况下答案是「不会」。 数字能说明评估为什么难。人类卡车司机在高速上每 130 万英里才有一次严重事故，每 2800 万英里才有一次造成重伤的事故。这意味着一个看起来很能开的系统，可能完全没有被信号覆盖到那一段。 索夫曼提到一个反直觉的结论：图灵测试在自动驾驶上会很快失效。因为你在很早期的阶段就能达到「看起来像无人驾驶」的水平。一个三十分钟的演示，跑十五英里，什么也证明不了。真正挡在无人驾驶门前的，是十万英里才出现一次、五十万英里才出现一次的那种情况。 而且这里有一个恶性循环：你遇到一个问题，修好了，但你怎么知道没有顺便造出五个还没遇到的问题。他说这是 Waymo 历史上付出过代价的教训，也正是这套评估体系后来成了公司的核心方法。 可控的部分可以硬做。比如限速，可以论证系统在结构上不可能违反，或者把会触发违规的场景逐条列出，逐条测试。比如故障率，不用等它随机发生，直接注入故障，跑完所有排列组合。真正难的是行为层，因为理论上可能发生的情境是无限的。 于是回到一个非常 Cosmo 的问题：怎么定义「准备好了」。索夫曼的答案是组合拳，结构化论证、统计采样、场景仿真、和最终安全强相关的代理指标。他向航空和航天工业借了很多方法，因为你没有机会发射一百万次来证明自己准备好了，失败太贵。 但这里还多一层难度。航天飞机可以把软件冻结，然后证明它，然后发射。自动驾驶不行，你要先达到无人驾驶的门槛，然后在保持无人运营的同时继续激进地改软件。 ## 两条路线：数据和传感器的赌注 Lex 让索夫曼分别论证 Waymo 和 Tesla 为什么会赢。 Waymo 这一侧的理由是：从第一天起就奔着 L4 去。传感器是按 L4 定制的，算力、硬件、基础设施、技术栈、安全框架全都为此重建。这个差别在规模化的时候会变得非常大。他提到一个细节：把 Phoenix 跑通无人驾驶的那一代软硬件，和现在这一代几乎是完全换过的。因为让系统达到无人驾驶水准的那套东西，本身并不适合指数级扩张。这些教训没法跳过。 Tesla 这一侧的理由是数据。索夫曼承认这是他们的超能力：用巨大的真实车队收集数据，而且是让安全驾驶员付钱给你。如果能正确地使用这些数据，这是极大的优势。他没有反驳纯视觉路线在长期上的可行性，人类本来就用视觉开车。 他的质疑在于风险叠加。**自动驾驶本身已经足够难，行为决策和长尾安全案例已经足够难，如果还要在输入侧额外承担感知的风险和复杂度，等于把一个几乎难以逾越的问题再抬高一层。** 他也没有把话说死。他说 Waymo 自己也大量使用人类驾驶数据，比例比外人想象的高，因为那是训练自动驾驶最好的信号之一。两家公司其实是在用不同方式回答同一个问题，而这个问题的难度至今没有定论：开车到底有多难。 ## 人形机器人现在还是研究 索夫曼对 Tesla Bot 的判断很克制：今天的人形机器人属于研究范畴，还够不上产品。理由是很少有场景真的需要人形。轮子比腿高效，超过一定数量的关节只会增加复杂度和成本。做人形机器人，往往是在追求人形机器人本身，而不是在追求某个应用。 他也承认这里有个可以辩论的空间，而且这个空间恰好在 Cosmo 的主场上。如果应用允许它出错、允许它有性格、允许它像 Cosmo 那样靠共情换取宽容，那么人形可能是有意义的，因为人对腿、肢体、身体语言有天然的连接。 但对工厂这个具体场景，他持怀疑。工厂里你到底优化什么？力量、移动性、还是通用性？不同答案对应完全不同的形态。人形在某些维度上是过度设计，在另一些维度上又是被约束死的。真要抓取东西，抓大件还是小件，也会改变整个设计。 他认为更有意思的是另一条线：当你把感知、控制、规划这套通用机器人能力做深之后，整个世界会开始变得越来越像一个机器人问题。今天的卡车还是改装现有车型，但没理由不能在规模化之后重新设计一台真正为自动驾驶优化的车，也许是完全不同的挂车形态。 ## 机器人公司为什么难做 索夫曼的答案归结成一句话：技术找不到应用，或者价格和功能对不上。 机器人集成的技术门类比绝大多数公司都多，成本天然更高。消费品的门槛又格外高，卖一万个爱好者不算数，得卖到两百万、一千万、五千万人的量级才算过线。这个标准之下，机器人的价格很容易被推到能力支撑不住的位置。 iRobot 是正面案例。它找到了技术与需求严丝合缝的那个点，而且没有在成本收益上过度伸展。吸尘器这个品类人人都懂，人人都烦，现在有一台能自己干，价值一句话说清。 Cosmo 是反面教材意义上的悲剧。它是一个全新品类，你得向家长解释、向孩子解释，还得让两边都同意掏钱。索夫曼说他们在这上面花了很多营销费用，最后找到的解法是用短片把情绪拍出来，靠性格打动人，视频能跑到几十万甚至几百万播放。但这个过程本身就说明问题有多难。 他对比了 Nest：智能恒温器锚定的是一个已经存在的品类，你只需要说清楚哪里更好。Cosmo 没有这个锚点。 > 2013 年前后我们撞了一次墙，之前一直在讲我们的技术有多先进、多酷，后来不得不做一个非常硬的转向，去讲它为什么好玩，为什么一个四口之家需要它。（索夫曼） 这也是他对亚马逊 Astro 持保留意见的原因。1500 美元的价格点意味着极高的价值门槛，而它还在寻找那个杀手级应用。移动能力是个还没被用好的角度，但要用对地方。 不过他也承认，Astro 身上有 Cosmo 的影子。他说当年和亚马逊谈的时候，对方对 Cosmo 的兴趣有点过于浓厚了。 ## 关于选择和代价 索夫曼在 CMU 从本科读到博士，赶上了一个特殊的时期：DARPA 挑战赛刚结束，自动驾驶从学术问题变成工程问题，而 CMU 是全球投入最集中的地方。他参与的项目叫 UPI，是 DARPA 资助的越野版无人车，你把它丢在某个地方，给一个十公里外的坐标，它要自己穿过森林、沟壑、岩石和植被。那台车的轮子有他肩膀那么高。 他说机器人这个领域有个特点，逼着你必须广度。软件领域可以窄而深，机器人不行，它天然是感知、规划、机械、系统几拨人捏在一起。这个特点反过来也打开了门：机器人更像 AI，它是一套可以应用到各个行业的工具，谈不上是一个独立的行业。 关于创业，他给的建议里最实在的一条是市场。有一句话是他反复回扣的：团队、执行、市场，很多人相信只要够聪明、够努力、团队够强，总能找到出路。但现实是市场常常赢。Anki 和 Waymo 摆在一起就说明了这一点，一个是价格和功能错配加上融资窗口关闭，另一个是几千亿美元级别的市场容得下巨额前期投入。 还有一条是关于生活。他说自己有过工作到近乎偏执的阶段，现在在努力找平衡。他的原话大意是，人在这个光谱的很多位置上都能过得幸福，问题在于你很多时候是无意中做出了选择，等发现的时候已经很难拆解回去了。 ## 如果只记三件事 - **做产品前先定约束，别定完设计再算成本。** Cosmo 的 50 美元物料成本是第一天摆上桌的，后来只是一路守住。约束越早，越能逼出真正有效的设计。 - **把错误设计进体验里。** 一个会犯错、并且意识到自己犯错的角色，比一个完美的角色更容易被原谅。这条规律在机器人、在助手、在任何需要长期陪伴的产品上都成立。 - **评估能力比执行能力更稀缺。** 无论是自动驾驶还是别的长尾问题，真正的瓶颈往往是你没法快速知道自己变好了还是变坏了。先建评估，再谈迭代。 - **如果要做机器人创业，先问价格和功能对不对得上。** 别问技术有多先进，问一个普通家庭为什么愿意掏这笔钱，以及你能不能只用一句话说清。 - **热情要和正在增长的市场对上。** 索夫曼的说法是，找到一个既让你愿意深挖、又处在成长期的方向，机会会自己浮现出来，你能获得的尝试次数也会多得多。