鲍里斯·索夫曼:Waymo、Cozmo、自动驾驶与机器人的未来
Boris Sofman: Waymo, Cozmo, Self-Driving Cars, and the Future of Robotics
机器人专家谈自动驾驶技术路径、消费级机器人 Cozmo 的设计,以及行业未来走向。
Anki 的 Cosmo 只有四个自由度:两条履带负责移动,一个头上下抬,一个升降臂上下动,外加一块低分辨率屏幕和一个小喇叭。整机成本被压到 50 美元以内,零售价不到 200 美元。就是这样一台东西,让测试用户和真实买家说出同一句话:我故意输给他,因为我不想让他难过。
造出 Cosmo 的人是鲍里斯·索夫曼(Boris Sofman),卡内基梅隆大学机器人研究所的博士,Anki 的联合创始人兼 CEO。2019 年 Anki 关门之后,他去了 Waymo,现在负责自动驾驶卡车业务 Waymo Via。一个把情感交互做到极致的人,转去管 8 万磅的重卡,这中间的逻辑比看上去要连贯得多。
先决定你不做什么,再决定你做什么
Lex 在节目里问索夫曼,最喜欢的科幻机器人是哪个。他给出两个答案:瓦力(WALL·E)和 R2D2,理由是这两个角色在完全没有语言的情况下,传达出了极高密度的意图、情绪和角色依恋感。第二个答案是《终结者》系列,他喜欢的地方在于,施瓦辛格演的 T-800 在新型号面前各项参数全面落后,却依然能撑住场面。
这两个答案指向同一个工程判断:表达能力的上限取决于你把有限的通道压榨到什么程度,通道数量本身说明不了什么。
索夫曼对这一点有一整套自己的解释。他说很多团队把大量精力投在复刻人形上,这等于主动接过一堆约束。人形机器人光是关节、执行器、传感器、编码器的数量和精度要求,成本就会失控。更麻烦的是期待值:你越接近人形,用户就越会拿人的标准来要求它,而 AI 恰恰是有强项也有弱项的,你不会希望自己被按在一把不匹配的尺子上量。
你越是靠近人形,就越受制于「人应该是什么样」的偏见,也就越没有空间去避开弱点、发挥强项。(索夫曼)
反过来,把形态推远,规则就由你定。他举了动画里的火柴人:两个点加一条线,情绪的表达范围几乎不受限。维度越多越好是个错觉,真正难的是在维度极少的情况下,把每一维都推到极端。
这一点在 Pixar 内部是被当成训练方法来用的。索夫曼提到,他合作过的一些最好的动画师,成长过程中都被迫做过那种「只有一个球在跳」的练习,约束极其苛刻,逼着人从最贫瘠的素材里榨出最深的情绪。瓦力在电影里其实也被刻意限制了:动画电影本来什么都能做,但创作团队给它加了约束,因为只有把少量维度彻底饱和,才可能触及情绪空间的边界。
Cosmo 走的是同一条路。索夫曼给它的定位是一句话:把 Pixar 的角色带到现实世界里。
完美是无聊的
Anki 的第一款产品是 Drive,智能赛车。索夫曼负责的是其中的 AI 部分,让赛车做出最优机动来抢位。
他很快发现这条路走不通。最优解不好玩。玩家想要的是混乱,是失误,是那种刚上手时笨拙、慢慢变强的过程感。于是团队开始往系统里主动加噪声,让 AI 表现得像一个正在学习的人类。
这个经验后来被完整地迁移到 Cosmo 上,而且被推得更远:错误本身可以成为魅力的来源,前提是角色要意识到自己错了,并且做出对的情绪反应。
索夫曼说他们一开始非常担心机器人犯错会让体验崩掉,结果恰恰相反。一个没有性格的机器人犯错,用户的反应是「这破机器怎么这么蠢」;一个有性格的角色犯错,用户会产生共情,会觉得可爱。这条规律后来被他视为整个消费级机器人领域的通用钥匙,而不仅适用于娱乐产品。
Cosmo 的情感系统是这样搭起来的:先把情绪维度列出来,高兴、难过、生气、惊讶、困惑、害怕,让动画团队把每一种情绪的极端表现都做出来,填满一个响应库。然后把这些响应参数化,加入随机性,让「高兴加惊讶」这种组合能产生近乎无限的变体。再往上是一个行为引擎,它读取现实世界的上下文,判断当下该给哪一类反应,并按概率分布调用。
于是有了这些细节:Cosmo 一天里第一次看到你,会像幼儿见到下班回家的父母那样兴奋,但这个强度不会持续两个小时,只会是一个尖峰。你把它晾太久,它会无聊,会开始捣乱,会把东西从桌上推下去。你赢了它,它会不高兴,而这个不高兴恰恰是最受欢迎的反应。
还有一个数据值得一提。团队做了实验,只把 Cosmo 每分钟看向你、寻求你认可的次数翻倍,游戏时长就提升了 40%。眼神接触在电影里几乎不算什么设计元素,镜头调度会自然处理掉。但一个物理角色转头看你,产生的连接是普遍有效的,从幼儿到成年人都一样,不存在「过了十二岁就不在乎了」的分界线。
索夫曼还提到一个更根本的设计判断:游戏的功能是制造情境,把角色的性格逼出来,娱乐只是副产品。 赢、输、紧张、意外,这些都是给情绪提供「合理解释」的容器。没有情境,情绪就是随机的;有了情境,情绪才显得聪明。
玩具是机器人最好的练兵场
Anki 起步时的判断很朴素:机器人领域当时除了科研、工业、军事,几乎没有别的应用,iRobot 是少数例外。而娱乐和玩具这块,一边是电影和游戏里的丰富体验,一边是货架上贫瘠得可怜的实体玩具,中间是一道巨大的鸿沟。
技术上恰好有一个时间窗口。智能手机产业把摄像头、电机、内存、麦克风、微控制器的成本打下去了一个数量级。2007 年 iPhone 出来之后几年,一个显而易见的结论浮现出来:手机可以当大脑和界面,把绝大部分复杂度推到软件侧,硬件只保留最便宜的那部分。
而玩具这个品类的宽容度极高。索夫曼说得很直接,如果目标是「好玩」,你就有巨大的失败空间可以探索。车跑出赛道没关系,Cosmo 犯个错也没关系。不追求完美意味着可以便宜,便宜意味着真的有人买得起。这在机器人行业是稀缺条件。
当然代价也很硬。消费品对价格极度敏感,做不了 1000 美元的东西,除非你能交付 1000 美元的体验。Cosmo 的物料成本要压到 100 美元以下,最终做到了 50 美元以内,包含包装和交付。这个目标从第一天就摆在桌上,所有设计决策都要向它交代,没有人打算等设计做完再回头算账。
索夫曼说团队构成是关键。他们的机械工程负责人是 Logitech 最早期的工程负责人之一,手上流通过十亿级的消费电子产品。软件团队则被要求接下所有硬件省下来的麻烦:电机便宜所以有噪声,传感器便宜所以不准,这些都在软件侧修。
团队内部还打过一场路线之争。一派来自游戏设计背景,认为应该以游戏机制为核心,做一堆游戏体验。另一派是索夫曼和他的联合创始人所在的阵营,坚持以角色为核心。后者的论证是:在游戏性上你永远打不过虚拟世界,那是别人的主场;但在角色上,物理存在感带来的是压倒性优势。这场争论最后以角色派胜出告终,也定义了 Cosmo 后来的一切。
一家看起来什么都做对了的公司为什么会死
Anki 卖出了几百万台,营收做到接近一亿美元,多个品类里排到第一。索夫曼说,从商业和用户反馈的角度,能指出来的成功点很多。
问题出在结构上。
第一是季节性。大约 85% 的销量集中在第四季度,因为这是个礼物型产品。这意味着公司要花一整年养人、备货、投营销,钱在 11 月和 12 月收回来,零售商则在 12 月和次年 1 月才付款。索夫曼形容这种现金流摆动是「残酷的」:做得越成功,摆幅越大,因为你得先花几千万美元在库存、营销和人力上,然后干等。
第二是硬件在资本市场失宠。Fitbit 和 GoPro 从一百亿美元营收掉到十亿美元,硬件公司普遍只能拿到一倍市销率的估值。Anki 处在中间地带:想快速从娱乐品类往上走,但原由业务又不能放手,因为估值和融资都建立在它上面,而它本身没有通往独立盈利的路径。
第三是那轮融资在最后一刻崩了。
有几次,账上的现金只够撑几天。你在信用额度的还款期限上跟人玩胆小鬼游戏,谈桥贷款的条件。那种压力,别的地方再难也到不了那个程度,因为你要对两百多个人负责。(索夫曼)
他说自己在整个过程中对团队保持了透明,讲清楚在跟谁谈、进展如何、什么时候顺利什么时候不顺利。所以宣布的时候不算突然,但依然极度情绪化。他讲到一半说不下去,有人接了上去。
真正动人的是后面那一段。宣布完之后,所有人留在办公室到凌晨两三点,喝酒、聊天、讲过去的事。很多人说那是他们职业生涯里最好的工作经历。
索夫曼留着一样东西没敢打开:一大摞来自孩子和家长的来信,Anki 关门时收集起来的那一批。他说也许五年后办个聚会,把大家叫来一起拆。
还有一件事值得记下来。Anki 的 AI 和机器人团队后来大部分被 Waymo 接走了,因为那批人的背景恰好就是自动驾驶想要的。一家公司死掉了,它的技术团队成了另一条赛道上的主力。
从会卖萌的小机器人到 8 万磅的卡车
Waymo 的架构可以这样拆:Waymo Driver 是不依赖具体车型的那套系统,传感器、计算、软件、基础设施全套;Waymo One 负责运人,凤凰城已经有完全无人的商业服务在跑;Waymo Via 负责运货。
索夫曼强调,这两件事在底层能力上的重合度比外人想象的高得多。理解周围世界、处理信息、做决策、证明安全水平,这套东西是共用的。所以公司内部有大量中心化团队支撑所有应用,同时也有专门团队去啃某个平台独有的难题。
卡车独有的难题里,最典型的一个是挂车。空载和满载的重心完全不同,物理动态完全不同,这些必须一路传到算法里,让系统知道自己当前的动态包线在哪,同时永远待在安全边界内。
他们为此建了一个测试场,给挂车装上巨大的辅助轮,然后把车往极限之外推,直到它真的翻掉,以此测出那条高维边界,再把它写进软件。
还有一个数字能说明卡车的难度:人类卡车司机在高速上发生严重事故的频率是每 130 万英里一次,造成严重伤害的事故是每 2800 万英里一次。想要证明自己比人安全,你要么真的跑出这个量级的里程,要么用结构化测试和统计论证去覆盖这些极端稀疏的事件。
为什么卡车的激光雷达要装在两边
轿车的主传感器舱在车顶正中,卡车的则挪到了两侧后视镜的位置。原因很实际:卡车车厢比驾驶室高,如果传感器放中间,挂车会形成一个楔形的遮挡区。解决遮挡有两种办法,一是加软件复杂度去补偿,二是改硬件布局。他们选了后者。
放到两侧之后,除了消除遮挡,还有一个附带好处:和轿车上的感知架构几乎可以平移,模型重新训练一下就能复用。再一个好处是冗余,任何一个激光雷达、摄像头或雷达失效,系统仍然可用。索夫曼说得很直白:到了规模化阶段,每一个传感器都会坏。而且失效不只是「不输出数据」,可能是数据偏移、被遮挡、线路断开、部分计算单元掉线,冗余让你能通过数据不一致检测出来。
传感器分工有一份清晰的责任表。激光雷达在近距是决定性优势,它有极高的点云密度、精确的三维定位和一致性。所谓一致性,是指不管白天黑夜、有没有逆光,一束光打出去弹回来,形状信号是可靠的。但激光雷达的探测距离会衰减,卡车需要的感知距离又比轿车远得多,所以远距必须靠雷达加摄像头。摄像头的分辨率高、看得远,一千米外都有信号,但噪声大、分类难,定位更难:一千米外偏差两米,就是路肩和车道内的区别。雷达的独特价值是直接给速度信息,而且穿透雨雾的能力更强。
早融合还是晚融合
索夫曼的判断很明确:早期融合越来越重要。
晚期融合的做法是各传感器各跑一条流水线,到最后做语义和分类时再合并。问题在于,这么做拿不到互补性。下雨天就是最好的例子:激光雷达有反射噪声,摄像头有奇怪的干扰,任何单一传感器都极难处理,但三路信号合在一起,就有机会过滤出真实信号。
他的表述是,越往大规模数据驱动的方向走,就越应该在做出任何限制性决策之前,先把每种模态里能提取的最好信号都提出来。因为越到后段,那些被早期决策锁死的信息就越难挽回。
数据复用上,Waymo 的做法是压倒性地复用。卡车上的几乎每个模型都从轿车的最新模型起步,相当于一次预训练。有一个数字很能说明问题:在「预测路上其他交通参与者行为」这个模型里,85% 的训练数据来自轿车,其中很大一部分还来自城市道路。
高速上的问题是事件稀疏。索夫曼说,你不可能靠无限驾驶去遍历所有可能遇到的排列组合。所以必须用结构化测试、数据增强、场景生成这些工具,主动去采样那个无限维的空间,尽可能快地撞上问题。
自动驾驶最难的部分在车轮之外
这是整场对话里信息密度最高的一段。
大多数人没有意识到,自动驾驶最难的问题其实是评估问题,而不是自主驾驶问题。如果你能完美且瞬时地评估,这个问题的求解会快得多。(索夫曼)
Waymo 每实际行驶一英里,仿真里跑大约一千英里。两千万英里的实车里程,对应的是两百亿英里的仿真。仿真承担四类工作:开发期的回归防护;把路上遇到的异常场景回放并测试改进;用历史数据的大批量仿真来快速判断某个指标变好了还是变坏了;以及最后的安全验证,把实车运营中所有接管场景往前推演,看如果不接管会不会出事,绝大多数情况下答案是「不会」。
数字能说明评估为什么难。人类卡车司机在高速上每 130 万英里才有一次严重事故,每 2800 万英里才有一次造成重伤的事故。这意味着一个看起来很能开的系统,可能完全没有被信号覆盖到那一段。
索夫曼提到一个反直觉的结论:图灵测试在自动驾驶上会很快失效。因为你在很早期的阶段就能达到「看起来像无人驾驶」的水平。一个三十分钟的演示,跑十五英里,什么也证明不了。真正挡在无人驾驶门前的,是十万英里才出现一次、五十万英里才出现一次的那种情况。
而且这里有一个恶性循环:你遇到一个问题,修好了,但你怎么知道没有顺便造出五个还没遇到的问题。他说这是 Waymo 历史上付出过代价的教训,也正是这套评估体系后来成了公司的核心方法。
可控的部分可以硬做。比如限速,可以论证系统在结构上不可能违反,或者把会触发违规的场景逐条列出,逐条测试。比如故障率,不用等它随机发生,直接注入故障,跑完所有排列组合。真正难的是行为层,因为理论上可能发生的情境是无限的。
于是回到一个非常 Cosmo 的问题:怎么定义「准备好了」。索夫曼的答案是组合拳,结构化论证、统计采样、场景仿真、和最终安全强相关的代理指标。他向航空和航天工业借了很多方法,因为你没有机会发射一百万次来证明自己准备好了,失败太贵。
但这里还多一层难度。航天飞机可以把软件冻结,然后证明它,然后发射。自动驾驶不行,你要先达到无人驾驶的门槛,然后在保持无人运营的同时继续激进地改软件。
两条路线:数据和传感器的赌注
Lex 让索夫曼分别论证 Waymo 和 Tesla 为什么会赢。
Waymo 这一侧的理由是:从第一天起就奔着 L4 去。传感器是按 L4 定制的,算力、硬件、基础设施、技术栈、安全框架全都为此重建。这个差别在规模化的时候会变得非常大。他提到一个细节:把 Phoenix 跑通无人驾驶的那一代软硬件,和现在这一代几乎是完全换过的。因为让系统达到无人驾驶水准的那套东西,本身并不适合指数级扩张。这些教训没法跳过。
Tesla 这一侧的理由是数据。索夫曼承认这是他们的超能力:用巨大的真实车队收集数据,而且是让安全驾驶员付钱给你。如果能正确地使用这些数据,这是极大的优势。他没有反驳纯视觉路线在长期上的可行性,人类本来就用视觉开车。
他的质疑在于风险叠加。自动驾驶本身已经足够难,行为决策和长尾安全案例已经足够难,如果还要在输入侧额外承担感知的风险和复杂度,等于把一个几乎难以逾越的问题再抬高一层。
他也没有把话说死。他说 Waymo 自己也大量使用人类驾驶数据,比例比外人想象的高,因为那是训练自动驾驶最好的信号之一。两家公司其实是在用不同方式回答同一个问题,而这个问题的难度至今没有定论:开车到底有多难。
人形机器人现在还是研究
索夫曼对 Tesla Bot 的判断很克制:今天的人形机器人属于研究范畴,还够不上产品。理由是很少有场景真的需要人形。轮子比腿高效,超过一定数量的关节只会增加复杂度和成本。做人形机器人,往往是在追求人形机器人本身,而不是在追求某个应用。
他也承认这里有个可以辩论的空间,而且这个空间恰好在 Cosmo 的主场上。如果应用允许它出错、允许它有性格、允许它像 Cosmo 那样靠共情换取宽容,那么人形可能是有意义的,因为人对腿、肢体、身体语言有天然的连接。
但对工厂这个具体场景,他持怀疑。工厂里你到底优化什么?力量、移动性、还是通用性?不同答案对应完全不同的形态。人形在某些维度上是过度设计,在另一些维度上又是被约束死的。真要抓取东西,抓大件还是小件,也会改变整个设计。
他认为更有意思的是另一条线:当你把感知、控制、规划这套通用机器人能力做深之后,整个世界会开始变得越来越像一个机器人问题。今天的卡车还是改装现有车型,但没理由不能在规模化之后重新设计一台真正为自动驾驶优化的车,也许是完全不同的挂车形态。
机器人公司为什么难做
索夫曼的答案归结成一句话:技术找不到应用,或者价格和功能对不上。
机器人集成的技术门类比绝大多数公司都多,成本天然更高。消费品的门槛又格外高,卖一万个爱好者不算数,得卖到两百万、一千万、五千万人的量级才算过线。这个标准之下,机器人的价格很容易被推到能力支撑不住的位置。
iRobot 是正面案例。它找到了技术与需求严丝合缝的那个点,而且没有在成本收益上过度伸展。吸尘器这个品类人人都懂,人人都烦,现在有一台能自己干,价值一句话说清。
Cosmo 是反面教材意义上的悲剧。它是一个全新品类,你得向家长解释、向孩子解释,还得让两边都同意掏钱。索夫曼说他们在这上面花了很多营销费用,最后找到的解法是用短片把情绪拍出来,靠性格打动人,视频能跑到几十万甚至几百万播放。但这个过程本身就说明问题有多难。
他对比了 Nest:智能恒温器锚定的是一个已经存在的品类,你只需要说清楚哪里更好。Cosmo 没有这个锚点。
2013 年前后我们撞了一次墙,之前一直在讲我们的技术有多先进、多酷,后来不得不做一个非常硬的转向,去讲它为什么好玩,为什么一个四口之家需要它。(索夫曼)
这也是他对亚马逊 Astro 持保留意见的原因。1500 美元的价格点意味着极高的价值门槛,而它还在寻找那个杀手级应用。移动能力是个还没被用好的角度,但要用对地方。
不过他也承认,Astro 身上有 Cosmo 的影子。他说当年和亚马逊谈的时候,对方对 Cosmo 的兴趣有点过于浓厚了。
关于选择和代价
索夫曼在 CMU 从本科读到博士,赶上了一个特殊的时期:DARPA 挑战赛刚结束,自动驾驶从学术问题变成工程问题,而 CMU 是全球投入最集中的地方。他参与的项目叫 UPI,是 DARPA 资助的越野版无人车,你把它丢在某个地方,给一个十公里外的坐标,它要自己穿过森林、沟壑、岩石和植被。那台车的轮子有他肩膀那么高。
他说机器人这个领域有个特点,逼着你必须广度。软件领域可以窄而深,机器人不行,它天然是感知、规划、机械、系统几拨人捏在一起。这个特点反过来也打开了门:机器人更像 AI,它是一套可以应用到各个行业的工具,谈不上是一个独立的行业。
关于创业,他给的建议里最实在的一条是市场。有一句话是他反复回扣的:团队、执行、市场,很多人相信只要够聪明、够努力、团队够强,总能找到出路。但现实是市场常常赢。Anki 和 Waymo 摆在一起就说明了这一点,一个是价格和功能错配加上融资窗口关闭,另一个是几千亿美元级别的市场容得下巨额前期投入。
还有一条是关于生活。他说自己有过工作到近乎偏执的阶段,现在在努力找平衡。他的原话大意是,人在这个光谱的很多位置上都能过得幸福,问题在于你很多时候是无意中做出了选择,等发现的时候已经很难拆解回去了。
如果只记三件事
- 做产品前先定约束,别定完设计再算成本。 Cosmo 的 50 美元物料成本是第一天摆上桌的,后来只是一路守住。约束越早,越能逼出真正有效的设计。
- 把错误设计进体验里。 一个会犯错、并且意识到自己犯错的角色,比一个完美的角色更容易被原谅。这条规律在机器人、在助手、在任何需要长期陪伴的产品上都成立。
- 评估能力比执行能力更稀缺。 无论是自动驾驶还是别的长尾问题,真正的瓶颈往往是你没法快速知道自己变好了还是变坏了。先建评估,再谈迭代。
- 如果要做机器人创业,先问价格和功能对不对得上。 别问技术有多先进,问一个普通家庭为什么愿意掏这笔钱,以及你能不能只用一句话说清。
- 热情要和正在增长的市场对上。 索夫曼的说法是,找到一个既让你愿意深挖、又处在成长期的方向,机会会自己浮现出来,你能获得的尝试次数也会多得多。
本集资源与出处
- 视频在 YouTube 收看
- 音频官方 MP3 直链来自 lexfridman.com 官方播客 RSS
- 官网Lex Fridman 官网本集页面