# 塞尔塔奇·卡拉曼：会飞的机器人与会行驶的机器人 > 麻省理工学者谈无人机自主飞行与自动驾驶的技术挑战，涉及感知、控制与安全验证等核心问题。 - 原标题：#97 – Sertac Karaman: Robots That Fly and Robots That Drive - 期数：第 97 期 - 发布日期：2020-05-19 - 嘉宾 / 主题：塞尔塔奇·卡拉曼 - 网页版：https://lexfridman-cn.pages.dev/ep/sertac-karaman/ - 官方页面：https://lexfridman.com/sertac-karaman/ - 精读字数：约 8945 字（阅读约 20 分钟） > 本文为 lex.qiaomu.ai 基于原始访谈的 AI 改写中文精读，非官方翻译；引用请注明出处并链接网页版。 自动驾驶和飞行机器人，哪个技术上更难？ 这个问题抛给 MIT 教授塞尔塔奇·卡拉曼（Sertac Karaman）的时候，他的回答先绕了一个弯。他说，如果只算消费级无人机那点事，飞行其实更容易，这也是无人机比自动驾驶汽车更早普及的原因之一。但如果你看的是真正的未来，是物流、是交通运输，那飞行的难度会远远超过地面自动驾驶。 这个答案的分量，要放在他的身份上才看得清楚。卡拉曼是 MIT 航空航天与机械工程系的教授，是自动驾驶公司 Optimus Ride 的联合创始人，做过飞行机器人、地面机器人、无人机竞速、高性能计算芯片，是那种同时把天空和地面都摸过一遍的人。他见过的机器人，比绝大多数人一辈子听说的都多。 他的一个核心判断是：过去五十年，人类部署了大量机器人，但它们要么待在隔离环境里，要么即便规模很大，也严格局限在很少和人类直接互动的场所。工厂车间、仓库、火星表面，机器人在那里完全自主，因为没有人会突然冲进来捣乱。真正的挑战，是把这些机器放进人类活动的地方。 ## 难的不是造出机器人，是让它走进有人的世界 卡拉曼把这件事拆得很细。一旦机器人进入人类环境，需要解决的问题远远超出技术层面。 算法和系统本身要重构。商业模式要重新设计。建筑、城市规划要跟着调整。法律和监管要更新。还有一层更微妙的东西：人类并没有被训练过怎么和这些机器相处。他们可能根本不知道眼前的这个东西是自主运行的，更不知道自己其实在享受它提供的服务。他们只是照常生活在一个为人类造的环境里，机器人并不在设计考虑之内。 他举了一个很具体的例子。一辆完全空载的自动驾驶车在路上试图并道或者做些动作时，它就从「一个人」降级成了「一个东西」。人类面对东西和面对人的行为方式完全不同。面对桌子你可以把背包甩上去，甚至把脚搁上去。面对人你会有礼貌、有默契、有各种心照不宣的配合。一辆没人在里面的车，自动归入了「东西」那一类，于是人们可能对它做出一些平时不会对同类做的事。 > 你不仅要和人类一样聪明，你还得是一个「东西」，所以人们会在某种程度上欺负你。你得确保自己能应对这个，还依然能完成任务。（塞尔塔奇·卡拉曼） 这个观察挺有意思，它指向自动驾驶很少被讨论的一个维度：路上的博弈掺杂着大量社会行为，纯粹的交通流优化覆盖不了它。卡拉曼自己做过不少这方面的论文，包括用博弈论来理解人的社交价值取向。有些司机更激进，有些更保守，一辆机器车只要观察前车怎么开，就能大致判断出对方是哪种类型，然后做出相应的决策。 反过来，当一辆机器车自己面对一个激进的人类司机时，它该不该也激进？他的判断是，在当下的社会环境里，激进对机器人来说非常危险。这种做法在社会层面的代价太大，人们对激进机器人的接受度还很低。所以这成了一道很难的选择题，而这道题还没有标准答案。 ## 效率还是宜居，自动驾驶迟早要把这道题摆到台面上 顺着这个思路往下推，卡拉曼提出了一组更根本的矛盾。 大规模部署机器人的时候，系统可以被设计得非常高效，也可以被设计得非常可持续。但效率和可持续之间需要一个权衡，而且这个权衡会变得明明白白，没法回避。 比如机器人可以非常激进，压缩交通延迟，提升整个交通系统的容量。也可以非常温和，让人类继续「拥有」这个环境，感觉住在一个舒服的地方，代价是效率下降。通常人们说起可持续，第一反应是能源消耗和环境影响。但卡拉曼提醒，宜居性本身就是可持续的一部分。一个被激进机器人占据、让人不想住的环境，从长远看同样不可持续。 过去这种选择一直存在，只是在人类驾驶的时代它是隐性的。司机各自的性格、习惯、临场判断，自动把这种权衡消化掉了。而自动驾驶时代，这些选择会从隐性变成显性，变成一组可以量化、可以优化的参数。一旦可以优化，社会就必须回答那个很难的问题：我们到底更看重效率，还是更看重宜居。 他甚至把自动驾驶车辆的测试本身也放进这个框架里。你在人类环境里测试自动驾驶，风险可能很小，但严格来说永远大于零。创新和风险之间摆着一道权衡，不去测试，发展就会变慢。这些取舍其实已经在发生，只是随着系统越来越普及，它们会变得无法绕过。 ## 天上有一块没人用的空域 话题回到飞行汽车。卡拉曼先泼了一盆冷水：预测未来 50 年的事本来就极难。他甚至开玩笑说，未来 50 年出现飞碟的概率有五成，原理上人类可以造出能把周围空气电离、用磁场向下推的机器。所以与其谈 50 年，不如谈眼下能抓住的东西。 然后他讲了一个非常有画面感的概念：一块特定的空域，高度刚好高过你能扔石头的范围，又低到不会和几千英尺上飞的民航客机打照面。这块空域目前几乎完全闲置。你抬头看天，除了偶尔经过的娱乐性飞行器，大多时候什么也看不到。 这块空域能承载很多应用场景。波士顿到纽约，如果从一栋楼顶飞到曼哈顿另一栋楼顶，一个半小时就能到，这个价值很实在。他也设想过那种两三个人、四到八个人共乘的空中交通工具，你和朋友一起飞过去，还能一起吃个午饭。他自嘲这听起来有点俗气，但这类场景就是真正的机会所在。传统航空不会很快消失，可是会有一部分人愿意多花一百美元，把四小时的行程压缩到一个半小时。 技术上的难点，在于把自主性和安全性同时做到位。他判断，这块空域需要的软件会复杂到比今天飞机上的系统高出好几个数量级，同时还得保证安全性。这就成了一个硬骨头：硬件和软件都要从零构建，而软件又依赖数据训练，很多感知能力现在只能靠机器学习来做，没有别的方法。 ## 仿真最大的价值在开发，训练只占其中一项 聊到仿真，卡拉曼纠正了一个常见的误解。很多人一听到仿真就想到训练模型，但他认为仿真最大的价值之一其实是「开发」。 这件事早就有了。汽车行业用动态仿真已经几十年，这几乎是标准流程：要做一个嵌入式控制器，把这块嵌入式计算机插入另一台计算机，让那台计算机去模拟它。区别在于今天的仿真环境可以做得非常疯狂。 过去比较容易仿真的是内部传感器，比如惯性传感器；也比较容易仿真动力学，比如车怎么在路上滚、飞机怎么飞，因为这些都由常微分方程描述，规则清晰。真正难的是「向外看」的传感器。激光雷达相对容易，摄像头和雷达更麻烦。一旦摄像头仿真能逼近真实相机看到的世界，你就可以在仿真里探索真实相机的局限，也可以在上面训练感知算法。 而仿真真正下一个大关是模拟人类行为。这件事极度困难。前面那些东西我们知道物理，可以写规则，比如渲染，本质上就是逐个光子追踪。可是人要建立成一个能塞进处理器里跑的数学模型，目前看不到清晰的路径。可选的方案是要么收集数据去拟合，要么做大规模的 A/B 标注，而所有需要人工标注的方案最终都受限于你手头有多少人、他们能干多少活。 他有一个挺好玩的测试。他会把两张图发给朋友或者他妈妈，问哪一张是合成的、哪一张是真实的。建筑环境往往分辨不出来，因为人造环境在进化史上出现得晚，人类的眼睛没有被训练过去识别它。但一旦画面里出现人，破绽马上就被抓住。人类的眼睛在进化中被训练得极其擅长看人，甚至看猴子也是一样，我们分不清两只猴子，但猴子之间分得清。 > 人会指着视频说，这里不对，有什么东西怪怪的，我说不清是什么，但我能告诉你它不对。（塞尔塔奇·卡拉曼） 这一点对自动驾驶的仿真非常不利，因为马路上最重要的变量恰恰是人。 ## 自动驾驶的三段式难题，和最后一段为什么最难 卡拉曼把自动驾驶的技术演进分成三段。 第一段是定位和建图。2007 年 DARPA 城市挑战赛之后，整个领域都在攻 SLAM，Google 也在做同样的事。核心问题是「我在哪」。第二段是 2012 到 2013 年那波 AI 革命带来的感知能力，解决「周围是什么」。第三段是「别人接下来会做什么」，这一段至今是公认最难的。 他补了一个经常被忽略的第四层：你自己会做什么，也会影响别人会做什么。你开得激进一点还是温和一点，你有没有给出某种示意，都会改变周围人的行为。这是博弈论层面的舞蹈，而现在基本被忽略了。 为什么被忽略？因为预测别人的行为已经够难了，把「我如何影响别人」也放进去，模型复杂度会爆炸。可这一层不解决，自动驾驶车在真实世界里的表现就会一直差一口气。它只能被动地适应，做不到主动地协商。 ## Optimus Ride 的路子：不去造一个万能引擎，先去解决一小块地 Optimus Ride 是卡拉曼联合创办的自动驾驶公司，在波士顿、纽约等地部署车辆。它的策略和 Waymo、Tesla 都不太一样，切入点非常具体。 2014 年前后，行业里到处在说「全自动驾驶两年后、三年后就到」，卡拉曼从来没信过。他参加过 MIT 的城市挑战赛队伍，亲眼见过那些限制：算力不够、人类行为难懂、一堆问题堆在那里。所以他选了另一条路：找一个具体的市场，为它构建一套系统。 Optimus Ride 打的旗帜是「人机协同运营」。今天一个操作员看一辆车，不管这辆车是叉车、卡车还是轿车。他们的目标是从这个比例走到十个人运营五十辆车。这里的关键词可不是远程遥控，他特意强调，那可不是一个人戴着 VR 眼镜在远方开车。他们设想的是一个控制室，里面有类似空管的角色，看整体地图，理解哪些车很自信、哪些车需要一点帮助。这种帮助专门用来提升效率，安全从来不靠它。车本身必须是安全的，哪怕零操作员，它也能以每小时五英里的速度安全行驶。但如果想让它跑每小时二十五英里，就需要人来介入。 城市的选择也很讲究。Optimus Ride 先盯上的是那些两英里见方、交通严重匮乏的区域。这些地方有出行需求，只是量太小，Uber 之类的服务算下来不划算，于是就成了交通荒漠。人们只能自己开车，从 A 点到 B 点吃个午饭，结果停车位越建越多。 他算了一笔账。一个两英里见方的小地方，如果能用高效、安全、可持续的交通系统替代掉一部分停车需求，省下来的土地价值就是几千万美元级别。如果地点在纽约市中心，那就是几十亿美元。这还没算社会层面的收益。我们今天的城市是为车而建的，一百年前不是这样，但所有人都已经习惯了不在马路中间走路，哪怕封路办庆典时也一样。停车位改造成公园或者别的用途，这才是一部分真正的回报。 他对「接驳车」这个品类的批评非常直接。大家讨厌接驳车，原因是司机太贵，所以运营方不得不在一个司机身上挂二三十个座位。很多人有一个误解，觉得接驳车就该大。Optimus Ride 给的是四座、六座，客户经常问有没有二十座的，他的回答正好相反：你不需要二十座，你需要把座位拆开，让车跑得更快。车一大，加速慢、减速慢、灵活性差，用户还得爬上去，调度也更难。拆成小车之后，路线上的间隔从一英里缩到半英里，等待时间立刻下来。 他甚至设想了一个连 App 都不需要的场景。你直接走进车里，车认出你是谁，给你几个常去的地方的选项，你选一个就走。人们对 App 的执念也是一种惯性。 > 我们真正想做的，是把那个人人讨厌的接驳车体验，翻转成一个人人都喜欢的东西。（塞尔塔奇·卡拉曼） ## 密度是自动驾驶的临界点 聊到规模，卡拉曼给出了一个非常具体的画面：你在城里走，看到一辆自动驾驶车，环顾四周，还能看到另一辆。这种密度就是目标。人类历史上从来没做过这种密度的事情。 为什么密度这么重要？他引入了一个概念，叫数据密度或者数据速度。你在全国开一万英里，每个路口只见一次；你在一个受限环境里开一万英里，同一个路口见几百次。后者对「这个路口的人会怎么做」的预测能力会强得多。这也是为什么特斯拉的数据虽然多，但主要集中在加州少数几个邮编区域。数据总量重要，数据在特定地点的重复度更重要。 他拿新加坡的出租车做类比。在好的时段，出租车能占到交通量的百分之十到二十。自动驾驶要达到那个比例，才会出现真正的拐点。而一旦到了那个拐点，用户体验会完全不同。人们对人等不了半小时，对货物可以。所以系统可以在高峰期集中运人，非高峰期运货，整个调度逻辑会变得非常不一样。 再往下算经济账，逻辑更清楚。你今天付给 Uber 的钱，大部分流向了司机，而司机自己会说，那大部分其实是他的时间成本。如果变成百分之一个人来运营一辆车，成本结构就彻底变了。再加上现有的车为了上高速、过碰撞测试，造得又重又大，重量可能是乘客的二十五倍。如果专门为城市出行重新设计车辆，理论上从 A 点到 B 点可以做到一美元以内，甚至九十九美分，只要你不改目的地。 ## Waymo、Tesla、Optimus Ride，其实不在同一条轴上 很多人喜欢把这几家公司排成一条从保守到激进的轴。卡拉曼认为这个分类不太准确，它们其实分散在不同维度上。 Waymo 那条线，他判断背后有一部分是研究心态。他们未必真在意马上出货，虽然对外会讲产品，也有压力要讲。他们真正在做的，是造一台「新引擎」，一台能理解自己在哪、周围是什么、别人要做什么、自己该怎么反应的引擎。自动驾驶只是这台引擎的一个载体。他们想把这台引擎摸透。 Tesla 那条线是另一回事。他们有一个真被人使用的产品，人们愿意为它付钱，愿意为它多花五千到一万美元。这里面有马斯克本人的光环加成，也有 Autopilot 本身确实有用的部分。而且用户买来试两次就扔的情况很少，是真的在用。所以他们能一边收钱一边收集数据一边迭代，这个循环是成立的。 两家用的可能是同一台「引擎」，只是最终装在不同的车上，一台做轿车，一台做卡车，应用场景会分化。它们处在两条平行的探索路径上，谈不上谁快谁慢。 ## 关于时间线，他给了一个很诚实的回答 马斯克说过年底就能实现某种程度的完全自动驾驶。卡拉曼被问到怎么看这个时间点时，绕了五分钟没给数字，然后自己承认了：我刚刚讲了五分钟，成功回避了你的问题。 但他绕的那五分钟里有干货。他提出一个现象，叫「技术预测中的时间膨胀」。人们看整个技术版图，那是一片混沌，什么事都可能在任何时候以任何顺序发生。人们把它压缩进未来三年。于是有些本来年底或明年就能做成的事，被推到了几年之后，因为不好解释。有些本来是二十年甚至更久的事，也被塞进了三年，因为大家不知道它到底有多难，有些问题甚至都不知道是不是可解的。压缩完之后，乐观的人说年底，保守的人说五年，其实谁都不知道。 他还指出一类特别难预测的公司：存在技术缺口的公司。Tesla 早期做电动车时，可以看一条类似摩尔定律的曲线，外推出现在在哪、想去哪，中间缺的技术迟早会来。但自动驾驶没有这样一条可以量化的曲线，你连该看哪张图都不知道。这种情况下，预测基本失效。 所以他给出的替代方案是：不谈五年十年，谈一到两年的计划，那个还相对可预测，对投资人也需要交代。再往上就是愿景，说五年十年没什么意义。真正重要的是「迭代式学习」：你在现场，你在做实验，你在学。这件事本身比任何时间表都更有价值。 顺便，他也被主持人反过来将了一军：Optimus Ride 做了很多厉害的东西，但外界根本不知道。他承认公司有一段时间刻意保持低调，现在到了该更多对外讲的时候，包括技术本身。 ## 激光雷达是不是拐杖 马斯克有句名言，说激光雷达是拐杖。卡拉曼的回答很平衡，但信息量很足。 他首先表态，自己非常相信纯摄像头方案。他愿意押注：未来某个时间点，只靠摄像头就能把今天用激光雷达做的事做好。但同一个未来里，激光雷达可能已经便宜到「不放就是傻」的程度。 他算了一笔很实在的账。你可以花钱买激光雷达，也可以花钱买算力。如果不装激光雷达，你就得堆更多计算，整个系统反而更贵。这里面藏着成本和工程的算计，只谈技术参数会算错。 他也直说了行业的现实：很多自动驾驶公司来了又走，路径都是「往车顶拍一个激光雷达，代码写一写，按个按钮，做个 demo」。激光雷达好用、好上手，这是事实。纯摄像头也能做到，只是难得多，需要真正的专业能力。Optimus Ride 的立场是计算机视觉加传感器融合，激光雷达用量相对克制，但确实在用。 关于激光雷达本身的技术路线，他提到短距、低分辨率的固态方案并不难做，成本可以压下来。真正的物理限制在别处：扫描环境时你会撞上光速这个天花板。要分辨率就得牺牲距离，要距离就得牺牲分辨率。光速在这里划了一条硬线，工程绕不过去。 ## 无人机竞速：把人类反应速度甩在身后的那条路 卡拉曼参与了洛克希德·马丁的 Alpha Pilot 创新挑战赛，让团队比拼全自主无人机竞速。他讲这件事的时候，语气明显不一样。 已有的无人机竞速是一项运动，飞手戴着眼镜遥控，里面没有 AI。Alpha Pilot 要的是完全自主的激进飞行。而他对这个问题的兴趣，藏着一个更大的判断：人类处理信息的速度有生物学上限。我们看东西、信息经过大脑、传到手上、再发出指令，这一整条链路都有延迟。机器人不必有这些延迟。 他的实验室在做能在一千赫兹下「看」的系统。人类勉强到一百赫兹。这相当于给机器人装了一双能看十倍慢动作的眼睛。这件事的意义远不止竞速。美国每天有一百人死于交通事故，很多是典型场景：上匝道时撞上别人，慌乱中打方向盘冲下路基。如果在事故发生的瞬间，车上有足够算力、有足够快的摄像头，就可以关掉车载娱乐系统，把所有计算资源调给自主决策，接管车辆刹停，或者至少把人类想做但做不到的操作做出来。 > 我们正在造另一台引擎，我希望有一天它的影响力能像安全带之于驾驶一样。（塞尔塔奇·卡拉曼） ## 瓶颈不在算法，在铜线 聊到高性能计算，他讲了一个很少被提到的瓶颈，听起来有点反直觉。 他的团队在做视觉惯性状态估计这类基础任务时，撞上了摄像头帧率的天花板。为什么？因为摄像头采集完数据，要通过 USB 或者 Camera Link 这类串行接口传出去，而铜线的传输能力有物理上限。你还没开始算，数据就已经卡住了。 解决办法是把计算往前推，直接放到像素旁边。这需要在芯片层面重新组织并行处理。 再往上游看，还有更硬的墙。CPU 主频卡在几个吉赫兹，一部分是散热，另一部分是光速本身。三吉赫兹的时钟周期内，光只能走几英寸，差不多就是一个芯片的尺寸。时钟信号在芯片里绕一圈，下一个周期就来了，协调复杂度爆炸。晶体管也小不下去了，量子隧穿效应开始捣乱。他说得很直白：我们在设计的很多东西上，已经撞到了宇宙的基本极限。 这也解释了为什么无人机竞速这件事有额外的意义。它把这些底层问题全部暴露出来：要高帧率、要低延迟、要在极短时间内处理海量数据、要在硅片层面重新设计信息流动方式。它同时是体育、是工程、是芯片设计、是感知算法，还是通向下一代自主飞行出租车的一条路。 他还提到一个细节：如果要实现波士顿到纽约一个半小时，固定翼比多旋翼更合适，很多做飞行汽车的公司都在往这个方向走。但固定翼怎么落在楼顶？这就需要机器人做出人类反应不过来的快速机动。这些技术和让汽车躲开事故，是同一套东西。 至于人类和机器在赛道上的胜负，他的判断很具体。在中等难度的赛道上，如果只跑一圈，机器会被人以微弱优势击败。但如果跑十圈，人类会以微弱但稳定的优势输掉，因为人会累、会走神，而机器会一遍又一遍执行同一行代码，不知疲倦。当然，如果赛道由人类选手来设计，难度会大幅上升。策略、欺骗、临场应变，这些机器还差得远。精度和可重复性是机器的天下，策略不是。 ## 贝尔曼方程：一个让理论家困惑了半个世纪的式子 最后，主持人问他，在机器人领域见过的最美的想法是什么。 他没有讲某个炫酷的 demo，也没有讲某个惊人的实验结果。他讲了一个方程。 贝尔曼方程（Bellman equation）。半个多世纪前，理查德·贝尔曼提出它的时候，解决的问题是：当你有多个变量需要联合决策，你该怎么找到最优策略。这个方程只有一行，任何人在第一门决策课上学一节课就能写出来。今天人们做强化学习，用的还是它。 它的美在于同时说明了两件事。一边是极致的简洁，一边是把问题的计算难度也暴露无遗。这就是所谓的维度诅咒。如果你有一百个变量，每个变量有十个取值，所有可能组合的数量超过了宇宙中原子的总数。任何暴力解法在物理上都不可能完成。 > 它既告诉你这个问题有多简单，也告诉你这个问题有多难。这种平衡让我一直很着迷。（塞尔塔奇·卡拉曼） 他接着说，这背后有一个更普遍的现象。很多领域我们都承认自己知道得很少。数学上我们甚至不确定公理体系是否自洽。宇宙的起点我们不清楚，自己的未来也看不透。但在决策这个领域，存在一种有意思的反差：最坏情况下问题是计算上不可解的，可实际应用中，事情往往就是能跑起来。 主持人接了一句，这有点像生活本身。我们总是盯着最坏的情况，为各种灾难焦虑，可平均情况下日子还是过下去了。卡拉曼说，这个比喻不错。这个反差在工程里反复出现。理论给出的最坏情况往往是灾难性的，可真正落地时，人们总能找到某种近似、某种启发式、某种在特定约束下够用的解。贝尔曼方程把这层张力压缩进了一行符号里，你盯着它看，既能看到数学的优雅，也能看到现实的妥协。 卡拉曼在 MIT 做了这么多年研究，最后把最美的想法落在一个半个世纪前的方程上，这件事本身挺说明问题的。机器人领域日新月异，每年都有新的 demo、新的论文、新的公司，但真正撑起整个领域的底层框架，往往还是那些老东西。它们不酷，不出现在新闻里，可每次有人想绕开它们，最后都得回来。 整场对话里，他反复回到同一个母题：机器人真正的难题在人这一侧。人怎么看待它，人怎么和它博弈，人愿不愿意住在有它的城市里，人能不能被充分告知自己承担了什么风险。技术曲线可以外推，人的接受度不行。这也是为什么他对时间表那么谨慎，对「迭代式学习」那么执着。你能控制的只有今天做什么实验、从中学到什么，剩下的部分交给时间和现场。 ## 读完之后能带走的东西 - 判断一项机器人技术有没有到拐点，看密度，不看单点 demo。同一地点的数据重复度，比数据总量更能决定预测能力。 - 评估自动驾驶或任何自主系统的路线，先分清它在哪个维度上竞争。是造通用引擎，还是做垂直场景；是纯视觉控成本，还是堆传感器保安全。它们处在不同维度，别硬排成一条轴。 - 看技术时间表，把「未来三年」这句话打个折。技术预测存在系统性的时间压缩，远的事被拉近，近的事被推远。可信的是未来一到两年的计划，五年以上的说法基本是愿景。 - 做产品时多问一句：用户真的需要这个吗。接驳车要二十座是一种惯性，出行要装 App 也是一种惯性。把座位拆小、把 App 去掉，反而更接近真实需求。 - 如果关心机器人进入真实场景，把注意力从算法层往上抬一层。算力、芯片架构、传感器接口这些底层瓶颈，往往才是真正的天花板。 - 遇到复杂决策问题时，读一读贝尔曼方程。它不会直接给你答案，但会让你同时看清问题的简洁和背后的计算深渊。