克里斯托斯·古德罗:YouTube 算法
Cristos Goodrow: YouTube Algorithm
YouTube 首席产品官古德罗谈推荐算法如何决定视频分发,以及点击率、观看时长与用户满意度之间的取舍。
YouTube 上每天新上传的视频,加起来有 50 万小时。一个人类平均寿命大约 70 万小时。今天一天上传的内容,就够一个人从出生一直看到死。
这是 Christopher Goodrow(克里斯托斯·古德罗)在一次访谈里给出的对比。他是 Google 工程副总裁,负责 YouTube 的搜索与发现团队。外界更喜欢把他管的这一摊事,直接叫作“YouTube 算法”。
每天有 10 亿小时的视频在 YouTube 上被播放,超过 Netflix 和 Facebook 视频加起来的总和。全球第二大搜索引擎是 YouTube,仅次于 Google 自己。19 亿用户每天在上面上传、观看、点赞、点踩、订阅、评论,这些行为叠加起来,构成了那个被无数人讨论、猜测、指责、依赖的东西。
古德罗在访谈里反复说的一句话是:它根本不是一个算法。
“YouTube 算法”根本不是一个算法
外界想象中的推荐系统,大概是某个庞大的公式,或者一张精密的权重表。古德罗的说法是,那是一堆跑在不同服务上的系统,包含代码、机器学习模型、启发式规则,再加上一个被大多数人忽略的部分:每天来 YouTube 的所有人的行为。
如果明天没有人来 YouTube,这个算法也就不工作了。人的行为是算法里非常关键的一部分。(古德罗)
这个说法的含义比听上去更重。人们抱怨“算法给我推了这些东西”,抱怨的对象很多时候是别的观众。是那些和你相似的人,用他们的点击告诉了系统该给你推什么。算法在这里主要做的事情,是跟踪、记录、反应。
他也讲了这个系统走过的路,跟绝大多数机器学习系统一样:先用最简单的启发式,慢慢收集数据,再一点点把启发式替换成能从具体情况里学习的模型。多样性是最典型的例子。最早的做法简单到近乎粗暴,同一个频道不能连推三条以上。规则有用,因为确实没人需要连着看六条同一个频道的东西。规则终究是死的,后来团队不断把它细化,让系统针对具体的人、具体的情境做判断,把那条通用规则逐渐拆掉。
关联图:没有人教它什么是语言
推荐系统最早一次真正意义上的突破,是协同过滤。
原理不复杂:观察哪些视频被同一个人在相近的时间段里看完。把经常被一起看的视频放得近一点,很少被一起看的放得远一点,画出一张图。他们管这张图叫关联图(related graph)。
这张图神奇的地方在于,它自己长出了结构。同一种语言的视频自动聚在一起,体育视频自动聚在一起,音乐视频自动聚在一起。系统里没有任何一行代码告诉它什么叫语言,什么叫体育,什么叫音乐。它是从人的行为里自己看出来的。
古德罗讲了一个他觉得特别好玩的例子。几年前有位研究者找他,说想研究 YouTube 对双语用户的推荐做得不好。这位研究者在美国做学术,搜学术内容时想看英文视频,搜完点进去,接下来的推荐全是英文。她说,YouTube 一定以为我只会说英文。可她其实来自土耳其,有时候做饭想看土耳其语的视频,搜一个做果仁蜜饼(baklava)的视频点进去,接下来的推荐全变成土耳其语。
她自己都不敢相信这是怎么做到的。答案就在那张图里。英文视频和土耳其语视频这两块地方,分别有足够多的人在成片地看,图就自己分出了两个相邻但独立的区域。当她从一块跳到另一块,系统立刻跟着变。
协同过滤最有力的地方就在这里:你不需要理解内容,你只需要理解人怎么移动。
多样性分两个台阶
推荐系统的难点不只是“找到你想看的”,更难的是“找到你想看、但还不知道自己想看的东西”。
古德罗把多样性分成两个台阶。
第一个台阶比较容易。你在看数学科普频道,系统给你推几个其他的科学、数学频道。这是在相邻区域里稍微挪一挪,用户接受度高,效果也稳。这是很多年前团队最早做的版本。
第二个台阶才难。系统把所有视频做嵌入(embedding),聚成一个个簇,然后去测量一件很微妙的事情:看 A 簇的人,有多大概率也去看 B 簇。答案有时候相当出人意料。看科学视频的人,同时也喜欢爵士乐。这个关系一旦被识别出来,系统就可以偶尔给你推一条爵士视频。
看科学视频的人,喜欢爵士乐的概率,比喜欢后院小火车模型的概率要高。(古德罗)
“随机推送”听起来能满足多样性,实际上是最没用的做法。古德罗说得很直白:随便从几十亿条视频里挑一条,很可能连你的语言都不是,你根本不会点。真正要做的,是在那两个条件之间找到精确的位置,既不太像你平时看的,又是你确实可能点开的。
你自己是 YouTube 里的一个向量
访谈里有一个说法很值得记下来。
YouTube 的推荐系统看你,本质上就是看你所有看过视频的历史记录。你可以把自己想成一条由所有你看过的视频组成的 DNA 链。(古德罗)
换成更技术的说法:你是所有视频构成的那个空间里的一个向量。那些和你向量接近的人,就是和你口味相似的人。他们的观看史里那些你还没看过的视频,就是系统可以试着推给你的东西。
这个视角解释了不少现象。你换了兴趣之后推荐会跟着换,因为你那条向量在空间里移动了。新用户看到的推荐很差,因为他的向量还没有形成。两个人同时点开同一个视频,接下来的推荐会完全不同,因为两个向量的位置不一样。
古德罗说,团队在很多年前实验过,把这个“簇”可视化给用户看,让他们知道过去几年自己都看了些什么。后来这件事被简化成观看历史记录。那种“我能看到我自己的画像”的需求,其实一直存在。
用观看时长衡量价值,然后发现还不够
推荐系统要优化什么,这个问题看起来简单,实际上决定了整个产品的性格。
古德罗把这条演化路径讲得很清楚。最早用观看量,一个视频被看得越多,质量越高。很快就发现这个指标不行,因为有人点进去看两秒就关了,这条视频的“观看量”也加了一。于是换成观看时长,前提是时长和用户获得的价值正相关。这一步进步很大,依然不够。
我自己也有过深夜在电视上翻频道,最后莫名其妙看完了《潜龙轰天 2》。第二天你问我,昨晚看那个片子开心吗?我会说,我宁可去睡觉,或者看本书,干什么都行。(古德罗)
于是有了第三步:看完之后的用户调查。系统随机请一些用户给刚看过的视频打分,一到五颗星。这个信号被喂回模型里,让系统学的东西从“你现在会点什么”变成“明天我问你的时候,你会给几颗星”。
这是整场访谈里最重要的一次方法论转向。从行为预测转向满意度预测。看完了,不等于满意。点开了,更不等于满意。真正值得优化的是用户事后回看那段时间,觉不觉得值得。
他给出的“成功”定义也顺着这个逻辑:每次用户被问到,这个视频是不是你在 YouTube 上看过的最好的视频之一,他都说“是”。古德罗承认这个目标大概永远实现不了,只能无限逼近。
关于订阅按钮,你可能一直用错了
除了观看、时长、点赞、点踩、分享、评论、调查,还有一个信号容易被忽略:订阅。
订阅这个信号没有想象中那么干净。古德罗团队做过用户研究,发现大家对“订阅”这件事的理解差异大得惊人。
有一类用户看得很多,几乎不订阅。问他为什么,他说:我付不起。团队解释了半天订阅是免费的,只是告诉 YouTube 你对这个创作者很感兴趣。这类人的心理模型是,订阅等于付费会员。
另一类用户订阅一大堆频道,那些频道的视频基本不看。问他为什么,他说:那个人做得太棒了,我就是想给他鼓个掌。
古德罗说自己的订阅列表里就躺着一堆这样的人。视频从来不看,但每次看到那人还在更新,他就是想点一下订阅表示支持。他也承认,这大概是订阅按钮的错误用法。
我们不能闭上眼睛说,抱歉,你用错了。我们得接受世界上所有人用订阅按钮、用点赞、用点踩的所有方式。(古德罗)
这句话适用于所有产品设计。用户永远不会按你设计的方式使用你的产品,你唯一的选择是接受他们真实的用法。
还有几个信号值得单独说。“不感兴趣”这个按钮看起来不起眼,古德罗说它非常强。一个用户主动说“我不想再看到这个”,比任何隐式信号都直接。他提到自己在看到这个功能的时候,作为机器学习从业者有一种很奇妙的满足感,觉得是在帮系统变聪明。
他借这个感受提了一个建议:YouTube 可以更多地向用户传递这种感觉。特斯拉的自动驾驶会让车主觉得自己在帮忙训练系统,维基百科让每个编辑者觉得自己在共同构建一件好事。YouTube 这件事上做得不够。用户点赞的时候,往往只觉得自己在优化自己的推荐,没意识到自己也在让整个系统变好。
机器做规模化,人做判断
访谈里被反复追问的一个问题是:这件事有多少能靠机器学习解决,有多少必须靠人?
古德罗的答案是没有一个世界可以只有其中一边。
机器学习最需要的是数据,数据是人做出来的。想要判断一个视频是不是误导性内容、是不是踩了政策边界,第一步就是让人类评估员一个个看,一个个标。这些标注成了训练数据,模型再拿这些数据去覆盖几十亿条视频。没有人的判断,模型无从学起;没有模型的规模化,人根本看不过来。
Lex 追问的部分很有意思:这些做判断的人,自己有没有偏见?
古德罗的回答很坦诚。团队确实在主动管理这件事。有些偏见是他们主动要求的,比如要求评估员偏向科学共识,偏向有明确专业性和可信度的来源。另一些偏见是他们主动规避的,办法包括同一条内容分给多个人看,以及确保评估员来自不同背景、不同地区。
有些偏见我们希望保留,有些偏见我们希望消除。(古德罗)
这句话值得细想。一个内容审核体系里,“偏见”没法被当成纯粹的贬义词。偏向科学共识、偏向专业来源,本身就是一种立场选择。真正需要防的,是那些和内容判断无关的偏见,比如涉及受保护群体的不公平偏差。
边界地带:降权比删除更常见
政治和意识形态内容,是访谈里最尖锐的部分。Lex 提到他在大学时读安·兰德(Ayn Rand),后来也研究过苏联时期的社会主义和共产主义,都是值得认真看的意识形态体系。
古德罗的回答框架很清晰:先把规则画出来,能画清楚的地方画清楚。言论自由不等于什么都能说,社会本来就接受了诽谤法这类限制。画清楚的地方直接删。
真正难的是边界地带。这些内容不违规,也没有什么建设性。对这部分的处理方式:降低推荐权重,同时把权威、可信的信息源往上抬。
安·兰德和共产主义,这是两种都有相当多人认真讨论的观点。我们不打算裁决哪个对,我们要做的是确保表达这些观点的人,是权威的、可信的。(古德罗)
这个说法听上去很温和,它背后藏着一个巨大的问题:谁来定义“权威”和“可信”?物理学里这个问题容易回答,政治哲学里几乎无解。古德罗自己也承认这一点,他说“责任重大”不是客套话,这是 YouTube 内部排序最高的议题。
他还转述了 YouTube CEO 苏珊·沃西基(Susan Wojcicki)的一句话:希望二三十年后的人回头看,会说 YouTube 真的把这件事想明白了,真的在开放带来的价值和开放带来的风险之间找到了平衡。
评论区的问题他也讲了。冒犯、嘲讽、恶意的评论是创作者要面对的现实,很多创作者都说过自己必须变得“抗造”。YouTube 在做的事情是两条线:用机器学习给评论排序,把建设性的往上放;给创作者和用户工具,让他们能屏蔽、能管理。他说得很实在:这件事会一直做下去,大概永远做不完。
病毒视频像滚雪球,一圈一圈扩出去
Lex 提到了物理科普创作者 Derek Muller(Veritasium 频道),他那条《为什么这个水库里有 9600 万个黑球?》在几天内拿到三千万播放。
古德罗说,从外面看,这个过程就像任何一个给人推荐东西的人在做事。
你先给一些人看,他们说喜欢,你就想,好,我再找一些和他们有点像的人试试。他们也喜欢。那圈子再扩大一点。一直到某一天反馈说,行了,太远了,这些人不喜欢了。(古德罗)
这个过程是自动的、渐进的、基于反馈的。他自己也承认局限:没人知道怎么预测一条视频会不会火。团队试过用播放量的一阶、二阶导数做预测,也试过看流量来源(来自 Twitter 的流量是否意味着更容易爆发),效果都不好。他开玩笑说,他完全不知道如何制造一条病毒视频,除了让小孩在你直播新闻的时候闯进镜头。
有一个角度特别值得记下来。他建议与其去猜什么会火,不如去理解用户会怎么搜。他以 NBA 举例:有人搜“勇士对火箭”,有人搜“库里”。如果一条比赛集锦里恰好有库里那个精彩进球,这条集锦就多了一个被找到的入口。
你永远不知道人们会怎么搜你创造的东西。所以你应该去做切片,去加标题,让他们尽可能容易地找到它。(古德罗)
这对内容创作者是最直接的一条建议。别把关键信息藏起来,你的内容值得有更多被找到的路。
让机器看懂视频,这条路才走了不到四分之一
Lex 反复追问视频内容理解这件事。YouTube 自己发布过计算机视觉领域的数据集,团队在这条路上投入多年。
古德罗给出的判断很克制。系统能判断出这是音乐视频还是体育视频,能判断出画面里有人在踢足球。它判断不出这是曼联还是他女儿的球队。他说得很直接:能做到“嗯,这大概是足球”,再往下就做不动了。
有一段他讲的往事挺有意思。几年前 YouTube 直播一场重要的《魔兽世界》电竞赛事,但是在搜索框里输入“World of Warcraft”,搜不到这场比赛。因为直播标题里只写了“第七场,A 队对 B 队”,没把“World of Warcraft”这个完整词组写进去。
Lex 插了一句:在互联网上,太直白其实很“不时髦”,这就是问题所在。古德罗同意。有意思的标题往往靠机智、靠间接、靠幽默,机器学习模型想要的是直白:你就告诉我这里面是什么。
所以现阶段,标题和描述这种文本信息依然是算法最可靠的抓手。它给算法看,也给用户看。搜索结果里所有视频标题里都有“World of Warcraft”,唯独你的没有,用户自己就会怀疑这条是不是搜错了。
至于什么时候机器能真正看懂视频,古德罗给了一个数字:如果八年前是 0%,今天是 100% 的完成度,那么现在大概走了不到四分之一。
我们的世界比我们以为的要复杂得多。(古德罗)
Lex 提到 Yann LeCun 的观点:自监督学习,让模型看海量视频去预测下一帧,可能通向更高层次的智能。古德罗的回应带着工程师的怀疑。他说视频压缩算法本身就在做预测下一帧的事,但预测下一帧和理解之间隔着一大截。一帧里的微小误差累积起来,就可能导出完全不同的视频。
Lex 补充说,真正的压缩是把一小时的视频压成一句话:“两个人在说话,内容大概是什么。”这才是理解的终极形态。古德罗承认这个方向很迷人,也承认现实很慢。
创作者停更,频道不一定掉粉
访谈接近尾声时,Lex 问了一个很多创作者关心、却很少有人敢直接问的问题:如果停更,粉丝是不是就跑了?
古德罗的回答很干脆:
停更完全没问题。我们能观察到很多例子,创作者休息一段时间回来,比之前更受欢迎。我们观察到“回来更强”的例子,和“回来更弱”的例子一样多。所以“停更必然掉粉”是一个需要被打破的迷思。(古德罗)
这句话背后有一层他没有展开但很值得想的东西。一个创作者能吸引人,很大程度来自他的独特性,他的视角、他的声音、他做事的方式。这些东西不会因为休息一个月就消失。真正会消失的,是创作者硬撑着做出来的、自己都不满意的东西。
他还补了一句:很多情况下,休息之后的视频质量反而更高。一个在 burnout(倦怠)状态下硬撑着工作的人,大概率做不出最好的作品。
还有一个他提到的细节,很容易被忽略。人们持续回到 YouTube,靠的常常是脑子里有一个预期:我回来能看到某个创作者、某个主题、某类内容。如果 YouTube 只有一条接一条的病毒视频,今天是猫弹钢琴,明天是小孩打断记者直播,用户根本没法形成这种预期,某一条爆款本身也留不住人。
这就是为什么粉丝和创作者之间的连接这么重要。它是一种能延续到未来的关系。(古德罗)
很多人把推荐系统理解成“分发内容”,推荐系统真正在建立的,是人和人之间的一种间接关系。
YouTube 正在变成电视
古德罗讲了他自己的成长经历。七十年代长大的小孩,看了大量电视。当时人们告诉他妈妈,电视会把他的脑子看坏,劝她把电视扔了。他说,现在他自己家的情况是,YouTube 是电视的更好版本:点播、贴合每个孩子想看的、还能找到电视上根本不可能出现的内容。
这个类比值得停一下。YouTube 的对手从来都是电视本身。它在做的,是把“看电视”这件事从“某个时段播什么你就看什么”彻底改写成“你想看什么就有什么”。这个转变的意义,可能比大部分人意识到的要大。
他还讲了一个自己都觉得好笑的细节。他在 YouTube 工作了将近九年,直到去年才知道 YouTube 上有 1970 年代南加大(USC)的橄榄球比赛全场录像。这些内容在他入职的时候就已经在平台上了。
所以这里有一个巨大的机会:让更多人知道 YouTube 上到底有什么。(古德罗)
这个细节说的是另一件事。哪怕一个平台的推荐系统做得再好,它真正被用户发现的内容,也只是冰山一角。把冰山剩下的部分露出来,是搜索和推荐接下来最有价值的工作之一。
写在最后:给创作者的几个具体建议
这场访谈信息密度很高,普通创作者最能直接用上的部分其实散落在各处。整理一下:
- 标题和描述要把话说白。模型理解视频内容的能力还很粗糙,标题和描述是它最可靠的抓手。它们同样是用户在搜索结果里判断“这条是不是我要找的”的第一依据。有创意的标题很好,别把关键信息藏起来。
- 主动做切片,给小片段加上标题。你永远不知道别人会用什么关键词找到你的内容。一段 90 分钟的长视频,如果切成 20 个带标题的片段,你的被找到入口就多了 20 个。
- 把订阅按钮当成“告诉系统我对什么感兴趣”,别当成付费会员。它是免费的,它的作用是让推荐系统知道你的偏好。因为误解而放弃这个信号,可惜。
- 多用“不感兴趣”,少用默默划走。主动告诉系统你不想要什么,比无声离开有效得多。每一次明确的负反馈,都在让下一条推荐更准。
- 想休息就好好休息。“停更必然掉粉”是个迷思。回来变强和回来变弱的例子一样多,照顾好自己是第一优先级。做不出好内容的时候硬做,才是真正的损失。
- 别试图预测爆款,去思考被找到的路径。没人能预测哪条视频会火。能做的,是让内容有多条被找到的路径,然后等反馈来扩大圈子。
最后回到古德罗反复强调的那个点。推荐系统的核心落在数据上,落在人的行为上,落在几十亿人每天的选择叠加出来的路径上。你在 YouTube 上每一次点击、每一次点赞、每一次“不感兴趣”,都在改变那条属于你自己的向量,也在微妙地改变下一个人的推荐。
这个世界很难说是被算法支配的。它更像一张由所有人的选择共同画出来的地图,算法只是那个帮你在地图上找路的人。
本集资源与出处
- 视频在 YouTube 收看
- 音频官方 MP3 直链来自 lexfridman.com 官方播客 RSS
- 官网Lex Fridman 官网本集页面
- 文稿HappyScribe 版文稿