
Netflix 详解 AI Discover 背后的智能层设计
来源标题:Engineering AI Discover
Netflix 披露其 TV 应用新标签页 AI Discover 的技术架构,即一套调度 LLM 与推荐系统的智能层(agent harness)。用户选定主题(如「Quick Watches」)后,该层会生成匹配内容、推荐理由和可继续细化的子主题,实现从被动排序到可操控发现的转变。团队称设计核心是在电视端兼顾生成式 AI 的速度、可靠性与安全性。
以下正文由 AI 翻译自 Netflix TechBlog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
工程化 AI Discover
AI Discover 智能层背后的挑战与决策 作者:Varun Khaitan、Peng Ren、Gary Tang、Itay Teller、Atif Faheem、Nipun Kumar、Donnie DeBoer、Eduardo Lundgren、Matteo Rinaldi、Raghav Bakshi
我们最近推出了 AI Discover,这是我们 TV 应用中的一个新标签页,一小部分会员可以在这里尝试用新方式找到想看的内容。多年来,我们的推荐一直在后台运行,根据会员的观看历史推断他们可能喜欢什么。AI Discover 从这种无声的排序转向可操控的发现。会员选择一个主题,比如“快速观看”,就会得到一行匹配的影片,附上一条简短说明解释它们为何合适,还有几个更窄的主题可以继续尝试。从这里出发,他们可以继续缩小范围、探索新方向,或者调整所看到的内容。
构建 AI Discover 引出了一个许多团队都会感同身受的问题:如何在电视上借助生成式 AI 提供更好的会员体验,同时不牺牲速度、可靠性或安全性?我们的答案是新的智能层——AI Discover 背后的 agent harness。对于每个请求,它决定如何将 LLM 与我们的推荐系统结合起来。它建立在多年来对会员喜好的理解之上,也建立在我们近期将 LLM 应用于推荐和生成式体验的工作之上。这一层本身负责规划每个请求、跨这些系统执行、提供结果,并在离线环境中对其进行评估。
本文将介绍我们针对哪些挑战进行了设计,以及在此过程中做出的关键决策。
为什么需要智能层?
Netflix 的每个页面都将推荐与规则结合在一起。我们挑选会员可能喜欢的影片,而资格、成熟度和安全规则决定哪些内容可以出现。基于 LLM 构建的体验需要同样的规则,还需要代码来决定何时调用 LLM 以及如何处理其输出。这段代码被称为 agent harness,它是我们智能层的核心。
最简单的实现方式是把整个请求交给 LLM,让它挑选影片、撰写标签并决定下一步。然而,这会让本需要受控结果的地方依赖于概率性输出,因为 AI Discover 中的每一轮最终都会呈现在某人客厅的屏幕上。在我们的规模下,即使罕见的故障每天也会发生很多次。会员会看到每一次缓慢的调用、每一个不可用的影片或每一句偏离品牌调性的文案。七个挑战塑造了我们的设计:
- 将 LLM 融入并非为其设计的产品和架构。传统推荐器基于过去的行为对影片排序。LLM 能做更多:理解会员在要求什么,并规划如何回应。我们现有的体验会让其中大部分能力闲置。
- 让推荐有据可依。每一个选择都必须是来自我们不断变化的目录中的真实、可用的影片。检索和排序器与 LLM 协同工作,挑选符合会员品味和意图的影片。
- 应对缓慢且不可预测的 LLM。LLM 调用是系统中最慢、最昂贵的部分。尾部延迟可能飙升,输出也可能不是你想要的。因此我们有选择地使用 LLM,将其返回的内容视为不可信输入,并在任何内容上线前测试性能和质量。
- 适应快速变化的模型、工具和提示词。建模和工程解决方案不断演进,因此产品不能依赖任何单一的模型、工具或提示词。
- 为电视而构建。在电视上打字很困难,因此会员依赖遥控器,应用需要在各种差异巨大的硬件上对每一次按键立即响应。电视应用更新也很慢,因此变更必须在不发布应用版本的情况下上线。典型的电视请求在瞬间返回,而多步生成可能需要数秒。
- 在规模下守住安全和可靠性底线。即使 LLM 调用失败或产生糟糕结果,会员也总能得到一个页面。他们的选择和我们的内容标准在每次请求中都得到遵守,当出现故障时,结构化记录能说明原因。
- 从会员所说的内容以及我们已知的内容中学习。推荐一直从观看行为中学习。AI Discover 还让会员告诉我们他们想要什么,而这必须影响他们接下来看到的内容。
系统架构
当会员选择一个主题时,TV 应用将请求发送到 Page Server,后者为所有 Netflix 应用构建页面,并将请求异步交给智能层。从高层来看,这个新层有两个组件:一个 controller 和一个 executor。
controller 决定运行什么。它收集每个请求所需的上下文,包括一天中的时间等实时信号。然后它确定一个计划——可以是既有计划,也可以是由其 planner 起草的新计划——对其进行验证,并只从 Memory Hub(我们按会员存储记忆的存储库)中检索该计划所需的会员详情。这些详情可能包括由 MemberLLM(我们用于个性化推荐的自研语言模型)生成的会员品味摘要,或会员分享的反馈。我们稍后会进一步介绍 Memory Hub 和会员品味摘要。
计划是一个由已批准步骤组成的图,每个步骤运行一个 capability。capability 是一个有名称的工作单元,可以有多个版本,属于检索、排序、生成或打包等家族。它声明其输入和输出、可以查看的上下文以及失败时的处理方式。
capability 声明使计划可以被验证。在执行之前,controller 验证该图:每个步骤都已批准,每个输入都有生产者,没有循环,并且计划最终恰好产出一个页面。之后,controller 在结果被提供之前对其进行检查。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。