返回资讯中心
外部精选
企业动态
#模型发布#官方公告

JioStar首席架构师谈5亿用户规模的AI内容发现

来源标题:JioStar’s chief architect on AI discovery at 500M-user scale

JioStar首席架构师Vijay Seshadri分享了在5亿用户规模下落地AI内容发现的实践。他重点介绍了评估体系、防护机制与生产化经验,并提到一个小团队约八周内完成了该体验的构建与上线。

OpenAI2026/11/11 · 7 天前16 分钟阅读

以下正文由 AI 翻译自 OpenAI(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

JioStar首席架构师谈5亿用户规模下的AI内容发现

与JioStar首席架构师Vijay Seshadri的对话。 分享 是什么让你确信AI将从根本上改变人们发现内容的方式?是什么让你确信AI将从根本上改变人们发现内容的方式? 你是如何将这个想法转化为产品,并赶上一场大型板球赛事的? 在JioStar的规模下,哪些权衡影响了技术设计? 在生产环境中,一个有效的评估系统是什么样的? 一个小团队是如何在约八周内构建并上线这一体验的? 回顾过去,你会做哪些不同的选择? 当高管们从AI实验走向生产系统时,应该牢记什么? 是什么让你确信AI将从根本上改变人们发现内容的方式? 你是如何将这个想法转化为产品,并赶上一场大型板球赛事的? 在JioStar的规模下,哪些权衡影响了技术设计? 在生产环境中,一个有效的评估系统是什么样的? 一个小团队是如何在约八周内构建并上线这一体验的? 回顾过去,你会做哪些不同的选择? 当高管们从AI实验走向生产系统时,应该牢记什么? 我们的“高管职能”系列聚焦于通过AI推动转型的领导者视角。 JioStar运营着娱乐和体育直播平台,服务超过5亿消费者,并曾支持高达7250万同时在线体育直播观众。在这样的规模下,AI必须快速、可靠,并且能够投入生产。 借助OpenAI API,JioStar在JioHotstar中构建了一个对话式视频和板球数据发现助手。观众可以自然地说话来查找电影和节目、历史精彩片段、直播比赛瞬间或板球统计数据,结果通过可视化的对话体验呈现。 在新加坡举行的OpenAI高管峰会上,OpenAI东盟市场推广负责人Sidharth Sharma与JioStar首席架构师Vijay Seshadri进行了对话,讨论了如何在约八周内为超过15种语言构建这一体验,以及领导者将AI从演示推向生产时可以吸取的经验教训。 过去25年里,内容发现方式的演变非常有限。推荐是上一次重大变革。此后的大部分进展都是同一思路的迭代。 但选择看什么是一件非常个人化的事情。一个人可能会说:“我心情不好。给我看点能让我振作起来的东西。”即使这样简单的请求也包含很多细微差别。哪种难过?通常什么能让这个人振作起来?他们想要喜剧、治愈系内容,还是完全分散注意力的东西? 传统的推荐系统可能难以理解那一刻的需求。对话为观众提供了解释的方式。我们称之为语音-视觉界面。 我们在10月和11月开始梳理这个概念,而2月将有一场大型板球赛事。我们大约有两个月时间,面对两个截然不同的受众:娱乐观众和板球球迷。 娱乐观众可能会说:“现在是周五晚上——给我点惊喜”,或者在不记得片名的情况下描述一部电影。体育观众可能想要更具体的更新,比如击球手出局、连续六分球,或者某位球员得到特定分数的比赛。板球专家可能想要每一球的统计数据。 这些是非常不同的发现问题。我们在很短的时间内,将娱乐、体育瞬间和详细的板球统计数据整合到一个体验中,并支持多种语言。 很早的时候,我们就将问题定义为准确性、延迟和成本之间的三方权衡。每个工程决策都必须同时平衡这三者。 语音让这一点尤为重要。我们超过60%的用户使用语音而非文本:人们更愿意说出想看什么。响应仍然必须相关、快速,并且在规模上具有经济可行性。 我将其分为两部分:评估框架和验证层。在生产之前,评估框架应该推动提示词的变更。在生产中,反馈循环应该将客户行为和失败转化为新的评估用例。 这个飞轮可以自我放大,但要做到正确极其困难。 领域专家至关重要。对于体育统计评估,我们与体育杂志编辑等了解铁杆球迷可能问什么的人合作。你不能只靠一个提示词就开始;你需要用深厚的人类专业知识来为系统播种。 我们做对的一件事是团队。我们从一个由数据科学家和工程师组成的小团队开始,围绕一个清晰的问题陈述展开。OpenAI的前沿部署工程师与我们并肩工作,进一步确定我们必须做对的少数几件事。 首先是范围。语音或文本界面让用户几乎可以问任何问题,所以我们首先决定系统不应该回答什么。护栏优先。 对于评估,我们从一个种子数据集开始,并使用模型扩展出更多变体。我们创建了现在可以称为“制作者-检查者”的模式:一个模型帮助确定如何回答问题,另一个模型充当验证者——一个作为裁判的LLM——具有竞争性的目标。 这引出了另一个问题:谁来测试裁判?设计验证者本身就是一个评估问题。Codex帮助团队加速了生成评估用例和更新系统等工作,但更快的构建并没有消除判断和验证的必要性。 我会更早地投资于生产环境中模型效能的监控。 P99延迟等传统基础设施指标仍然重要,但还不够。你还需要监控生产中的模型效能。 首先,技术能做到的事情与企业内部的现实之间存在巨大差距。如果你的公司没有跟上每一个前沿模型的发布,你并不孤单。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →