返回资讯中心
外部精选
软件工程
#开发者实时流

Meta用AI智能体把ML新技术推广到全部广告排序模型

来源标题:How Meta Uses AI Agents to Scale ML Innovations Across Ads Ranking Models

Meta开发了AI智能体系统,用于将其广告推荐系统中验证有效的机器学习新技术快速推广到旗下众多架构各异的广告排序模型。由于各模型在架构、数据和训练服务约束上各不相同,技术通常无法直接复制,而新技术的价值窗口又有限,因此推广速度直接影响收益。该系统旨在加速技术在全模型矩阵中的落地。

Hacker News 最新gmays2026/11/19 · 今天30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Meta 的广告推荐系统由大量不同的广告排序模型支撑,每个模型服务于不同的产品场景和广告主目标,各自拥有独立的架构、训练数据和 serving 约束。

在这一模型组合中,ML 研究者和工程师持续通过我们称之为“技术”(technique)的创新来推进前沿水平。所谓技术,是指任何能让排序模型变得更好的东西,例如 Wukong 因子分解层、Interformer 交互网络等架构层面的改进,更丰富的数据表示,训练优化,或者训练与推理的效率提升。

然而,由于每个模型都有自己的架构、数据以及训练和 serving 约束,在某个模型上验证过的技术几乎从来无法直接复制到下一个模型上。与此同时,速度至关重要,因为 ML 技术是有保质期的。今天能带来收益的创新,可能在一两个模型开发周期内就会被取代。已验证的技术越快覆盖整个模型舰队,就能在下一代技术到来之前释放越多价值。

那么,我们如何尽可能快地将一项技术推广到多样化的模型舰队中,同时尽量减少工程人力和算力投入?

将不断增多的已验证技术推广到大量多样化模型上,会形成一个组合爆炸的技术-模型组合探索空间,其中工程人力和算力都成为显著约束。

适配一项技术的标准做法是由领域专家工程师手动完成适配。工程师需要研究一项技术如何与特定模型的架构交互,将其泛化,并针对该模型的约束进行调优。这种方式能产出最强的结果,目前仍用于我们收入最高的模型,但无法扩展到空间中的所有模型。每次适配都耗费大量精力,且要求对技术和目标模型都有深入理解。因此吞吐量受限于工程人力,而适配机会的增长速度却快得多。

推广的第二个约束是算力。每次适配尝试都需要一次训练运行,在算力预算有限的情况下,问题不仅在于尝试哪些技术,还在于如何在这个组合配置空间中导航,避免把预算花在那些大多只会带来次优收益的尝试上。

这两个约束指向同一个要求:要将技术快速推广到大量多样化模型,推广过程必须标准化、自动化,并具备做出判断的能力。

标准化和自动化处理确定性步骤,但成功且高效的推广仍然需要做出判断,例如哪项技术值得推广到哪个模型、超参数搜索应该多宽、为什么某个模型没有显示出收益、以及如何检测和解决失败。这些决策仍然需要大量人力,阻碍了我们进一步扩展,也阻碍了我们达到这样一种状态:所有技术在验证后几周内就能触达所有适用的模型。

我们的技术推广系统围绕三项能力构建:

如今,AI agent 通过接手判断密集、非确定性的决策制定,为上述所有能力提供超级增强,将深度智能引入系统。它们将基于 LLM 的推理与专门的 ML 工具相结合,来处理以下工作:决定尝试哪些适配、诊断失败原因并自动缓解、高效导航超参数搜索空间、以及管理数百个并发任务的容量。这些 agent 共享一个共同知识库——一个累积了先前训练运行、模型架构和技术结果的记录——因此它们能基于已经学到的东西继续前进,而不是从零开始。

发现(Discovery)回答两个问题:存在哪些已验证的技术,以及它们对模型舰队中每个模型的适用性如何?直到最近,领域专家在回答这两个问题,逐个模型进行评估。他们追踪整个组织的研究和成果,识别值得推广的技术,并依靠领域知识判断适用性。

Agent 不受领域专家那样的知识或工程人力限制。它们不依赖任何单个专家所知,而是利用共享知识库,并且一次性对整个模型舰队进行评估,而非逐个模型进行。它们系统地识别存在哪些已验证技术,估计其在模型舰队中的可迁移性,并产出按预期影响排序的优先技术列表。工程师现在只需审阅 agent 的评估,并据此做出决定。

泛化(Generalization)是重新实现一项已在某个模型上验证的技术的过程,使其适用于具有不同架构、特征表示、训练数据和 serving 约束的模型。核心思想通常可以迁移,但实现几乎从来不行。所需的定制程度取决于技术和目标模型,范围从重新调优超参数,到调整特征以适配目标模型已有的输入或调整架构规模以符合其推理预算,再到彻底重新设计该技术。判断给定模型需要什么以及要做到什么程度,是一项判断性决策。

取决于模型是基于标准化模板构建还是单独定制,泛化有两种形式,agent 对两者都提供协助:

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →