返回资讯中心
外部精选
软件工程
#开发者实时流

研究团队构建可自我改进的推理技术栈

来源标题:Building an inference stack that improves itself

研究团队提出一种能自我改进的推理栈,通过区分无损优化(如调度、内存管理)与有损优化(如权重和KV缓存量化),在重复测试后由人工审核性能与质量权衡再决定是否合并。每次确认改进后,代理会在新基线上重新诊断瓶颈并继续优化。目前该运行尚无法支持对比结论,需要修正。

Hacker News 最新gmays2026/11/4 · 13 天前20 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

这次运行无法支撑对比,需要修正。 我们区分无损增益(例如保持模型输出的调度或内存管理改动)和有损增益(例如可能影响输出质量的权重或 KV-cache 量化)。有希望的结果会经过重复测试,然后由人工审查性能与质量的权衡,并决定合并哪些改动。 在一次成功后,循环会探索进一步的改进,同时继续测试其他服务策略,从而降低过早停留在局部最优的风险。子代理探索相互竞争的解释,当增益趋于平缓时,编排器重新审视备选方案,而每一次确认的改进都会触发新的诊断。对照组和消融实验检查先前的选择是否仍然有帮助,从而降低停留在局部最优的风险。 一旦候选方案满足确认标准,它就成为新的工作基线(原始基线仍然是整个活动总增益的参照)。然后,代理在新的服务限制下重复诊断,以重新检查瓶颈所在。 任何进一步的优化都会叠加在这个新基线之上,以创造更大的吞吐量增益。然而,两个独立测量的改进可能会竞争同一资源,因此组合候选方案需要对照组和消融实验来确定哪些改动对结果有贡献。 最终,当在一个方向上的重复实验不再产生可测量的增益时,编排器转向另一个假设。当活动达到截止时间或没有更多由迄今发现支持的实验时,活动结束。它保存最佳确认配置和任何未解决的问题,以便未来工作可以从中继续。 系统将决策与评估分离: 每个结果都为下一个决策提供信息,不成功的实验会完善或否定一个假设。有希望的实验会进入重复测试、正确性检查和生产形态的回放。确认的改进成为新的工作基线,并在新的服务限制下触发另一次诊断。共享内存将发现跨迭代和端点传递,而生产部署仍需人工审查。 Drafter 优化是 AutoResearch 中的一个专门阶段,专注于使 drafter 适应微调后的目标模型,并针对生产工作负载进行专门化。我们使用与服务实验相同的回放工具和延迟要求,来验证训练改进是否能转化为更高的吞吐量和接受长度。 我们将其视为一组设计决策:草稿架构、它从中学习的工作负载、训练轨迹如何生成,以及预测误差如何加权。对于每个目标,我们继承我们最佳已验证的配方,只改变由特定假设支持的决策。 可用的起点包括 MTP 头和草稿架构,例如 DFlash [4]、DFlash2 [5]、EAGLE [6] 和 DSpark [7]。 代理使用现有实验结果、已发表的证据和简短的服务检查来选择最强的受支持起点。它尽可能优先调整现有草稿,并固定检查点、配方和代码修订。 在 Gemma 端点上,现有的 DFlash2 drafter 比生产 MTP 头提供了约 17% 更高的服务接受长度,使其成为有希望的适配起点。进一步的训练使接受长度相对于该起始 drafter 又增加了 14%。因此,将生产 drafter 和起始 DFlash2 检查点保留为单独的基线,显示了有多少改进来自额外训练。 代理构建一个训练混合,反映工作负载的任务、提示和输出长度、语言、对话阶段、工具使用和结构化输出。公共数据集提供提示,其答案由固定目标重新生成,而合成对话填补覆盖空白。 困难的例子可以获得更多权重,难度由 drafter 预测目标输出的糟糕程度来衡量。低接受率识别具有挑战性的请求类型,而训练 rollout 中的拒绝点精确定位 drafter 与目标不一致的 token 序列。循环可以在训练期间调整数据源比例以解决这些弱点,同时保持广泛的工作负载覆盖。 代理使用 rollout 实验来测试从 drafter 自身的错误中学习是否能提高服务性能。当接受率在早期 token 位置下降或离线改进未能延续到服务中时,它可以改变训练示例的生成方式,同时保持训练目标固定。[8] 一组 GPU 运行 drafter 和目标模型,并收集接受和拒绝预测的示例。另一组在这些示例上训练,优先考虑目标拒绝 drafter 提议的位置。随着训练进展,生成工作进程频繁加载更新的检查点,以便后续示例反映 drafter 不断变化的行为。 系统记录每个样本由哪个检查点产生,而另一次 on-policy 训练过程需要新生成的 rollout。训练后,代理检查针对性的接受问题是否改善,然后使用共享回放工具测试有希望的检查点的吞吐量增益。 代理从最佳已验证的配方开始,并使用诊断来决定是改变目标、重新平衡其组件,还是在调查数据的同时保持固定。它比较训练损失与跨工作负载和 token 位置的接受率,如果损失改善但留出接受率没有改善,它会调查是改变训练数据还是调整损失强调哪些预测误差。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →