
WisdomAI 谈其技术优势:靠 Harness、上下文与模型协同设计
来源标题:Importance of Harness, Context and Model co-design
WisdomAI 表示其技术优势并非来自单一微调模型或自研强化学习循环,而是靠上下文层、聊天代理与展示层各层的协同设计。文章以 DeepSeek 围绕硬件设计模型架构与训练框架、苹果软硬件一体、Netflix 自控编码与 CDN 为例,说明各层协同设计能带来更高效率。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
关于 WisdomAI,我被问得最多的问题,是这项技术背后的“秘密武器”究竟是什么。是微调过的模型?还是自定义的强化学习(RL)循环?
事实上,答案是一系列优化,而这些优化之所以可能,是因为我们对技术栈的每一层都做了协同设计,让它们作为一个产品整体协同运作:上下文层(Context Layer)、聊天智能体(Chat Agent),以及由 Live Apps 和 Agents 组成的呈现层(Presentation Layer)。
为什么 DeepSeek 能以远低于预期的训练成本达到前沿水平的性能?因为它的模型架构和训练框架都是围绕手头可用的硬件来设计的(例如 FP8 训练、自定义通信 kernel)。
为什么 Apple 的产品如此无缝?因为 Apple 把硬件和软件放在一起打造。
为什么 Netflix 能以更低的带宽流式传输高质量视频?因为它同时掌控编码、自有 CDN(Open Connect)和客户端播放器。
每一个案例的答案都是:这些公司能够对技术栈的各个层进行协同设计,从而交付最高效的解决方案。
在本文中,我们将考察一些关键案例,说明这种协同设计如何让 WisdomAI 的表现显著优于将上下文层、harness 层和消费层分开设计和构建的系统。
学习循环是 WisdomAI 从用户交互中提取相关上下文的机制,对准确性和延迟都至关重要。在许多情况下,学习循环能在没有任何显式人工输入的前提下大幅提升准确性(例如从约 45–50% 提升到约 85–95%)。
数据团队希望对自己的上下文拥有控制权。然而在实践中,逐一审核每一处变更会让人疲惫不堪,待办事项无人处理,系统最终只能得到极少的用户信号可供学习。所以我们构建了一个学习循环,从人们实际使用产品的方式中学习,并由上下文管理者决定何时开启它——这与 Google Search 相当一部分的准确性提升来自隐式点击是一个道理。
这些优化(harness 如何把上下文写回、如何即时检查冲突、如何从产品内的隐式交互中学习)之所以有效,正是因为上下文层和 harness 是协同设计的。此外,学习不仅通过聊天界面中的隐式信号发生,也通过用户创建 LiveApps 或与之交互的过程发生。
同样,为了加快响应速度,WisdomAI 维护了一个过往查询和用户交互的索引。当有新问题提出时,系统不会从零重新生成完整回答,而是复用此前相似查询中的大量工作。因此,思考和输出 token 的使用效率要高得多。举例来说,假设过去的查询是“过去 90 天哪些产品品类带来了最多收入?”,而新查询是“过去 30 天哪些产品品类带来的收入最多,按地区分?”。第二个查询可以复用第一个查询的结果,只需对回答做少量修改。
我们把索引和检索工具放在一起设计,二者直接相互塑造。在运行内部评估时,我们对系统做端到端优化。在最近的一篇博客文章中,我们描述了如何用 Claude Code harness 对 WisdomAI 所用上下文的同一份导出进行评估,结果 WisdomAI 快了 3 倍、成本低了 3.4 倍。
这种方法背后的一个关键理念是:在设计检索工具时,我们始终可以追问上下文的最佳表示方式是什么。与许多只依赖文件系统接口(例如 OKF 或 OSI)的系统不同,我们为上下文额外构建了自定义的内部 embedding 索引。与任何搜索系统一样,聚合来自 harness 的排序信号(例如哪些条目被使用得最频繁)能让我们更准确。
举例来说,假设我们观察到,用户查询“Revenue for Acme”在针对“Company”列中的“Acme Corporation”运行时得不到有效结果,而针对“Customer”列中的“Acme Corp”运行时则能得到结果。于是,在值检索过程中,“Customer”列中的“Acme Corp”会获得排序加权。这为聊天智能体省去了多次重试,或者在最坏情况下避免了错误回答。
最后,即便你的用例保持不变,上下文也不会一成不变。随着数据、业务定义和用例的演进,它会逐渐退化。正如 Anthropic 在其内部分析实践中发现的:“我们看到离线准确性从发布时的约 95% 在一个月内漂移到约 65%,之后我们才把它当作一个工程问题来处理。”
对 harness 和上下文引擎进行协同设计的一大好处是,harness 可以参与到上下文管理循环中。harness 对上下文健康度的关键贡献是评估循环。当上下文健康智能体发现上下文中可能存在错误或冲突时,判断所建议的修复是否合理的一个有效方法,是针对该变更触发一次有针对性的评估循环。
理想情况下,人们会拥有一个大型评估集,其中包含人工标注的基准真值回答;然而,任何尝试构建内部智能体的人都知道这在实践中多么困难。在我们的场景中,我们会在挑选出的相关历史用户会话上重新运行 harness,并用我们的 session grader 与先前的回答做 A/B 对比。如果 session grader 更青睐用新上下文产生的回答,就说明这些修复总体上改善了上下文健康度。
session grader 本身值得单独讨论,但概括来说,它的目标是通过检查一次聊天会话来评估用户的体验。例如,一个空回答或不完整的回答——而用户显然期待更多内容——会比完整的回答得分更低。同样,用户在会话中不得不尝试多次提示才获得答案的情况,会比一次就得到答案的情况评分更低。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。