
Klaviyo分享分析工具KBI经验:用代码和访问控制取代文字规则约束AI代理
来源标题:The Harness: Deterministic Systems
Klaviyo在其分析工具KBI的实践中发现,写给模型的文字规则只是建议,真正重要的规则应放在代码、钩子和访问控制中,让AI代理无法绕过。团队还改用级联披露模式,让不同工作目录拥有各自的上下文文件,取代此前不断堆叠Claude.md段落的做法。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
人工智能 数据工程 Agentic 深入 Harness:确定性系统 Will Tremml 6 分钟阅读· 1 小时前
这是关于 Klaviyo 分析 harness 系列文章的第二篇。 最初,书面指令是 Klaviyo 分析 harness(KBI,即 Klaviyo Business Intelligence)的主要防护栏。 写给模型的规则只是建议。如果某条规则真的重要,它就应该落实在代码、钩子和访问控制中,让 agent 无法绕过。 和大多数团队一样,我们希望提供更多上下文,以扩展 KBI 能自主执行的范围。然而,harness 的每一处缺陷都变成了 Claude.md 文件里新增的一段话。于是,每一段都在争夺 agent 的注意力,上下文也随之腐化。这不是可持续的解决方案。 于是我们转向了级联披露模型:工作目录(例如 /analysis)拥有自己的级联上下文,就像 agent 可以随手取用的工具带。从 Claude.md 开始,在 /analysis 中做分析,阅读 Analytical_Foundations.md,阅读你正在调查的产品领域的 Query Guide,然后执行实际工作。 级联披露仍然是我们发现的、在简单的基于 MD 的系统中处理海量上下文的唯一方法。这也是我们会推荐给其他所有构建自有 harness 的团队的做法。我们给 harness 的上下文增加了数千行,但由于我们的路由规则,一次会话加载的上下文只增长了约 10%——这可能会让人感到意外。 一次 KBI 会话初始估计需要 30k token:根文件、40 多条规则,以及每个技能和 agent 各一行。我们还通过将 token 上限作为确定性 CI 检查的一部分,对文档的上下文数量实施严格限制。 这是一种优雅的上下文提供方案,但它并没有解决模型实际如何响应信息的问题。我们观察到,写给 agent 的规则只是建议,仅此而已。 最清楚的证据来自早期的一次路由规则实现。它告诉模型用更便宜的 subagent 执行广泛搜索,而不是在主对话中运行这些搜索。这是一条简短、简单的规则,每次会话都会加载。在该规则生效期间,它只在不到 1% 的工具调用中产生了预期行为。 确定性代码有助于让 agent 回到正轨。现在有两个 PreToolUse 钩子在每次工具调用运行前进行检查。如果主线程使用昂贵的通用 agent 启动 fan-out 搜索或“定位”任务,钩子会以退出码 2 退出,从而阻止该调用并告诉模型原因。 我们看到一组有助于控制模型行为的功能阶梯: 需要明确的是,目标并不是把所有事情都推到第 5 级。散文式规则适合承载判断——比如 agent 何时应该提出澄清性问题。一条规则落在阶梯的哪一级,应该与出错代价成正比。偏差越关键,你就越需要往阶梯下方添加控制。 免费加入 Medium,获取这位作者的更新。 对我们来说,每个数据问题都会交给 /data 技能处理。简单的指标问题使用受治理的确定性链。它的九个步骤不进行任何 LLM 调用;当这条链不确定你指的是哪个指标时,它会询问你。 这条链之所以有效,是因为它的指标定义很少且固定。语义层承诺的也是同样的事情,所以自然的下一步就是把所有事情都路由到那里:一个语义层。 业界有很多关于语义层在 Agentic Analytics 中处理确定性的讨论。这是一个完美的解决方案,但前提是问题要求的正好是定义中编码的内容。它提供一个编译后的定义,并在数据未定义时给出明确的错误。 对某些业务职能来说,这没问题,因为该职能可能只使用一小组受治理/审计的指标。这对 Finance 等角色至关重要,因为他们每次都需要精确、受治理的答案。 语义层值得构建,但 agent 通常需要的东西超出了它们目前能提供的范围。Klaviyo 早在 KBI 存在之前就投资了 dbt Semantic Layer,我们甚至与他们的产品团队合作过。它包含数十个语义模型和数百个指标。 我们尝试了市面上几乎所有的 Semantic Layer;dbt 的最适合我们。但对于探索性工作来说,它仍然过于僵化——尤其是在一个有数千张表的仓库中! 就实际使用而言,即使是我们“开发良好”的语义层,也只覆盖了仓库模型不到 2%。由于 dbt 僵化的拓扑结构,agent 大多会绕开它。语义层中的定义保留给最关键的业务指标,因为这是让 agent 100% 的时间都能 100% 正确获取数据的唯一方法。这也带来了额外的成本:每个定义都需要跨职能对齐和人工审查。 我们的做法是保持这一层不受污染。 混合方法仍然有价值:Semantic Layer + context。对于 LLM 来说,从 Semantic Layer 指标级联到自由形式查询要容易得多。语义层提供查询的主干(例如,“Revenue 的受治理定义是什么样?”),而 context + LLM 可以完成其余部分(例如,“每个活跃 Email sender 的 Revenue”)。 至少目前,还没有任何一种格式能容纳 agent 需要了解的关于一个指标的所有信息。 Concierge 处理风险的方式与本地部署的 harness 不同,因为任何员工都可以访问它。我们没有运行 Python 防护栏,而是通过 RBAC 限制 agent 可以直接触及的范围。默认情况下,它的 SQL 会经过托管的 MCP gateway,到达一个只读角色,该角色只能看到“Walled Garden”:我们最精编的表。测试账户和个人列会在花园的视图中被过滤掉。这使我们能够将数据访问扩展到组织中通常数据可访问性受限的部分。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。