返回资讯中心
外部精选
软件工程
#开发者实时流

Klaviyo 通过放手让分析工具规模化服务数百名员工

来源标题:Klaviyo scaled analytics by getting out of the way

Klaviyo 在 12 个月内将其分析工具从数据科学团队专用扩展到每月服务数百名员工。该工具通过 AI harness 管理数据读取与权限,并由数据团队和领域负责人共同治理,使小团队无需增加人手即可服务全公司。

Hacker News 最新tremdog2026/11/4 · 13 天前23 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

人工智能 分析 KBI Agentic Klaviyo 如何通过“放手”实现分析规模化 Will Tremml 8 分钟阅读· 刚刚

关于 Klaviyo 分析 harness 系列文章的第一篇。 过去 12 个月里,Klaviyo 将其分析 harness 从一个专供数据科学和分析工程团队使用的专用工具,扩展为每月服务数百名员工的系统。本系列将详细讲述我们如何将其推广到每一个组织职能,为非技术员工建立强有力的治理机制,同时仍然满足高级用户的需求。 Harness 是围绕 AI 模型的一切——它读取什么、被允许触碰什么、它的工作必须通过哪些检查——正是这些让模型的答案值得信赖。我们的内部数据高度复杂,涉及混合计费结构、近十款付费产品、数百个页面和数千项功能。 对于像我们这样的小团队来说,agent 是唯一能够在不增加人力层级的情况下规模化服务数千名员工的方式。 左图:消费者排队等待少数分析师执行分析或数据工作。右图:多个入口通向一个由数据团队和领域负责人治理的 AI harness。 我们的目标是让公司专注于“什么决策对客户最有利,从而对我们自己最有利”,消除关于数据是否正确的争论。即便是数字上微不足道的差异也可能让整个讨论偏离正轨,而失控的 agent 会放大这一风险。所谓失控,指的是任何拥有数仓访问权限却不受护栏约束的 agent。失控的 agent 会自信地给出答案,两个人问同一个问题会得到两个不同的数字。 其他人也写过关于内部数据 agent 的文章。Ramp Research 展示了由领域负责人撰写 agent 所阅读的文档,以及问题量的上升。OpenAI 描述了全公司范围内使用的内部数据 agent。Anthropic 关于自助式分析的文章是与 KBI 最接近的类比。 Klaviyo 处于 AI 应用的前沿,我们与这些公司合作,分享哪些做法有效、哪些无效。 KBI(Klaviyo Business Intelligence)是我们的 harness,它编码了规则集、知识和技能——让任何员工都能回答关于我们产品的问题。最初的 4 人团队将 27 年的机构知识编码进系统。在 KBI 之前,这些知识大多存在于人们的头脑、旧的聊天记录或无人维护的 confluence 文档中。 我们想向其他构建类似工具的人强调几个主题: 一年前,不到 10% 的数仓查询来自 agent。今天,大多数数仓查询来自 agent,大约一半查询我们数仓的人通过 KBI 来完成。因为 agent 降低了准入门槛,数据消费者比以往任何时候都多。 KBI 最初只是一个简单的 MCP 仓库(MCP 是让 AI 助手使用其他工具的标准插件),目的是让 agent 能够访问我们的数据系统以完成更多工作。它主要是一些基础设施:安装脚本、连接数仓和其他工具的连接器,以及不断增长的定制 agent 名单。这套方案勉强可用,但技术水平足以使用这套配置的人早已有了自己的定制配置。它还需要数小时来安装、多次访问申请,而且对每台电脑的本地环境都很脆弱。 我们很快发现,agent 了解我们的 schema,但对我们的业务几乎一无所知。它们会执行大量搜索,只是为了收集足够的基础问题上下文。它允许 agent 驱动的 SQL,但只对已经在写 SQL 的人有用。 今年年初,我们加入了上下文和治理,使用户能够通过 agent 自主扩展其工作范围,超越自身的领域。 最初的迁移将 Confluence 中的所有文档、数据字典以及其他工具(如 dbt)中的描述提取为精炼的 markdown 文件。我们考虑过更复杂的方法,比如 RAG 或 ContextDB,但简单更好——尤其是在开发团队规模小的情况下。效果出奇地好,人们可以开始探索其专业领域之外的产品区域的数据。 此后不久,我们添加了注意事项注册表:一个简单的结构化文件,记录已知的数据“陷阱”或注释,描述业务中的某些变化(如定价调整)会如何体现在数据中。这些注意事项通过代码内规则注入运行时,而不是依赖 agent 在查询指南中自行发现。 指南和注意事项是我们所称知识层的核心。目前有 40 多个指南,注意事项注册表自首次引入以来增长了十倍以上。这些内容可移植、易于编辑,并自动传播给使用该系统的所有人。接下来的两篇文章将介绍 agent 如何高效加载上下文,以及谁来编写上下文。 我们的团队审查知识层的变更并负责护栏:在 agent 的 SQL 到达数仓之前对其进行检查。 KBI 的大部分使用都通过一个技能(保存好的分步工作流)来运行。“/data”是任何数据问题的唯一入口:你用自然语言提问,它决定如何回答。 免费加入 Medium,获取这位作者的更新。 你可以看到今年早些时候我们添加知识层后使用量出现的拐点,因为它让技术员工能够轻松处理其专业领域之外的数据。 阶段 3:面向所有人开放 随着用户增多,让所有人保持同一版本成为一大挑战。此外,更聪明的 agent 使人们更容易“绕过”我们有意设置的围墙。随着人们大量定制本地配置,共享上下文层的效果逐渐降低。 我们需要一个具有更强访问控制和最少本地配置的托管解决方案,这将把使用范围扩展到那些主要技术接触点类似于 Claude Cowork 的团队。他们不需要与本地环境配置较劲,也不再需要问“什么是 git?”。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →