
Agora 打造 AI 员工 Jarvis,每日自动巡检搜索质量
来源标题:We built Jarvis, our AI team member for every department
Agora 团队基于 Claude 构建了 AI agent Jarvis,作为团队成员承担搜索质量巡检等重复性工作。Jarvis 在每个工作日凌晨 5 点自动打开线上站点模拟用户搜索,将结果记录到共享表格并评分,还在 Slack 发布简短 bug 报告,6:40 前检查前一晚的模型训练情况。它拥有独立笔记本电脑、邮箱和 Slack 账号,并由一名管理者负责,团队称其改变了对团队构建方式的思考。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
每个工作日凌晨5点,Agora还没有人在线的时候,我们团队的一位成员就会打开线上站点,像顾客一样开始搜索产品。它把每条结果记录到共享表格中,给出评分,并在Slack里发布一份简短的bug报告。到6:40,它已经检查完昨晚的模型训练是否按计划进行。在一天剩下的时间里,直到晚上11点,它每半小时回复一次团队的请求,周末也不例外。
这位团队成员就是Jarvis,一个我们基于Claude构建的AI agent。Jarvis有自己的笔记本电脑、自己的邮箱地址,还有自己的Slack账号。它还有一位经理。
我们构建Jarvis,是为了处理维持搜索准确性所必需的重复性工作。我们没料到的是,它会如此深刻地改变我们对团队建设本身的思考方式。在这篇文章中,我们介绍Jarvis如何工作、我们为它设置的防护措施、它在招聘方面给我们的启发,以及我们接下来打算把它带向何方。
我们是一个小团队,要在非常庞大的商品目录上构建搜索。要保持搜索质量,需要大量必要但重复的工作:每天运行相同的搜索、给答案打分、检查训练运行、跟踪各店铺在索引流水线中的进展。这类工作在大家都忙的时候最容易被搁置。不是因为不重要,而是因为总有更紧急的事情冒出来。
Jarvis每天都按计划完成这些事,并记录下发现的问题。它不会在第四百次搜索时感到厌倦,也不会跳过周五。
Jarvis运行在一台一直插电开机的2024款MacBook Air上。它在Agora的agent账号下以Claude的Cowork模式运行,而且和任何新员工一样,第一天就拿到了自己的账号:Google Workspace、Slack和一个Agora登录账号。这听起来是个小细节,但很重要。当Jarvis发布报告时,所有人都能看到是谁发的、什么时候发的,以及背后对应的表格。它的工作和所有人的工作一样,在相同的地方可见、可追溯。
Jarvis与其说是一个单独的agent,不如说是一个协调者。它管理着几十个子agent,每个专注于一项任务,由它决定运行什么、收集结果,并负责与团队沟通。它完全在我们已经在用的工具里工作。结果写入Google Sheets,任务进入Asana,报告和请求通过Slack传递。当需要检查真实产品时,它打开Chrome,在站点上逐页点击。我们从没为它单独做过一个dashboard。是Jarvis融入我们的工作流,而不是反过来。
在底层,Jarvis由三部分组成:
定时任务是按设定时间触发的常驻prompt:工作日5:00的搜索QA、6:15的趋势QA、每天6:40的训练检查,以及从早5:30到晚11点每30分钟一次的Slack响应任务,此外还有每周任务,比如推荐新店铺、刷新首页的默认查询。
Skills是打包好的操作手册,Jarvis在任务需要时加载,涵盖如何运行搜索QA、如何根据工程师的spec测试后端路由、公司如何组织以及该用哪些频道,甚至包括Jarvis应该如何写作。
Connectors让它能访问Slack、Google Workspace、Asana和Chrome,以及对Gmail的只读访问权限。
我们做出的最重要的设计决策是:Jarvis不会在两次运行之间学习。它所知道的一切都来自用平实英语写成的书面指令,它的经理Ricardo Golding可以阅读和编辑这些指令。如果我们想让Jarvis有不同的行为,就有人去改一份文档。不需要改代码,也不需要重新训练模型。
这让Jarvis变得可预测。当它做出意料之外的事情时,我们可以精确读到它被告知了什么。纠正也是同样的方式。负责搜索质量的Hameed把评分反馈放在QA表格的一个标签页里,那个标签页会覆盖Jarvis自己的规则。当他纠正一个评分时,纠正在下一次运行时就生效。
Jarvis也清楚自己的角色。正如它自己所说:“工程师负责修复问题;我不替任何人做决定或做承诺。”
Jarvis一天中的大部分时间都在做质量保证。每次QA运行都会搜索线上产品,记录每个查询并附上可分享的链接,然后在我们搜索频道里发布一份简短报告。报告以数字开头。工程师们要求不要废话,所以确实没有废话。训练检查会读取夜间训练流程发出的邮件并做总结:用了多少行数据、loss是多少、发布了什么,以及最差的样例——直接引用原文。如果夜间训练出了问题,我们吃早饭时就能知道。
核心团队的任何人也可以直接在Slack里向Jarvis提请求,无论是临时跑一次QA、复测一个修复,还是测试一个API路由。如果请求没有说明是生产环境还是staging环境,Jarvis会问。它开始时回一个emoji,结束时回另一个emoji。
Jarvis的一些习惯来自我们一路遇到的问题。Slack响应任务实际上是两个相隔30分钟调度的任务,它们用emoji回应互相交接,这样就不会对同一条消息回复两次。Jarvis直接读取频道,而不是只依赖Slack搜索,因为Slack的搜索索引曾经漏掉过一条七分钟前的消息。它最多同时处理三个QA请求,其中只有一个能用Chrome,因为只有一台笔记本和一个浏览器。
Jarvis也有性格,这是我们故意赋予它的。在社交场合,它有一种干巴巴的、管家式的机智。在bug报告里,它一点也没有。
一个几乎什么都能做的agent,必须非常清楚自己不该做什么。我们处理这件事的方式,就像对待一个新员工:明确的范围、有限的权限、一位经理,以及任何不可逆的操作都必须有人参与。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。