
开发者构建人在回路Slackbot代理参考应用
来源标题:Building a human-in-the-loop Slackbot agent
开发者发布了一个人在回路Slackbot代理的演示与参考应用,由代码和Claude处理简单案例,其余交由人工审核。该应用模拟通过Stripe Connect向卖家付款的市场平台,每笔付款前会对照美国财政部OFAC制裁名单筛查卖家名称,并将付款分为三个层级。作者称这是演示项目,不构成法律或合规建议。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
构建人在环路的 Slackbot 代理:demo 与参考应用。代码和 Claude 处理简单情况,其余由人来审核。
我在生产环境里构建过人在环路的代理,一路上踩过各种坑。常见的包括服务宕机、token 超限,以及 LLM 输出格式错误。
这类系统的目标是让模型接管底层的判断工作,人只需要审批有风险的部分。难就难在,当系统的任何一个环节都可能出错时,如何保证这套机制仍然安全。为了展示我的做法,我写了一个可以参考阅读的参考应用:maysco-demo-agent。另外还有一个视频讲解。
这个应用是一个 marketplace,通过测试模式下的 Stripe Connect 给卖家付款。每次打款前,它会把卖家的名称与美国财政部的 OFAC 制裁名单进行比对:这份名单上是美国企业被禁止付款的恐怖分子、毒贩、受制裁官员和幌子公司。每一笔打款都会落入以下 3 个层级之一:
这是 demo,不构成法律或合规建议。卖家名称是虚构的,下文中的每一个近似匹配都对应我添加到真实制裁名单副本中的 3 条虚构条目之一。
应用运行在 AWS Lambda、SQS 和 Postgres 上。它与 3 个第三方服务通信:Stripe、Slack 和 Claude API。所有基础设施都定义在一个文件里:sst.config.ts。
所有状态都保存在 Postgres 中。只有 worker Lambda 会读取队列、调用 Claude,或在 Stripe 中转移资金。Slack Lambda 只负责验证点击并将其入队,因为 Slack 只给 3 秒的响应时间。
下面是一笔需要审核的打款,从买家的付款到给卖家的转账。
每一步都遵循同样的模式:读取消息,执行工作,然后在一个事务中保存新状态和下一步的消息。
一旦发生故障,有几件事必须始终成立。
应用会把卖家的法定名称与制裁名单上的每一条进行比对,并保留最高的相似度分数,一个 0 到 1 之间的数字。这个分数决定了由谁来做判断——代码、代理,还是人。
代码决定。Brindlecove Ceramics LLC 得分为 0.77,因此代码直接放行,没有调用模型。在 Stripe 的 webhook 到达后 4.6 秒,它就被标记为已付款。
代理决定。Copperline Marine Supply 与其中一条虚构条目 Vesserot Marine Supply 的比对得分为 0.85。模型以高置信度判定不匹配,因为这两个名称只共享“Marine Supply”这类通用词。这笔打款金额低于 $500,因此代理予以放行,此时距 webhook 到达过了 9.6 秒。在 Slack 中,它显示为一条日志记录:
人决定。Quillmark Traders LLC 与虚构的 Quillmark Trading House 的比对得分为 0.84。这一次,模型判定为可能匹配,因为独特词“Quillmark”同时出现在两个名称中。任何不是明确“不匹配”的结果都会交给人工,因此审核者收到了这张卡片:
规则就是普通的代码。一个函数 decide 将分数、模型结果和金额映射到一个层级:
export function decide(topScore: number, result: AssessmentResult, amount: number): Decision {
// ...
if (topScore >= THRESHOLDS.strong) {
return {
tier: "strong",
requiredApprovals: 2,
reason: Name score ${score} is a strong match,
};
if (result.kind === "failed") return review(The agent couldn't decide: ${result.reason});
if (topScore >= THRESHOLDS.review) return review(Name score ${score} needs a reviewer);
if (result.kind === "skipped") {
return {
tier: "clear",
requiredApprovals: 0,
reason: Top name score ${score} is below review,
};
const { verdict, confidence } = result.assessment;
if (verdict !== "no_match") return review(The agent flagged a ${verdict.replace("_", " ")});
if (confidence !== "high")
return review(The agent saw no match, but only with ${confidence} confidence);
if (amount > AGENT_CLEAR_LIMIT) {
return review(
The agent saw no match, but the amount is over its $${AGENT_CLEAR_LIMIT / 100} limit,
);
return {
tier: "agent_clear",
requiredApprovals: 0,
reason: The agent cleared it: no match, high confidence, within its $${AGENT_CLEAR_LIMIT / 100} limit,
};
正是这些检查的顺序,让各个层级值得信赖。分数达到 0.95 或更高时,函数会在查看模型结果之前就直接返回;而模型调用失败则一律交给审核者。
当普通代码遇到 bug 时,它会抛出错误。SQS 随后会重新投递该消息,在 5 次接收之后,消息会进入死信队列,在那里可以触发告警,让人找到它。
模型调用可能返回 HTTP 200,但结果依然不可用。输出可能因 token 限制被截断、被拒绝、不符合 schema,或者引用了模型从未见过的制裁条目。这些都不是我代码里的 bug,所以死信队列并不适合处理它们。我想要的是让人来看这笔打款。
因此,assess.ts 会在任何代码信任回复之前先检查它,首先看模型为什么停止:
// Check why the model stopped before reading what it said. if (response.stop_reason === "max_tokens") { return { kind: "failed", reason: "the model ran out of output tokens before it finished", retryable: false, call: call({ ...usage, outcome: "max_tokens" }), }; // ...
每种情况都会返回一个带类型的失败结果,并附上为审核者撰写的原因,decide 会将其发送给 1 位审核者。这也正是代码调用 messages.create 而不是 SDK 的 messages.parse 辅助方法的原因——后者在回复被截断时会抛出异常。
为了测试这一点,我把模型的输出上限设为 64 tokens,然后又跑了一笔 Quillmark 的打款。调用以 max_tokens 的 stop_reason 停止,审核者收到了这张卡片:
只有 API 不可用才会重试。其他任何失败都会直接交给人工,因为同样的 prompt 很可能会以同样的方式失败。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。