返回资讯中心
外部精选
软件工程
#开发者实时流

Agentope 推出工具,上线前评估智能体决策点

来源标题:Agentope – evaluate decision points in agents before go-live

Agentope 提供了一套命令行工具,可基于已有对话记录评估智能体决策逻辑的改动是否真正有益。它通过检查日志中的倾向性数据确定证据等级,用 SNIPS 等方法估算目标策略的实际效果并给出置信区间。示例运行中,目标策略的评估结果优于当前策略,判定为可上线。

Hacker News 最新maxpagels2026/11/16 · 昨天5 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

判断对 agent 决策方式的改动是否真能帮到用户,用你已有的对话数据就能得出结论。再加上探索机制,拿到最强证据。 $ uv add "agentope[llm]" 1看看有哪些可能 $ agentope check --traces traces.otlp.json.gztool_choice · 在 traces.otlp.json.gz 中找到 12,000 个决策 Level 1 已记录 ✗ 没有记录倾向值 Level 2 已采样 ✓ 已存输入:12,000/12,000 Level 3 已估计 ✓ 上下文有 3 个特征:customer_tier、has_order_number、intent 当前可用:Level 2$ agentope import --traces traces.otlp.json.gz -o decisions.jsonltraces.otlp.json.gz · 12,000 条 trace · 45,351 个 span 选取了 9,351 个来自 execute_tool span · 2,649 个 none(没有工具调用)已写入 decisions.jsonl$ agentope sample decisions.jsonl -o samples.jsonl --n 64 --yessampled 12,000 个(决策, 策略)对 → samples.jsonl$ agentope eval decisions.jsonl --samples samples.jsonl --outcomes helpdesk.csv \ --horizon 3d --target policies.py:lookup_when_order_numberEvidence level L2 Sampled (N=64, α=0.5)Logging policy 0.637 实际平均结果Target policy 0.711 SNIPS (IPS 0.755)Difference +0.074 95% CI [+0.058, +0.090]Verdict ok 以上是模拟 traces 上一次真实运行的片段。该规则本可以多解决 +0.074 个工单(95% 置信区间:+0.058 到 +0.090);由于是模拟的,真实效应已知为 +0.080。 只改动 agent 的某一个决策,之后的环节都保持原样。 暂时还不适合:全新的 agent同时做多处改动自由文本回答质量 这取决于你的 traces 里有什么,而记录得越多,能爬到的层级就越高。agentope 总是使用你手上最强的证据,并说明用的是哪一级。 假设:没有重要遗漏。无法检查,因此需要你主动选择加入。 假设:模型的行为与当时一致。agentope 会检查。 在 trace 上记录少量探索 假设:只需要硬币抛掷的结果被记录下来。 OpenTelemetry OpenInference Arize Phoenix Langfuse 通过 OpenAI 兼容 API 向模型发问 文档会带着示例一步步走完整个流程,包括探索,并对比同一 agent 上各个证据层级分别能给出什么结果。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →