
AJX 工具发布:从 AI 智能体视角测试产品易用性
来源标题:Show HN: AJX – Find out where AI agents get stuck using your product
AJX(Agent Journey Experience)是一款 CLI 和技能包,用于从 AI 智能体的视角测试产品使用体验,并输出改进建议以提升智能体的可用性。它通过外层循环控制内层智能体实际试用产品,支持 Claude、Codex、kiro-cli 等运行环境,以及 Docker、VM、本地等部署方式。用户将主页提示词复制到常用智能体中即可安装并触发 /ajx 技能。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
大家好,我是 HN 的读者。我做了一个工具叫 AJX(Agent Journey Experience)。它是一个 CLI 加一组 skill,你可以用它来测试:从 agent 的视角看,使用你的产品是什么体验。跑完之后,你会得到一份“asks”清单,这些建议能提升产品的 agent 可用性,让 agent 在用它完成任务时花更少的时间、token 和重试次数。怎么做到的?
它的工作原理是:外层循环(AJX 编排 skill + CLI)控制一个“内层循环”,也就是真正去尝试使用你产品的那个 agent。等内层循环结束后,外层循环再对它做分析。想试用的话,把主页上的 prompt 复制到你常用的 agent 里,它会安装好 skill 和 CLI。然后你触发 /ajx skill,给它一段 prompt 和一些简单的配置文本,剩下的它帮你搞定。
外层循环会按你选择的配置加载你指定的 harness(claude、codex、kiro-cli 等),环境与配置也由你决定(docker、VM、本地,是否带特定 skill、指定模型、运行次数等)。然后它把你的输入 prompt、相关链接,以及“完成定义”(也就是用这个产品做到什么算成功)交给 harness(内层循环)。比如用 vercel cli 的话,你可以把“用 vercel CLI 构建并部署一个简单的 hello world [链接]”作为 AJX 测试的 prompt。内层循环跑完后,外层循环会检查这次运行、日志和细节,并从这次运行中提取出需要的信息:重试次数、token 消耗、犯的错误、做过的假设等等,生成一份非常详细的报告,以及一份 asks 清单——如果把这些建议落实到产品上,那么未来用同样的 prompt 时,agent 的使用体验会更好。我把这叫做“Agent Journey eXperience”,它是“User Experience”在 agent 语境下的对应物——也就是记录 agent 在某个具体场景下第一次试用你产品时走过的旅程。
- 它在哪里走偏、犯了错?
- 要成功完成任务需要重试多少次?
- 花了多少时间?
- 用了多少 token?
输出里的 ASKS 清单: agent 希望产品有哪些功能或修复,才能避免未来再犯这些错误、或额外消耗时间和 token?举几个例子:
- CLI 缺少 --JSON,导致要解析大量不需要的代码
- CLI 缺少 doctor、help 别名之类的命令
- 文档与产品的实际行为不一致
- skill 把 agent 引向了错误的方向
- 产品执行过程中缺少反馈
- 对人类友好的 CLI 输出会打断 agent 的循环
- 还有很多其他情况。
为什么做这个? 我是 AWS 的创业公司解决方案架构师,之前写过《单元测试的艺术》,在代码质量、工程实践和持续交付方面做过很多工作。我做 AJX(ajx.dev)的起因是,我被安排为一个即将推出的 AWS 内部产品提供反馈,那个产品是给 agent 用的。团队想听潜在用户的意见,而我意识到,agent 就是新的潜在用户。
我想,如果我是产品负责人,我肯定很想知道和我的产品打交道是什么感觉(CLI、SDK、网站、文档等),而且 agent 用我的产品越费劲,愿意把 agent 指向它的人就越少,agent 也越不容易推荐它。另外我觉得,拥有“我的产品对 agent 友好”这样的“吹嘘资本”也是有用的。我甚至用 AJX 测了 AJX 本身,它发现了 CLI 的一堆问题(比如 ajx status 有时会返回错误的状态,ajx init --task 的行为和预期不一致,还有其他挺有意思的问题)。
我设想它可以作为 CI/CD 流程的一部分来用,循环运行,直到 AJX 返回“全部通过”且没有 ASKS。AJX 还很新,所以大概有很多粗糙的地方,但在一个 agent 优先的世界里,我认为这是朝着正确方向迈出的一步:从 agent 的视角看世界。
评论链接:https://news.ycombinator.com/item?id=50399373 点数:1
评论数:0
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。