返回资讯中心
外部精选
软件工程
#开发者实时流

Dynobox 发布开源测试工具,用 CLI 和 MCP mock 测试编程智能体

来源标题:Show HN: Dynobox – Integration tests for agents using CLI and MCP mocks

Dynobox 是一款面向编程智能体和技能的开源测试运行器,可运行真实工作流,并针对工具调用、命令、文件和回答结果进行校验。它通过 npx dynobox init 初始化,支持 Claude Code、Codex、OpenCode 2.x、Pi、Cursor CLI 和 Google Antigravity CLI 1.1.14+ 等多种已认证的 harness,随后用 dynobox run 自动发现并执行 *.dyno.{mjs,js,ts,mts,yaml,yml} 场景文件。运行需 Node.js 22+。

Hacker News 最新bhkdotdev2026/11/19 · 今天15 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

面向 coding agent 和 skill 的开源测试运行器:跑真实工作流,采集证据,对工具、命令、文件和回答做断言。 快速开始 · 工作原理 · 文档 · Dashboard · Agent skills · 示例 需要 Node.js 22+,并安装、认证至少一个受支持的 harness,且它在 PATH 中可用:Claude Code(claude)、Codex(codex)、OpenCode 2.x(opencode)、Pi(pi)、Cursor CLI(cursor-agent)或 Google Antigravity CLI 1.1.14+(agy)。 npx dynobox@latest init # Claude Code(默认) npx dynobox@latest init --harness codex # OpenAI Codex npx dynobox@latest init --harness opencode # OpenCode npx dynobox@latest init --harness pi # Pi npx dynobox@latest init --harness cursor # Cursor CLI npx dynobox@latest init --harness antigravity # Google Antigravity CLI npx dynobox run 针对一个已安装并已认证的 harness 运行一条 init 命令,然后运行生成的 dyno。 dynobox init 会在 dynobox/example.dyno.mjs 中创建一个起始 dyno。 dynobox run 会发现在当前目录下的 *.dyno.{mjs,js,ts,mts,yaml,yml} 文件,并用配置好的 harness 运行其中的 scenario。 只运行你信任的 dyno。JavaScript 和 TypeScript 配置会被 import,setup 和 verification 命令会在你的机器上执行。临时工作目录会隔离各个 job 的文件,但它们不是安全沙箱;进程仍可按照自身权限访问宿主机。 一个 dyno 把 prompt、fixture setup、harness 和验收标准合在同一个 TypeScript、JavaScript 或 YAML 文件里。只包含当前环境中已安装并已认证的 harness:

package.dyno.yaml

name: package-script harnesses:

  • claude-code
  • codex
  • opencode
  • pi
  • cursor
  • antigravity scenarios:
  • name: detects the test script setup:
  • | cat > package.json <<'JSON' {"scripts":{"test":"vitest run"}} JSON prompt: >- Use cat package.json and tell me whether this project has a test script. assertions:
  • type: command.called executable: cat command: {args: [package.json]}
  • type: tool.notCalled tool: edit_file
  • type: artifact.contains path: package.json text: vitest run
  • type: finalMessage.contains text: test 运行这个测试: npx dynobox run package.dyno.yaml 同样的结构在 TypeScript 和 JavaScript 中通过(defineDyno、tool、command 等)也能用。参见 Config Authoring。 Dynobox 会在全新的临时工作目录中启动选定的 harness,记录可观察的行为,并针对采集到的证据评估每条 assertion。 检查失败时,输出会显示期望什么、实际观察到什么。 证据 示例检查 回答什么问题 Tools tool.called、tool.notCalled agent 是否使用或避开了某个工具? Commands command.called、command.notCalled 它是否执行了预期的 shell 命令? Files artifact.exists、artifact.contains、artifact.unchanged 它是否创建、修改或保留了正确的文件? Skills skill.referenced 它是否引用了要求的 skill 指令? Network* http.called、http.notCalled 感知代理的子进程是否调用了预期 endpoint? Response transcript.contains、finalMessage.contains 交互中是否包含必需的信息? Logic sequence.inOrder、anyOf 观察到的行为是否遵循了可接受的路径或顺序? Verification verify.command 完成的工作是否通过了自定义的可执行检查?
  • HTTP 采集只能观察到遵循 Dynobox 代理和 CA 设置的子进程流量。harness 原生的 web 工具以及使用独立网络栈的客户端可能采集不到。了解 HTTP 采集如何工作。 所有 matcher 和编写选项见 assertion reference。 在命令行覆盖已配置的 harness: npx dynobox run --harness claude-code npx dynobox run --harness codex npx dynobox run --harness opencode npx dynobox run --harness pi npx dynobox run --harness cursor npx dynobox run --harness antigravity npx dynobox run --harness claude-code,codex,opencode,pi,cursor,antigravity 重复每个 scenario 与 harness 的组合,以测量通过率: npx dynobox run
    --harness claude-code,codex,opencode,pi,cursor,antigravity
    --iterations 5 对每个 scenario,Dynobox 会并行运行选定的 harness 配置。同一 harness 配置的重复迭代仍然串行执行,当前 scenario 的所有 harness 都结束后才会开始下一个 scenario。 重复运行时会渲染紧凑的通过率行,例如 .FF..,同时保留失败迭代的证据以便诊断。 Dynobox 在本地运行,无需账号即可使用。开发时看终端输出,自动化时用 --reporter json,或者用 dynobox login 认证后加上 --save-run,把精简的运行摘要发布到 Dynobox dashboard。设置 DYNOBOX_UPLOAD_URL 可以把同样的 payload 发到你自己的 endpoint,而不发送 Dynobox 凭据。 保存的运行数据有长度上限,但不会做脱敏。它包含可获取的 Git 身份和 revision 元数据。所有 job 都可能包含编写好的 assertion 数据和匹配到的证据,例如请求的 endpoint URL、工具命令和 verification 输出。失败的 job 还可能包含命令或 harness 诊断信息。如果这些值不应被分享,请不要使用 --save-run。 Dynobox 更接近单元测试,而不是由模型打分的 eval。它用明确、可重复的 assertion 评估采集到的行为——工具调用、shell 命令、文件和 HTTP 请求。 与一次性脚本相比,Dynobox 提供归一化的 assertion、全新的临时工作目录、采集到的失败证据,以及用于衡量不稳定行为的迭代通过率。 Getting Started How It Works Config Authoring CLI Reference CI Integration Agent Skills Example dyno tests Packages Package Description dynobox 用于发现和运行 dyno 的 CLI 用于编写 dyno 的类型安全 helper Dynobox 是早期访问软件。CLI、SDK 和报告格式在 1.0 之前可能还会变化。 本地运行 monorepo 并提交改动,请参见 CONTRIBUTING.md。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →