
RefTrail 发布:为 AI 代码代理提供零信任验证与洁净室规格
来源标题:RefTrail – Zero-trust verification and clean-room specs for AI agents
RefTrail 推出了一套面向 AI 代码代理的零信任验证工具,要求先冻结验收标准再写代码,并逐项报告哪些需求已被验证、证据边界在哪。其 Line Runs 工具复现了 GNU uniq 的四种 stdin/stdout 模式,验收用例全部通过,功能覆盖率达 100%,1/1 强制检查通过。工具仅需 Node.js 22.16 及以上版本,无需额外依赖。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
从文档化的行为出发,构建一个独立的实现。在开始编码之前先设定验收标准,然后展示哪些工作流通过了、证据到何处为止。
一个编码 agent 会在几分钟内报告功能已完成。RefTrail 让这份报告可以被核查。每项需求都有来源和可衡量的结果,标准在产品代码第一行写下之前就已冻结,最终报告会说明证明了什么、由哪项检查证明,以及还有什么仍未解决。
这些工具需要 Node.js 22.16 或更新版本,不需要其他包。
Line Runs 复现 GNU uniq 的四种 stdin/stdout 模式。给定 bolt、bolt、nut、bolt 作为连续四行,其计数模式会返回三组,分别为 2、1 和 1。从仓库根目录运行验收用例: node showcase/uniq/verify.mjs node tools/catalog.mjs report showcase/uniq/COVERAGE.csv --gates G01
第一条命令会对照冻结的预期重放验收用例。第二条命令根据 catalog 计算结果:100% 功能覆盖率,1/1 强制检查通过。要在你自己的机器上比较这两个程序,请单独安装 GNU Coreutils,并在第一条命令后追加 --reference。
每一组记录的输出比较都与 GNU uniq 逐字节一致:在 Linux 上使用版本 9.4,第一版标准为 16/16;第二版则在 Windows 上使用版本 8.32 为 16/16,在 Linux 上使用版本 9.4 为 16/16。第二版增加了一项安静停止:当读取方提前关闭输出时触发。它在程序改动之前就已冻结,两个程序在两个系统上的 2/2 提前退出检查均通过。这些检查覆盖终止和 stderr,不覆盖输出字节。全部四项本地无效输入检查均通过。另一位审查者在全部四种模式下又测试了 40 个输入。请检查编码前固定的标准、可运行程序、已填写的 catalog、包含计时和成本状态以及交付决定的报告。
打开英文 agent brief。提供产品和其官方网站。如果你知道,请补充所需的版本、工作流、限制和预算。
将填写好的 brief 交给目标目录中的编码 agent。仅凭这两项输入,首次运行覆盖一个平台上的一条有边界的端到端工作流,时限为 60 分钟。更大的产品目标仍保留在 backlog 中可见。
记录每项需求、来源和可衡量的结果。在实现之前冻结标准,并独立保留摘要。将进度和证据保存在覆盖率 catalog 中。brief 会为这些步骤运行工具,因此请保留一份已下载的此仓库副本,放在你的 agent 可以读取的位置,或者将 tools 文件夹复制到你的项目中。
通过其真实界面运行完成的工作流。报告加权功能覆盖率,同时报告已通过的强制检查、未解决的关键缺陷和交付决定。catalog 工具会一起打印前两项。缺少强制备份即便在 100% 加权覆盖率下也可能阻止验收。
RefTrail 留给你的事 对参考实现的访问。RefTrail 组织你被允许观察的内容。它不分析或打开产品。 顺序的证明。摘要表明标准没有改变。它们存在于代码之前,这一点取决于你把摘要保存在哪里。请使用实现者无法改写的位置,例如已推送的提交或发给请求者的消息。 结果的范围。通过的 catalog 覆盖已测试系统上的所列用例。要与整个参考产品等价,还需要更多用例。 法律审查。以下说明仅为一般信息。
与 REA 合作 REA 可以帮助 agent 调查关于可访问应用程序、包或可执行文件的特定问题。RefTrail 可以将经过授权、可复现的 REA 发现作为观察结果使用:记录目标版本、过程、证据和限制。然后针对该观察结果测试独立实现。用你自己的话转述观察到的行为,并让反编译代码远离编写实现的 agent。随附示例直接使用 GNU CLI。REA 项目
核心方法由 brief、覆盖率 catalog 和标准基线组成。当你希望将已测试的来源绑定到交付物时,技术示例适用。集成运行器会冻结被检查的树、重新运行测试,并从该副本验证 showcase,然后打包候选及其许可证。对于可安装的 Windows 产品,请使用目标系统验收指南。 node --test "tests/*.test.mjs" node integration/verify.mjs
直接测试套件使用环境临时目录。打包运行器使用单独的临时目录运行其源测试。GitHub workflow 会执行两者,并包含 Windows 路径别名检查。npm test 也会运行直接测试套件。
使用你有权访问的来源和账户。检查你计划复用的每个来源和文件的条款。许可证或试用协议可能限制仅凭版权法本来允许的使用。用你自己的话描述所需行为,并创建你自己的屏幕布局、文本、图标和美术作品。给结果起一个自己的名字。
在欧盟,程序的功能、其编程语言及其数据文件格式不受计算机程序版权保护。被许可的用户可以在许可证允许的范围内使用程序时观察、研究并测试其工作方式。从手册中复制文本仍可能构成侵权。CJEU,C-406/10 原创 GUI 可以符合版权保护条件。CJEU,C-393/09,第 44–51 段 反编译程序仅在互操作性等狭窄情况下被允许,且其结果不得用于构建在表达上实质相似的程序。Directive 2009/24/EC,第 6 条 记录任何必要接口标识符和单独许可材料的依据。商标法、反不正当竞争法、商业秘密法和合同法分别适用。这些说明仅为一般信息,不构成法律建议。在发布或销售具体项目之前,请先进行审查。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。