返回资讯中心
外部精选
软件工程
#社区热议

Claimseed 发布含植入错误与答案键的合成 Medicare 医疗账单文档集

来源标题:Show HN: Claimseed, synthetic Medicare docs with planted errors and answer keys

Claimseed 发布了一套完全合成的美国医疗账单样本文档,并附带标明植入错误位置的标准答案 JSON,供文档提取器和账单审查工具测试使用,无需接触真实个人医疗记录。标准集共 1,022 份盲测文档,覆盖全部 34 个场景,包含 260 份 Medicare Summary Notice、250 份医院逐项账单及两种 EOB,其中五分之一为扫描、传真、拍照或低分辨率降质副本。该文档集随 GitHub 发布 v0.6.0 提供下载。

Hacker Newslittlej2026/11/16 · 昨天30 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Claimseed 是一个生成带注入错误且配有答案的全合成美国医疗账单样本的工具。它生成的文件包括 Medicare Summary Notices、医院逐项账单和 Medicare Advantage 福利说明,以 PDF 形式呈现,并附带标注了具体注入了哪些账单错误以及错误位置的 ground-truth JSON。它可以用于测试文档提取器、账单审查工具和 agent,而无需接触任何真实用户的医疗文件。

标准集包含覆盖全部 34 个已发布场景的 1,022 份盲测文档:260 份 Medicare Summary Notices(13 个场景 × 20 个种子)、250 份逐项账单(5 × 50)、256 份 PPO EOB(8 × 32)和 256 份 HMO EOB(8 × 32)。账单和 EOB 会轮换使用标准布局及其 12 种变体;每五份文档中有一份是降质副本(依次为扫描、传真、拍照、低分辨率);每份 notice 和 EOB 都附带对应的 835 文件。布局、预设和 835 对每个场景都同样轮换,因此任何一项都不会泄露场景信息。

claimseed 0.6.0 的副本附在 GitHub release v0.6.0 上:claimseed-0.6.0-standard-documents.zip 解压后得到 claimseed-0.6.0-standard/documents/(PDF、835 文件、README.md、SHA256SUMS),claimseed-0.6.0-standard-keys.zip 解压后得到 claimseed-0.6.0-standard/keys/(答案、manifest.jsonl、README.md、SHA256SUMS 和 set.json:其中包含 claimseed 和 Chrome 版本、该 release 的 git tree、文档数量、salt 和 canary)。只把 documents 文件夹交给被测工具。835 文件就放在该文件夹中 PDF 的旁边;如果只想评测工具读取 PDF 的能力,就只给它 .pdf 文件:

# run the tool on every PDF in documents/; write one report per document to reports/<id>.json,
# in the shape of schemas/extractor-output.schema.json
npx @claimseed/core verify --manifest claimseed-0.6.0-standard/keys/manifest.jsonl --outputs reports
# the same content again with claimseed 0.6.0 and the salt in set.json (or any of its keys); PDF bytes can
# differ by machine and Chrome install, so the SHA-256s in the manifest and SHA256SUMS name the published files
npx @claimseed/core@0.6.0 batch --set standard --out documents --blind-keys keys --blind-salt SALT

这是一个公用的开发集,答案也是公开的;每个答案和每行 manifest 都带有包含固定 GUID 的 canary 字符串(blind.canary),这样训练模型的人可以找到并排除 claimseed 的答案,而测试模型的人可以检查模型是否见过这些答案。请将答案排除在训练数据之外。如果需要留出测试集,可以用 batch --blind-keys(使用新的 salt)生成你自己的盲测集,并自行保管其答案。

npx @claimseed/core list
npx @claimseed/core render msn combined-three-errors --seed demo --out ./out
npx @claimseed/core generate itemized-bill balance-billing --seed demo > demo.json

渲染需要 Chrome 或 Chromium 二进制文件(CLAIMSEED_CHROME=/path/to/chrome,或安装在常规位置);generate 不需要。请在本仓库 checkout 之外的任意文件夹中运行这些命令:如果在 checkout 内运行,npx 会使用仓库自带的包副本,而这需要先执行 npm ci(见下方“From a checkout”)。

作为库使用(npm install @claimseed/core,ESM):

import { generateData, render } from '@claimseed/core';
const { data, groundTruth } = generateData({ type: 'msn', scenario: 'baseline-clean', seed: 'demo' });
const { pdf, groundTruth: gt } = await render({ type: 'msn', scenario: 'baseline-clean', seed: 'demo', outDir: './out' });

作为面向 agent 的 MCP server 使用(@claimseed/mcp,stdio)。渲染出的文档会以页面图像的形式返回,聊天客户端会在对话中显示这些图像(直接显示,或在 MCP Apps 视图中将注入的错误显示在页面旁边),并且不会保存任何文件:

npx -y @claimseed/mcp

或者,如果还想保留每份 PDF 及其 ground truth,可以指定一个只允许写入该处的文件夹:

npx -y @claimseed/mcp --workspace ./claimseed-out

或者使用已发布的容器镜像(内含 Chromium):

docker run -i --rm --network none --read-only --tmpfs /tmp --cap-drop ALL --security-opt no-new-privileges \
 --user "$(id -u):$(id -g)" -v "$PWD/claimseed-out:/work" ghcr.io/claimseed/claimseed-mcp

该 server 也以 io.github.claimseed/claimseed 的名称列在 MCP registry 中。工具、客户端配置和限制见 packages/mcp/README.md。

npm ci
cd packages/core
node src/cli.js list
node src/cli.js render msn combined-three-errors --seed demo --out ./out

在仓库根目录执行 docker build -t claimseed-mcp . 会构建出与已发布镜像相同的镜像。

引擎说明见 packages/core/README.md,场景可注入的错误类型见 docs/error-taxonomy.md,ground-truth 格式见 schemas/ground-truth.schema.json。

渲染一个集合,在 PDF 上运行你的提取器或账单审计器,并用答案对其报告评分:

npx @claimseed/core batch --types msn,itemized-bill --seeds 20 --out ./set
# write one report per document to ./reports/<pdf name>.json, in the shape of schemas/extractor-output.schema.json
npx @claimseed/core verify --manifest ./set/manifest.jsonl --outputs ./reports

评分会给出字段准确率、错误召回率和精确率、误报,以及读错或漏读的路径。干净场景用于测试误报;每种类型的某些场景还会植入诱饵——看起来像错误但实际符合规则的行(同一服务出现在两个日期、费用远高于批准金额、会员已达到自付上限时的共付额削减)——标记其中之一会被计为误报。

Agent 可以用 MCP 工具 verify_document 每次对一份文档评分。

verify --manifest 的主要指标(字段、错误)现在会统计每一份文档:缺失或无效的报告按空报告计分;一旦有任何报告给出了某一部分(字段或错误),报告遗漏该部分也按空部分计分。跳过文档绝不会提高字段准确率或错误召回率;精确率只统计被标记的内容,因此应结合召回率一起看。scoredOnly 保留此前仅基于已评分报告的数字;byType、byDegradation(clean 或预设)和 byKind(每种错误类型的期望数、找到数和召回率)给出细分。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →