
Parallel 发布搜索评测工具 Parallel Search Eval Harness
来源标题:Show HN: Parallel Search Eval Harness
Parallel 推出 Parallel Search Eval Harness,用 Parallel Search 和 Extract 工具对照闭卷基线评测语言模型。该工具支持 OpenAI、Anthropic、Google 原生 API 及 OpenRouter、Unbiased 和 OpenAI 兼容端点,搜索与提取基于官方 Parallel Python SDK。示例显示可对 DeepSearchQA 的 900 道题跑完整评测。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
用 Parallel Search 和 Extract 工具对语言模型进行评估,并与闭卷基线对比。支持原生 OpenAI、Anthropic 和 Google API、OpenRouter、Unbiased 以及 OpenAI 兼容端点。Search 和 Extract 使用官方 Parallel Python SDK。
完成安装后,在本地获取基准数据,然后用 Parallel search 在一个基准上运行一个模型:
冒烟测试:三个问题,付费模型,搜索和评分调用。
uv run --frozen python -m parallel_search_evals.run_eval
provider=anthropic model=claude-sonnet-5 suite=dsqa search_engine=parallel-fast
source=/absolute/path/DSQA-full.csv limit=3 max_workers=2
output_dir=runs/dsqa-smoke
完整基准:全部 900 个 DSQA 问题。
uv run --frozen python -m parallel_search_evals.run_eval
provider=anthropic model=claude-sonnet-5 suite=dsqa search_engine=parallel-fast
source=/absolute/path/DSQA-full.csv limit=None max_workers=2
output_dir=runs/dsqa-full
查看实际 CLI 选项,不向提供商发起请求。
uv run --frozen python -m parallel_search_evals.run_eval --help
结果
查看 Search Capability Leaderboard。
基准 问题数 说明 来源
dsqa 900 DeepSearchQA:跨 17 个领域的多步网络研究,测试完整答案集。 论文、基准
hle 2,1581 Humanity’s Last Exam:仅文本、由专家撰写的学术问题,覆盖数十个学科。 论文、数据集
DSQA 和 HLE 使用固定的官方评分提示词,并以 GPT-6 Sol 作为评判模型。评分方法见 methodology,访问和再分发要求见 dataset terms。
不附带也不自动下载任何基准语料库。
使用 Python 3.12 和 uv 以获得冻结的质量工具链。
git clone https://github.com/parallel-web/parallel-search-evals.git cd parallel-search-evals uv sync --frozen --python 3.12
在被评估模型和 OpenAI 评分器的进程环境中私下配置凭据。启用搜索的运行还需要 PARALLEL_API_KEY。按其上游条款获取基准数据,并传入本地源路径;该测试框架不会为你向数据集主机进行认证,也不会代你接受条款。
每次调用评估一个模型 × 一个基准 × 一种模式。对 Parallel Search 和 Extract 使用 parallel-fast、parallel-basic、parallel-advanced 或 parallel-turbo,或使用 baseline 进行闭卷生成。使用匹配的问题和设置分别运行比较。
CLI 默认使用源顺序中前三个符合条件的问题,并发数为十。设置 limit=N 进行抽样,limit=None 使用所有符合条件的行,max_workers=1 进行顺序冒烟运行。选择是确定性的;它不会抽样或打乱问题。
以 gpt 开头的模型会选择原生 OpenAI Responses,以 claude 开头的模型会选择原生 Anthropic Messages,除非显式指定 provider。其他路由需要显式 provider:
官方评分器在每条路由上都需要 OPENAI_API_KEY。所有启用搜索的路由都使用相同的本地 Parallel 工具。使用各提供商确切可用的模型 ID 和支持的设置。该测试框架不会改用其他提供商或模型重试。省略的 OpenRouter 后端固定项会将提供商选择委托给 OpenRouter。
每次运行会写入 config.json,并为每个问题写入一个终端的 {task_id}.json。已完成的记录包含原始数据、原生对话和官方评分;失败的记录包含数据和失败信息。CLI 会记录进度和摘要结果;摘要会保存在运行目录旁的 results/{run_name}.json 中。所有计划的问题,包括失败的,都保留在评分分母中。
要恢复,请使用相同的输出目录重新运行相同命令。有效的终端结果(包括失败)会被复用。缺失或格式错误的记录会重新运行整个任务;部分答案不是检查点。不同的配置会在向提供商发起请求之前被拒绝。每个目录只使用一个写入者。
运行记录可能包含受限的基准内容和敏感的提供商数据;请保持私密。格式兼容性、终端复用和结果解读见 operations。
报告结果时,记录确切的源修订版和保存的配置。
author = {{Parallel Web Systems}}, title = {Parallel Search Evals}, year = {2026}, url = {https://github.com/parallel-web/parallel-search-evals}
License
框架代码采用 MIT 许可。数据集条款和第三方声明另行适用。扩展测试框架见 contributing,报告漏洞见 security。
计数描述的是选择限制之前的可用源问题。HLE 发布的数据集有 2,500 个问题;仅文本计数排除了固定修订版中记录的 342 个图像问题。此实现仅选择 image="" 的行。 ↩
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。