ChatGPT踢到铁板了！能破解千禧数学难题，但论文复现率低至13.98%？

把「整篇论文复现」确立为一种Agent评测范式，并不是UniPat AI首创，OpenAI的PaperBench也是类似的工作。

但过往的任务集中在机器学习论文领域，真正进入物理、化学、材料等科学研究场景后，复现一篇论文就不再是「把代码跑一遍」这么简单，会面临三个挑战：

理解科学问题：论文不是一份可以照着执行的说明书。面对真实的科学问题，Agent需要自己理解研究目标，判断边界条件怎么设、色散怎么处理、哪些参数会真正影响结论，而不是简单按照README把代码运行一遍；

正确完成科学仿真：把代码成功跑起来，只是第一步。分辨率、求解器容差、采样时长等参数只要设置不当，就可能导致完全错误的数值结果。Agent还需要读懂诊断信息，识别数值发散等异常，并判断什么时候需要调整参数、加密网格。这些都不是通用的代码执行能力，而是高度依赖具体学科知识的判断；

判断结果是否真的可信：这是最容易被忽视、也最致命的一步。跑出一个和论文对得上的数字，并不意味着科学上做对了。错误的物理模型、尚未收敛的仿真，甚至不合理的后处理，都可能得到一个「看起来正确」的结果。因此，科学复现不像普通代码任务那样有一个简单的pass/fail标准，Agent还必须能够判断结果背后的科学过程是否可靠。

真正的科学复现，要求Agent完成一条完整的链路：先理解科学问题，再执行科学计算，最后验证科学结论。这三项恰好就是一个AI Scientist必须具备的基本功：读懂科学、执行科学、判断科学。

所以可以理解为，PaperBenchX测的并不是Agent会不会运行一段科研代码，而是它能不能完成一套相对完整的科学工作流。

这也构成了PaperBenchX与已有类似基准的核心区别——这背后是这项工作的几个关键设计：

第一，Agent必须在真实的科学软件里工作，而不是换了一套学科数据的机器学习任务。

PaperBenchX覆盖12个研究方向、10种仿真平台，每个领域都有自己的参数体系、计算流程和收敛判据。已有基准（PaperBench、ScienceAgentBench等）基本局限在ML/Python栈里；PaperBenchX是第一个在不同学科领域让Agent直接面对Ansys HFSS、Ansys Lumerical、Meep、PySCF/GPU4PySCF、ABACUS这些领域原生求解器的复现基准。