百度发布 ERNIE Evolve 自动研究系统,刷新 NanoChat 与 NanoGPT 纪录
来源标题:Baidu’s ERNIE Evolve Automated Research System Beats NanoChat and NanoGPT Records
百度发布自动研究系统 ERNIE Evolve,在 4 项公开指标中的 3 项超过公开最佳成绩,并完成 ERNIE-5.5-Flash 的推理优化。该系统能自动选择研究方向、修改代码并运行实验,只保留通过隐藏评估器和独立审核的改动。在昆仑芯 P800 上经过 4 轮研究,生成速度达到基线的 623.6%;生产测试中确定性吞吐提升 33.7%,解码速度提升 14.9%。
以下正文由 AI 翻译自 MarkTechPost(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
百度刚刚发布了 ERNIE Evolve,这是一个自动化研究系统,用于改进 AI 训练和推理代码。给定一个代码仓库、一个目标和评估标准,它会挑选研究方向、修改代码并运行实验。只有通过隐藏评估器和独立审查者审核的改动才会被保留。百度团队在三个公开基准上测试了 ERNIE Evolve 自动化研究系统,随后又为仍在开发中的 ERNIE-5.5-Flash 优化了推理。
摘要
- 规模:这是一个 agent 系统;百度未披露其 agent 由哪些 LLM 驱动。
- 运行环境:基准测试使用 1 块 NVIDIA B200(NanoChat、SOL-ExecBench)和 8×H100(Speedrun Track 1)。生产测试在昆仑芯 P800 和 GPU 上运行(GPU 型号未披露)。
- 性能:在 4 项公开指标中的 3 项上超过了最佳公开结果,并在 ERNIE-5.5-Flash 上通过了生产检查。
- 最佳表现:经过 4 轮研究,昆仑芯 P800 上的生成速度达到基线的 623.6%。
- 最差表现:SOL-ExecBench 平均 SOL 为 0.819,落后于榜首的 0.827。
- 结论(最佳面):真实的生生产推理收益:确定性吞吐提升 33.7%,解码速度提升 14.9%。
- 结论(最差面):结果为自报,系统未开源,且公开基准上的领先幅度很小。
什么是 ERNIE Evolve?
ERNIE Evolve 是百度推出的自动化研究系统,针对固定的、可度量的目标优化代码。百度在 X 上宣布它是迈向递归自我改进(RSI)的务实一步。在 RSI 中,AI 系统改进用于构建和 serving AI 的软件。
ERNIE Evolve 如何工作?
该系统运行 2 层嵌套循环。外层循环决定研究什么,内层循环在每个方向内开发和测试改进。
- Director:选择下一个研究方向和起始代码版本。它读取包含过往结果的 Experience Bank 以及包含论文和代码的 Knowledge Base。
- Selector:从某个 lane 的树中选择一个候选版本,并指定下一个要测试的假设。
- Executor:在隔离环境中实现该计划。
- Evaluator:一个固定在仓库外部的程序。任何 agent 都无法看到它。收益必须超过噪声阈值。
- Reviewer:检查改动是否遵循预期方向,或是否利用了评估漏洞。
多个研究 lane 并行运行,每个 lane 都有自己的代码版本树。失败的实验会被记录,以便后续轮次避免重复。
ERNIE Evolve 在公开基准上表现如何?
百度在 NanoChat AutoResearch、NanoGPT Speedrun 和 SOL-ExecBench 上运行了相同的循环。
- NanoChat AutoResearch:在 5 分钟、单 GPU 预算内达到 0.8763 验证 BPB。它在网络旁增加了一个 n-gram 分支和一个文档检索分支,通过一个学习到的 gate 进行混合。
- NanoGPT Speedrun Track 1:在 8×H100 上达到目标 loss 用时 38.9 秒,而纪录为 39.9 秒。结果仓库报告 18 次运行的平均值为 38.92 秒。
- NanoGPT Speedrun Track 3:2,590 步,而纪录为 2,690 步。它将权重分解为方向和幅度,然后加入 EMA-Nesterov 外推。
- SOL-ExecBench:在 B200 上的 235 个 kernel 问题上平均 SOL 为 0.819,未达到榜首的 0.827。
ERNIE Evolve 与其他自动化研究系统对比
指标ERNIE Evolve(百度)RecursiveHyra-1.0(腾讯混元)(auto)²-research(rekursiv.ai) NanoChat val BPB ↓0.87630.91090.90150.8878 Speedrun Track 1 ↓38.9 s77.5 s76.4 s未报告 Speedrun Track 3 ↓2,590 steps未报告未报告未报告 SOL-ExecBench,自报 ↑0.8190.7540.771未报告 SOL-ExecBench,按百度口径(Eval Stack v1.1)↑0.8190.6760.736未报告 报告的生产使用ERNIE-5.5-Flash 推理未披露科学任务(数学、分子)未披露 发布内容最终代码 + 日志运行产物结果仓库配方 + harness 工具
Recursive 和 Hyra-1.0 的 Speedrun 成绩是针对旧的约 79.7 秒纪录创造的,因此并非同口径对比。Hyra 的 SOL 自报数据来自腾讯报道。
ERNIE Evolve 为 ERNIE-5.5-Flash 推理做了什么?
百度团队随后将该系统指向 ERNIE-5.5-Flash 上的 3 个实际工程任务。基线均已由工程师调优过。
- 昆仑芯 P800 上的低延迟:经过 4 轮,生成速度升至基线的 623.6%。第 1 轮通过模型的多 token 预测层启用了融合 mHC 和投机解码(282.9%)。第 2 轮削减了主机侧开销(588.8%)。第 4 轮修复了 dispatch,使 DeepEP 的低延迟路径得以启用。
- 面向 RL 的确定性推理:在 SGLang 的确定性模式下,吞吐在约 3 天内提升 33.7%。每个输出 token 的时间下降 26%,首 token 时间下降 12%。用于确定性采样的 Triton kernel 约占 GPU 时间的 14%,带来了最大的单项收益。
- GPU 上的单请求解码:速度提升 14.9%,准确率不变。7 个研究方向中有 3 个产生了收益。关键改动:为小型 FP8 matmul 使用 FP16 指令,以及两级 MoE 专家调度器。
关键要点
- 两层嵌套循环:Director 选择方向,lane 演化代码树。
- 隐藏的 Evaluator 加 Reviewer 防止 reward hacking。
- 在 NanoChat(0.8763 BPB)和 Speedrun(38.9 秒、2,590 步)上取得公开胜利。
- ERNIE-5.5-Flash:昆仑芯 P800 上速度达 623.6%,确定性吞吐 +33.7%。
- 系统保持闭源;GitHub 上仅有结果和日志。
查看 ERNIE Evolve 研究文章和 GitHub 上的结果仓库。也欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。 需要与我们合作推广你的 GitHub Repo 或 Hugging Face Page 或产品发布或 Webinar 等?联系我们 文章 Baidu’s ERNIE Evolve Automated Research System Beats NanoChat and NanoGPT Records 首次出现在 MarkTechPost 上。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。