百度推出ERNIE Evolve自动化研究系统,可自主改代码跑实验
来源标题:Ernie Evolve: automated research system for improving AI training and inference
百度发布自动化研究系统ERNIE Evolve,能在给定代码库、优化目标和评估标准后自主修改代码并运行实验。该系统可在隔离环境中迭代探索研究方向,根据证据调整路线,目标是加速AI训练与推理的改进。百度称这是迈向递归自我改进(RSI)的第一步。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
AI 研发依赖反复的实验与分析。研究人员需要判断该 pursue 哪些想法、设计并运行实验、区分真正的改进与噪声,并利用所得经验指导下一轮实验。AI 系统正越来越有能力承担这项工作,自动化研究已在机器学习、数学和芯片设计领域展现出前景。将这些系统用于改进为其提供动力的 AI,会形成递归自我改进(RSI)循环。对 AI 研发团队而言,这正成为重要的竞争优势来源,有望加速更好模型的开发。
ERNIE Evolve 是我们朝这一目标迈出的第一步。它是一个自动化研究系统,在既定约束下朝着明确目标推进。其范围既包括决定研究什么,也包括通过实验开发更好的实现方案。它会经过多轮迭代 pursue 有前景的想法,并随着证据积累调整研究方向。给定代码仓库、优化目标和评估标准,ERNIE Evolve 会在隔离环境中自主修改代码并运行实验。独立评估决定保留哪些改进,而每次实验的发现会启发后续研究。
我们首先将 ERNIE Evolve 应用于三个公开的 AI 研发任务:NanoChat AutoResearch、NanoGPT Speedrun 和 SOL-ExecBench,分别覆盖训练算法、训练速度和 GPU kernel 优化。ERNIE Evolve 在这三个任务上均优于基线,并在 NanoChat AutoResearch 和 NanoGPT Speedrun 上超过了我们对比过的最强公开结果。随后,我们将其应用于正在开发中的 ERNIE-5.5-Flash 的推理优化。由此产生的改动通过了生产级验证,并带来了显著的性能提升,表明自动化研究能在真实 AI 开发中产生实际改进。
构建像 ERNIE Evolve 这样的自动化研究系统,需要为 AI 提供一个与人类研究人员相当的工作环境,这要求对现有基础设施做出大量改动。自动化研究系统建立在 AI 原生基础设施之上,同时它们本身也正在成为一种新的基础设施。随着 RSI 在真实世界研发中扩大规模,它可能以前所未有的速度推动 AI 能力的提升。
ERNIE Evolve 通过两个嵌套循环组织研究:外层循环决定研究什么,内层循环在每个研究方向内开发和测试改进。外层循环借助过往经验和现有知识提出方向,并将每个方向分配到一个研究 lane。多个 lane 并行运行,每个 lane 维护自己的候选代码版本树。在一个 lane 内,内层循环反复基于现有版本进行构建、修改代码,并提交新的候选版本以供独立评估和审查。整个过程中的代码改动和实验结果都会被记录下来,以启发后续研究。
Director 选择下一个研究方向和一个起始版本。它借助 Experience Bank(存储以往实验的候选版本、代码改动和结果)和 Knowledge Base(包含论文、开源代码和领域知识)。起始点可以是原始代码、目前找到的最佳版本、某个中间版本,或上游 main 分支的最新 commit。
Selector 指导每个研究 lane 内的每次迭代。它从该 lane 的树中选择一个候选版本,并指定下一步要测试的假设。其决策不仅考虑分数,还考虑代码改动、失败原因以及以往决策的结果。
Executor 在隔离环境中执行 Selector 的计划,修改代码以生成新的候选版本。
Evaluator 和 Reviewer 决定候选版本是否被接受。Evaluator 是一个固定的评估程序,在真实工作负载上测量性能并检查正确性。它被置于被优化仓库之外,任何 agent 都无法看到。改动超出允许范围的候选版本会被排除在评估之外,性能提升只有在超过噪声阈值时才会被接受。
Reviewer 结合评估结果审查代码改动。它检查候选版本是否遵循既定研究方向,以及所报告的提升是否来自利用评估中的弱点。偏离既定方向的候选版本不能被选为最佳版本,利用评估漏洞的候选版本会被丢弃。
Director 决定 pursue 哪条研究路线,而 Selector 决定在该路线内进化哪个版本。ERNIE Evolve 可以持续改进一个有前景的方法,并利用实验结果决定何时改变方向。只有通过独立评估和审查的改进才能被保留。代码改动通过候选树继承,而记录下来的发现指导未来决策,使单个实验能够影响更广泛的研究过程。
我们将 ERNIE Evolve 应用于三个公开的 AI 研发任务:NanoChat AutoResearch、NanoGPT Speedrun 和 SOL-ExecBench。这些任务覆盖训练算法、训练速度和 GPU kernel 优化。三者都有公开的评估协议,以及来自社区研究人员和其他自动化研究系统已发布的结果,提供了既定的对比基线。在 NanoChat AutoResearch 和 NanoGPT Speedrun 报告的三个指标上,ERNIE Evolve 均超过了评估时可获得的最佳公开验证结果。ERNIE Evolve 在这些任务上的优化结果已在 Github 上开源。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。