
研究团队用 Dynamic RSI 框架对 Qwen3-Coder-Next 与 DeepSeek-R1 进行基准测试
来源标题:Benchmarking Qwen3-Coder-Next, DeepSeek-R1, and Qwen3.5 with Dynamic RSI
一项基准测试在本地服务器上对比了 qwen3-coder-next:latest(80B 总参数 / 3B 激活 MoE)和 deepseek-r1:32b(32.8B 密集推理模型)在 SWE-bench Verified 上的表现,并引入 Dynamic RSI 框架。测试分三档:裸模型 Pass@1、首轮多评审加 ACE Playbook、以及含自省沙箱与自修复的完整循环。该框架将 JIT 宏运行时编译与执行门控的微观认知进化结合,通过 pytest 风格沙箱自省耦合。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
- 可视化对比图(X 轴旋转 45°) 图 A:官方 SWE-bench Verified 解决率(%)——与前沿模型并排对比 将我们在 LAN 服务器上对两个本地模型——qwen3-coder-next:latest(80B 总参数 / 3B 激活 MoE)和 deepseek-r1:32b(32.8B 稠密推理模型)——在 princeton-nlp/SWE-bench_Verified 上的实时运行结果,与主要前沿模型已公布的 SWE-bench Verified 分数进行对比: 对比两个本地模型在 [A] 裸模型(Pass@1)$\rightarrow$ [B1] Dynamic RSI(首轮多评审 + ACE Playbook)$\rightarrow$ [B2] Dynamic RSI(带内省沙箱与 ACE 自修复的完整循环)下的表现: 2025–2026 年的大多数自我改进智能体框架只优化栈中的一层: 我们的 Dynamic RSI Harness 的独特之处在于统一了两个正交架构——JIT 宏运行时编译 + 执行门控的微观认知演化——并通过 Pytest 风格的沙箱内省将二者耦合。
框架 / 范式 主要优化目标 适应的时间尺度 处理上下文窗口限制? 合成经过验证的代码工具? 防止提示/规则坍缩? 我们的 Dynamic RSI Harness 有何不同
-
OPRO / TextGrad(DeepMind / Stanford) 提示文本字符串(“文本梯度”) 离线批量优化 ❌ 否 ❌ 否 ❌ 否(整体式提示重写) TextGrad 反传自然语言批评,但没有确定性的 LHS/RHS 沙箱值,也没有拓扑切换。
-
DSPy(MIPROv2)(Stanford) 少样本演示与模块指令 在训练集上离线编译 ❌ 静态流水线 ❌ 否 ⚠️ 部分(固定签名) DSPy 需要离线标注训练集来编译固定图;我们的 harness 按用户提示即时编译(JIT),并在线自修复。
-
ADAS(Hu, Lu, Clune 等) 代码定义的智能体工作流图 离线进化元搜索 ⚠️ 仅在发现时 ❌ 固定工具集 ❌ 无结构化规则记忆 ADAS 离线为每个基准搜索一个最佳智能体架构;我们的 MetaArchitect 按任务动态切换拓扑。
-
AFlow(ICLR 2025/2026) 对工作流节点/边进行 MCTS 搜索 在验证集上离线 MCTS ❌ 否 ❌ 否 ❌ 否 AFlow 离线通过 MCTS 优化图边;我们将宏拓扑选择与在线微观 ACE 规则及 DGM 技能演化相结合。
-
ACE(独立版)(arXiv:2510.04618) 结构化上下文 playbook(Generator-Reflector-Curator) 在线 / 跨任务上下文更新 ❌ 固定运行时 ❌ 无工具合成 ✅ 是(增量规则) 独立 ACE 提交反射器规则时没有达尔文沙箱门或跨域语义阈值(>= 0.78),我们已证明这会导致规则污染。
-
Darwin Gödel Machine(DGM)(Sakana AI,arXiv:2505.22954) 智能体自身的代码库与工具 长周期进化分支 ❌ 无 JIT 上下文中件 ✅ 是 ❌ 无结构化 playbook DGM 在昂贵的进化代际中变异源代码;我们将 JIT DGM 技能合成与快速 ACE Playbook 增量规则及 LHS/RHS 断言内省配对。
-
Self-Harness(arXiv:2606.09498) 通过轨迹挖掘进行 harness 脚手架与护栏 离线 / 批量迭代循环 ⚠️ 手动轨迹补丁 ⚠️ 部分 ❌ 无语义向量 playbook Self-Harness 为每个模型修补单一全局 harness;我们维护类别特定的演化模板 + 稠密嵌入规则检索(nomic-embed-text)。
-
我们的 Dynamic RSI Harness 双架构:宏 HarnessConfig + 微观(PlaybookRule + SynthesizedSkill + Guardrails) 3 个嵌套循环:JIT(循环 0)+ 任务内(循环 1)+ 跨任务(循环 2) ✅ 是(Map-Reduce 与 Scratchpad) ✅ 是(在隔离作用域内单元测试) ✅ 是(达尔文门控 ACE + 标签/余弦过滤) 在单一运行时中统一宏运行时路由(ADAS/Self-Harness)+ 微观认知/工具演化(ACE/DGM)。
B. 深入对比:我们发现并构建的 5 项架构创新 当我们在 SWE-bench Verified 和对抗性编码任务上,对 3B 激活参数 MoE 编码模型(qwen3-coder-next:latest)和 32B 稠密推理模型(deepseek-r1:32b)测试我们的 harness 时,有五个深层工程机制将我们的系统与 ACE、ADAS 和 DGM 的教科书式实现区分开来: flowchart TD subgraph Macro["架构 1:宏 RSI(JIT 运行时编译器 — ADAS / Self-Harness)"] Task["传入的用户任务"] --> Profiler["任务瓶颈与模型分析器"] Profiler -->|"上下文密集型"| MapReduce["DIVIDE_AND_CONQUER +\nHIERARCHICAL_MAP_REDUCE"] Profiler -->|"符号 / 数学"| PlanVerify["PLAN_EXECUTE_VERIFY +\nJIT DGM 技能挂载"] Profiler -->|"复杂代码 / SWE-bench"| MultiCritic["MULTI_CRITIC_DEBATE +\n模型感知 Prefill 与 Stop 护栏"] end subgraph Micro["架构 2:微观 RSI(认知与工具演化 — ACE + DGM)"] MultiCritic & PlanVerify & MapReduce --> Sandbox["内省沙箱门\n(评估精确 LHS 与 RHS 并重新绑定模块闭包)"] Sandbox -->|"通过"| DarwinGate["达尔文提交门\n(仅当修复通过 F2P 与 P2P 时才提交规则/技能)"] Sandbox -->|"失败:精确 LHS/RHS 轨迹"| Reflector["三模态反射器(双块格式)\n1. ACE 增量规则(RULE_WHEN/DO/AVOID)\n2. 标准 Python 围栏代码块\n3. 执行后护栏"] Reflector --> Sandbox DarwinGate --> VectorDB[("混合标签 + 嵌入记忆\n(nomic-embed-text,余弦 >= 0.78)")] end VectorDB -.->|"零样本迁移到下一任务"| Profiler Loading 深入 1:将“错误的运行时”(宏)与“正确运行时内的认知盲点”(微观)解耦 行业问题:AFlow 和 ADAS 等系统假设,如果智能体失败,就需要不同的工作流图。ACE 和 TextGrad 等系统假设工作流图没问题,只需要更好的提示指令。 我们的解决方案:两种失败模式在现实中都会发生,并且需要不同的修复:
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。