
开发者用1亿参数循环Transformer在ARC-2上追平Opus 4.5,全程未接触文本
来源标题:I matched Opus 4.5 on ARC-2 with a 100M looped transformer that never saw text
开发者Vakde发布的mdlARC第三版在ARC-2上追平Opus 4.5,该模型仅用ARC谜题训练、从未见过文本。模型采用8个权重块循环运行,第3至6块重复6次,共产生28次块传递。作者同时推出新基准ARC Data Squeeze,用于测试样本效率。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
demos +测试输入 +目前输出B1B2B3B4B5B6B7B8head下一单元格× 6preludecoda第1–5轮也会退出(仅训练时,权重0.3)token嵌入通过学到的跳连到达每个块;prelude输出在每一轮重新加入8个块产生28次块传递:2 + 4 × 6 + 2 图1. 循环mdlARC。块3–6运行六次,因此8个块的权重产生28次块传递。虚线:仅训练时,第1–5轮也提前退出并计分。绿色:输入直接到达每个块。 这是mdlARC的第三个版本,这个系列旨在探究仅用ARC谜题训练的自回归transformer在ARC上能达到什么水平——不使用文本,不使用LLM(Vakde, 2025, Vakde, 2026)。 因为我关心样本效率,而LLM在太多数据上训练(包括ARC谜题),所以无法测量。现在已经很明显:只要有足够的训练数据,ARC-1/2就变得容易解决。另一方面,当数据被限制为ARC谜题、尤其是数量很少时,模型能表现得多好仍然非常有趣。 为了测试样本效率的想法,我启动了一个新基准:ARC Data Squeeze。详情见下。 循环×6,0.71M:33.38循环×6,1.05M:49.0循环×6,2.0M:55.625循环×6,8.4M:66.25循环×6,18.9M:68.38循环×6,0.9M:41.25循环×6,0.99M:41.5循环×6,2.1M:51.25循环×6,18.9M,加上似然排序(ARC Data Squeeze记录):70.251.05M:49.002.0M:55.638.4M:66.2518.9M:68.38记录:70.25循环×6(本工作)非循环,当前配方早期mdlARC版本TRM(报告) 图2. ARC-AGI-1 top-2与参数量的关系,全部仅在1,307个公开任务上从头训练。循环的1.05M模型胜过两个76M的非循环模型。悬停某点可查看其准确分数。 我使用ARC-1 Public Eval来测试想法,仅在这1307个公开谜题上从头训练。这些就是ARC Data Squeeze的规则。 循环mdlARC在ARC-1上得分70.25%——该受限集合上的当前SOTA 仅19M参数。在ARC-2上得分15.14% 以少得多的参数击败了我之前的结果:3月的44%(76M)和去年12月的27.5%(28M) 最大的惊喜:这一切几乎不依赖手写知识。没有目标检测器,没有程序搜索,没有生成数据。ARC是一个制作得异常出色的数据集。 抽象与推理语料库(Chollet, 2019)是一个抽象推理测试。每个任务展示几对示范:一个输入网格和它应变成的输出网格。所有对都遵循一条隐藏规则,你必须至多尝试两次为新测试输入产生精确输出。每个任务使用不同规则,因此解决它们意味着学习物体、计数和对称等概念,并将它们组合成新概念。看transformer从如此少的数据中学到这些,令人着迷。试一个: ARC-AGI-1有400个公开训练任务和400个公开评估任务。ARC-AGI-2(Chollet et al., 2025)更难:1,000个训练任务和120个公开评估任务,竞赛在隐藏任务上评分,四块L4 GPU上12小时且无互联网。大多数参赛作品从预训练LLM起步(Akyürek et al., 2024; Franzen et al., 2024; Sorokin and Puget, 2025);mdlARC从随机权重开始,仅从ARC网格学习。其名称来自最小描述长度原理(MDL;Rissanen, 1978; Grünwald, 2007):用最少比特解释数据(计入自身大小)的模型应泛化得最好。 像LLM一样,mdlARC是一个自回归transformer。推理时,模型一次一个单元格地输出测试输出网格。示范对和测试输入网格始终作为上下文输入。 一个ARC谜题有许多示范对和1–3个测试对。在mdlARC的早期版本中,我们将每对(示范或测试)转换为单独的训练序列。现在我们改为在单个序列中使用多对。 举个例子,一个谜题有3个示范对和2个测试对。在训练和推理期间,我从这个谜题创建2个序列(与测试对数量相同)。每个序列以随机顺序的示范对开始,以单个测试对结束。 每个网格逐行展平。网格单元格变成颜色token(0–9),我们有4个特殊token:<start_sequence>、<newline>、<input_output_separator>和<end_pair> 一个示范对输入输出…变成这些token,从左到右读S↵|↵E输入行输出行S 开始(一次,在最开始)· ↵ 新行 · | 输入结束、输出开始 · E 对结束整个任务是一个序列:示范对,然后是测试输入。模型写出答案。示范1示范2示范3测试输入测试输出一次一个单元格;损失仅在此处计算一次性全部读取(双向)每个token还获得一个3D位置:其行、其列,以及它属于哪个网格。没有任何东西记录哪个示范排第一,所以示范是一个无序集合。 图4. 一个任务如何变成序列。颜色是token;四个特殊token标记结构。 定位token、网格和对 Transformer对token位置的置换是等变的。为了知道token顺序,我们通常使用注意力掩码和位置编码来打破对称性。 一个ARC谜题有4个维度:网格是2D的,输入网格与输出网格给出第3维,token属于哪一对给出第4维。对没有顺序,所以模型从不被告知对编号;示范反正会被打乱。 V1和V2中的序列没有多对,因此使用3D RoPE编码3个维度。V3使用完整谜题,所以我们需要4个维度。 为了编码第4维,我使用了一个巧妙的(读作:反苦涩教训)技巧:一种名为hub and spoke attention的稀疏注意力变体的注意力掩码。这一石二鸟(二次注意力)
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。