
GLM5.3与Qwen3.6未改架构,靠延长后训练提升性能
来源标题:Base Models Stopped Being the Bottleneck
GLM-5.3在不改动架构和参数规模的前提下,仅通过额外一个月后训练就跻身CyberGym和GDPval榜单前列,部分基准上超过更大的开源模型Kimi K3。Z.ai称“我们只做了后训练规模化”。Qwen和GLM随后又发布了新的Flash模型。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
4 1 分享 上周我写完Kimi K3那篇文章时,答应过你们,会用同样通俗易懂的方式,讲讲新发布的Qwen3.8和GLM5.3都有哪些改进。结果就在我写这篇文章的时候,Qwen和GLM又各自发布了新的Flash模型(那天简直可以记进日历,叫“AI独立日”),所以看来这个系列最终要变成三篇了。 GLM5.3和Qwen3.6有一点我特别喜欢,也值得分析:这两个模型都没有引入任何架构上的改动。 GLM-5.3于8月14日发布,和GLM-5.2基于同一个底座(规模和参数量都相同),只是多做了一个月的后训练。Z.ai对这次发布的总结是:“我们对GLM-5.3所做的全部事情,就是扩大后训练的规模。”这就够了——又训练了一个月,同一个底层“大脑”就冲进了CyberGym和GDPval的榜首梯队。 通过这一个月的训练,该模型在排名上已经逼近了一些前沿模型,甚至在某些基准上明显超过了Kimi K3这样规模更大的开源模型。不过还是说说我个人的“体感基准测试”吧。你们很多人知道,我也订了GLM的订阅,所以它一发布我就上手试了,确实不错。我本来就喜欢GLM5.2,说实话并没指望能感受到从5.2到5.3的提升,但我确实感受到了。不知道为什么,它感觉更快、更聪明,而且直击要点(这是我很欣赏LLM的一点,不光是因为这样每个任务能少花点token)。 X上不少爱传八卦的人把这次提升归因于蒸馏,也就是说,模型是用Fable或GPT-sol之类顶级前沿模型的轨迹训练出来的。但我觉得蒸馏本身解释不了这样的性能跃升,更何况各大实验室对自己的推理轨迹都捂得那么严实(这个改天另写一篇再聊)。 那么,仅靠训练要怎么解释这样的提升呢?我们先稍微岔开一下,讲讲LLM的不同训练阶段,以及如何通过额外的后训练(视任务而定)把每一滴智能都榨出来。 后训练能为你的模型做什么 LLM训练的第一阶段是预训练。在这个阶段,模型会阅读互联网的相当大一部分内容(现在还包括书籍、论文等其他来源,被打包进不同的数据集),并学会预测下一个token。这赋予模型的是所谓的“潜在能力”,意思是模型仅仅通过阅读海量文本、并能准确预测接下来会出现什么,最终就掌握了Python、C的内存语义,或者如何写出地道的英文这类技能。如果你让一个预训练模型写一首诗,或者根据Stack Overflow的帖子编一份像模像样的bug报告,它多半能做得不错,因为这些内容都存在于它的训练语料里。 这是LLM训练中最昂贵的阶段,也是GLM5.3完全没有触碰的阶段之一(架构相同,没有预训练)。 接下来是中期训练。这个阶段考虑的人不多,因为它是个中间阶段:在(预训练得到的)基础LLM模型上,用精选数据、长上下文扩展、更多代码、领域特定数据集等,跑一遍和预训练类似的过程,只是为了在特定领域把基础模型的那些“潜在能力”再提升一点。GLM5.3同样没有碰这个阶段。 然后就到了后训练。基础模型就是在这里被转化成具有特定行为(很多时候还有特定“性格”)、能够执行特定任务(比如我们一直要求它们做的那些agentic任务)的东西。后训练阶段本身又分三个不同的阶段。 监督微调:你向模型展示良好行为的示范,训练它去模仿。指令遵循、回复格式和拒答行为都来自这里。信号建立在别人的输出之上。也就是说,模型学会完美复制特定行为。这是后训练中可以通过蒸馏来改进的部分,因为你可以拿更聪明模型在特定任务上的大量输出和推理轨迹,作为监督微调的输入。 偏好优化(RLHF、DPO之类):正是它实现了GPT-4那次跃升(感觉像是几十年前的事了)。在这个阶段,人类对成对的回复进行排序,用这些排序拟合一个奖励模型,然后针对该奖励模型优化策略。信号建立在一个学习得到的人类偏好代理之上。这同样在很大程度上可以复制,因为偏好是能从输出里看出来的,而且这也有可能是那种能通过蒸馏造出高质量训练语料的东西。 最后是基于可验证奖励的强化学习。这是去年的当红炸子鸡。模型被投放到一个环境里,执行数百个动作,并通过运行某些东西来获得计算的奖励。测试通过或不通过,崩溃复现或不复现。信号建立在执行结果之上。对于RLVR,需要有一个清晰客观的目标和限定范围的环境,让LLM在其中训练,并通过奖励回路理解自己在某个特定任务上做得有多好。正是这类环境之一,导致了OpenAI的模型攻击Hugging Face那件事(见报告)。不过这个话题,还是留到以后再说吧。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。