返回资讯中心
外部精选
软件工程
#开发者实时流

IBM 发布 Granite 4.2 系列模型,详解训练流程

来源标题:Granite 4.2 LLMs: How They're Built

IBM 发布 Granite 4.2 系列大模型,并公开其从预训练到对齐的完整构建方法。该系列提供 8B、30B 等尺寸,训练涵盖 SFT、多阶段多环境强化学习及 RLHF,其中 30B 模型另有第二阶段 SFT。官方同时给出 FP8、FP4、GGUF 量化版本及 Transformers 使用示例。

Hacker News 最新gmays2026/11/14 · 3 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Granite 4.2 LLMs:它们是如何构建的

企业文章 发布于 2026 年 8 月 25 日 点赞 132 +126 Yousaf Shah yousafshah 关注 ibm-granite Swanand Kadhe kswanand1 关注 ibm-granite Riddhiman Moulick rmoulick 关注 ibm-granite Ashish Sunil Agrawal ashish23 关注 ibm-granite santosh borse sanborse 关注 ibm-granite 概览 模型架构 预训练 SFT:数据准备与质量控制 数据质量控制 SFT 训练细节 30B 模型的第二阶段 SFT 强化学习:多阶段、多环境的流水线 训练方法 分阶段课程 奖励信号 基础 RL:构建技能 Agentic RL:学习行动(8B / 30B) 对齐:RLHF 三种规模有何不同 面向可扩展 RL 的 Agentic AI 基础设施 结果 量化 FP8 FP4 GGUF 基础设施 硬件 软件栈 快速上手(Transformers) 安装 基础推理(思考模式) 非思考模式 低投入思考 工具调用 基础工具调用 带工具响应的多轮交互 多轮对话 历史记录 思考内容截断 解析思考内容与最终答案 配合 Agentic 编码框架使用 OpenCode Pi OpenHands

一篇关于我们如何构建 Granite 4.2 推理模型系列的技术详解。

TL;DR:Granite 4.2 是我们首个稠密、仅解码器(decoder-only)的推理 LLM 系列,发布三个规模:3B、8B 和 30B。这些模型基于 Granite-4.1 基础模型进行后训练。Granite-4.1 基础模型是从零开始、在约 15T token 上预训练的,采用五阶段策略,将上下文窗口扩展至 512K token;随后在思维链、推理和 agentic 轨迹数据上进行监督微调,再用多阶段强化学习流水线做后训练。该流水线包括 agentic RL——8B 和 30B 模型在其中学习在真实沙箱环境内使用工具行动。每个模型都带思考/非思考切换、一种低投入思考模式(对简单问题只花很短的推理预算),以及原生工具调用。所有 Granite 4.2 模型均以 Apache 2.0 许可证发布。

概览 Granite 4.2 是 Granite 语言模型家族中专注于推理的版本。此前的 Granite 版本是强大的指令遵循助手;Granite 4.2 增加了显式推理能力。每个模型都能在给出答案前生成思维链,并可根据任务所需的思考深度在思考模式或非思考模式下运行。低投入模式介于两者之间,对简单问题只花费很短的推理预算。

三个规模(3B、8B 和 30B)共享相同的架构设计,遵循相同的训练流水线(基础模型、SFT,然后多阶段 RL),各自按自己的规模执行。三者都是强大的推理者和指令遵循者。最明显的能力差异出现在后训练阶段。8B 和 30B 模型还额外经过一个 agentic RL 模块,教它们作为 agent 运作:调用工具、编辑和运行代码、驱动终端,以及在真实环境中搜索网页。每个模型都支持原生工具调用。通过 OpenAI 兼容端点(例如用 vLLM)提供服务时,它以 OpenAI function-calling 格式输出工具调用,无需额外胶水代码即可接入 agentic 框架。Granite 4.2 也在 SGLang 中得到支持,可参阅 SGLang cookbook 获取可直接用于服务的配置。

本文其余部分将逐步介绍构建过程:架构、预训练、监督微调、多阶段 RL 流水线以及结果。

模型架构 Granite 4.2 模型基于仅解码器的稠密 transformer 架构构建,包含以下核心组件:

预训练 Granite 4.2 模型基于 Granite-4.1 基础模型进行后训练。Granite-4.1 基础模型从零开始训练,使用约 15 万亿 token,采用五阶段训练策略。第 1–2 阶段聚焦基础预训练,第 3–4 阶段进行中期训练,伴随逐步更高质量的数据退火(data annealing),第 5 阶段引入长上下文训练,将上下文窗口扩展至 512K token。每个阶段使用不同的数据混合和学习率调度,逐步从广泛的网页规模数据转向更精选的高质量来源。

预训练配方与上一代基本一致;关于数据混合、阶段调度和长上下文扩展的详细说明,请参阅 Granite 4.1 博客。

SFT:数据准备与质量控制 监督微调(SFT)将基础模型转变为可靠的指令遵循、推理和工具使用助手。SFT 数据混合由 agentic(31.6%)和非 agentic(68.4%)数据组成,总计约 720 万个样本,约 100B token,其中约 65B 为可训练 token。

Agentic 语料覆盖广泛的领域,包括软件工程(SWE,69%)、工具调用(12.1%)、终端使用(8.0%)、数学(3.5%)、搜索(0.8%)和行动(0.2%)。这些样本和轨迹使用多种 agent scaffold 和框架生成,包括 OpenHands、OpenCode、Terminus-2、SWE-agent、OpenResearcher、MiniSWE、OpenSeeker、EnvScaler、Gemini CLI、Hermes、Codex 和 Goose。Agentic 数据结合了来自开源数据集和我们自建的合成 RL 环境的样本,涵盖多种 agent–框架组合。

非 agentic 语料由几个主要类别组成:指令遵循(18.8%)、编码(18.8%)、数学(14.6%)、多语言(7.0%)、科学(5.4%)、推理(3.0%)和安全(0.8%)。

数据质量控制 在样本进入最终 SFT 混合数据之前,我们会施加多阶段质量控制。首先,来自不同来源的数据会被归一化并重新格式化为一致的 OpenAI Chat 格式,使对话结构和工具交互在不同数据集和框架之间保持统一。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →