研究者开发新优化器,让消费级显卡显存需求大降以训练大模型
来源标题:Show HN: You can now train your own LLMs with less memory, on your consumer GPUs
一位AI研究者开发出新优化器,将训练时每个权重所需的显存从AdamW的约16字节降至1字节甚至更少。他已在单张24GB的3090显卡上完成27B模型训练,并在16GB显卡上训练了23B模型。训练后模型每权重约1.6比特,27B模型仅约6GB,比16位小10倍、比Q8小5倍。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
TL;DR:你可以在 24GB 显存的 3090 上训练自己的 27B 模型,不过要让它真正好用,得喂上数千亿个 token。我正在做现有模型的转换工作。感兴趣的话可以看仓库里的代码和论文。我有一个 40.4GB 的 Qwen Flash Next GGUF。
大家好,我做 AI 研究。我一直在研究一种优化器,用它训练模型时不需要像 AdamW 那样为每个权重占用约 16 字节的显存。我专注于训练三值网络,因为 BitNet(Ma 等人)表明它们在大规模下能达到与全精度相当的质量。问题在于 BitNet 训练时仍然保留全精度权重,这意味着你依然需要同样多的显存。我把它从每个权重 16 字节降到了 1 字节甚至更少。
对你来说,这意味着你可以在自己的消费级 GPU 上训练 10-20B 参数的模型。我在单张 24GB 的 3090 上完成了 27B 模型的训练,在 16GB 的 GPU 上完成了 23B 模型。训练出的模型每个权重约 1.6 bit(27B 时约 6GB),比 16bit 小 10 倍,比 Q8 小 5 倍。
我也一直在做现有模型的转换与训练。这更难,我还在推进,但已经有一些不错的结果。我量化并训练了一个 Qwen3.8 27B,不过我发布的文件里带有约 2GB 的 adapter,把文件大小推到了 8GB。我现在也在做一个无 adapter 的版本。它的 GSM8K 得分是 0.895,与全精度相同,HumanEval 是 0.84 对 0.93,在我那台性能受限的 12GB 笔记本 4080 上以约 23 tok/s 运行,不过这个数字通过自定义 kernel、工程优化等手段还有很大提升空间。这部分我也留给大家来帮我。
我还量化并训练了 Qwen Flash Next,连同它的 n-gram 表(8GB)一共压到 40.4GB。它基本保留了网络的能力(GSM8K 基准得分相当,HumanEval 略逊一筹——可惜我没有算力跑 TerminalBench2.1 这类更大的基准,也许有人能帮我一把),但会忘掉事实性知识。就我的经验而言,只要给它联网搜索,基本就能正常工作,不过这一点没有严格测量。
我还在继续这项工作,会一直做下去,也许要做很多年。代码开放非商业使用。请看:
训练核心仓库:https://github.com/oguzeldereli/ttf-ternary 转换仓库:https://github.com/oguzeldereli/ttf-conversion 运行 ttf 训练模型的仓库:https://github.com/oguzeldereli/ttf-home 带 adapter 的转换版 Qwen 3.8 27B GGUF(约 8 GB):https://huggingface.co/oguzeldereli/ttf-Qwen3.8-27B-GGUF 转换版 Qwen 3.8 Flash Next 的 GGUF(约 40.4GB):https://huggingface.co/oguzeldereli/ttf-Qwen3.8-Flash-Next-G... 无 adapter 的转换版 Qwen 3.8 27B GGUF(约 6 GB):正在转换中,很快发布。 Qwen 4 27B 发布后我会转换一个实例。
完整论文:https://github.com/oguzeldereli/ttf-ternary/blob/main/paper/...
另外,如果你喜欢这个项目,希望能给我点个 GitHub star。
评论链接:https://news.ycombinator.com/item?id=50438889 点数:1 评论数:0
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。