研究者提出通用数据高效预训练方法,单次训练匹配最多56倍数据量模型
来源标题:Towards Universal Data-Efficient Pretraining
一项新研究提出通用的数据高效预训练方法,无需针对不同领域重新设计,即可同时适用于分子、真核DNA和晶体结构。与各领域基线相比,单次训练即可匹敌分子领域使用最多56倍、DNA和晶体领域各24倍独特数据训练的模型,说明从重复数据中高效学习并非文本独有。微调后在分子和晶体上的自回归基础模型中达到最优,八个MoleculeNet任务全部超过使用约350倍数据训练的NovoMolGen。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Anirudh Satheesh, Bishwas Mandal, Madhav Singhal, Akshay Vegesna, Samip Dahal 2026年11月,通讯作者 research@qlabs.sh·引用 title = {Towards Universal Data-Efficient Pretraining}, author = {Satheesh, Anirudh and Mandal, Bishwas and Singhal, Madhav and Vegesna, Akshay and Dahal, Samip}, year = {2026}, url = {https://qlabs.sh/research/applications} TL;DR 我们朝着数据高效预训练的通用方案迈出了一步。同一套方法无需针对每个领域重新设计,即可适用于分子、真核DNA和晶体结构。与各领域的基线相比,单次训练运行即可匹敌在分子上使用最多56倍、在DNA和晶体上各使用24倍更多唯一数据训练出的模型。这表明高效地从重复数据中学习并非文本所特有。即使面对在远多数据上训练的更大模型,这些增益依然存在。经过微调后,我们在分子和晶体的自回归基础模型中取得了最先进的结果。在所有八项MoleculeNet任务上,我们超越了在约350倍数据上训练的NovoMolGen;在MatBench任务上,我们仅使用1000万唯一token就优于CrystalLLM。对于DNA,我们以约1/800的预训练数据量在Genome Understanding Evaluation任务上匹敌HybriDNA。 1引言 科学基础模型日益受限于数据而非算力。算力越来越便宜,而科学数据的产生往往仍然昂贵。在药物发现中,候选化合物必须经过合成和测试才能测量其性质。MoleculeNet(Wu et al.)是分子机器学习最大的公开基准之一,尽管经过数十年的实验工作,每个任务也只包含1,500到450,000个带标签分子。晶体数据同样稀缺:公开可用的结构仅略超过两百万个(Antunes et al.),而在超级计算机上模拟一个结构可能需要数小时。DNA面临的是同一约束的不同版本。GenBank等公共序列库包含约60万亿个碱基(NCBI),但RefSeq——经过整理的非冗余参考基因组集合(Thibaud-Nissen et al.)——中仅收录了约2,400个真核物种。因此,挑战不在于获取更多算力,而在于更好地利用已经存在的数据。 当新数据如此昂贵时,通常的答案是重复利用已有数据。对于网络文本,Muennighoff et al.发现前几轮重复几乎与全新数据一样好,但后续轮次增益甚微。后续工作表明重复可以走得更远。Kim et al.发现,在数据固定、算力不受限的情况下,最佳权重衰减约为标准做法的30倍,而对独立训练的模型输出取平均(集成)还能进一步提升。此外,Baron et al.发现,数据受限的预训练可以通过按训练轮数调整权重衰减、以及对多个模型检查点的输出取平均来改进。Mandal et al.提出了一套专为同一数据多轮训练设计的技术。然而,所有这些进展都是为文本开发的,它们能否迁移到数据与英语毫无相似之处的科学领域,尚未得到检验。 我们在三个几乎没有共同表层结构的领域检验这个问题:分子、真核DNA和晶体结构。分子表示为SMILES字符串,用字符编码原子和键;DNA表示为四字母核苷酸序列;晶体表示为CIF文件,描述原子及其在重复晶格中的位置。对于每个领域,我们都从一个成熟的模型和训练方案出发:分子用MLM-Scaling,DNA用缩小版Evo 2,晶体用CrystaLLM。我们在与这些基线相同的数据上训练,并以数据倍数衡量增益:基线需要多少唯一数据才能达到我们的性能。这一设置让我们能够检验单一重复数据方案能否在不针对每个领域重新设计的情况下提升跨领域的数据效率。 当训练集很小且必须多轮复用时,标准模型只会将其记住。我们的方案用两个思路来应对。第一,将训练划分为多个周期,每个周期产生一个快照。预测时对各快照的下一token概率取平均,因此单次运行即可得到一个集成。第二,模型被循环使用(Chen et al.):一组transformer块以共享权重多次应用,在不增加可记忆参数的情况下增加每个token的计算量。链式蒸馏和权重扰动进一步在周期之间进行正则化。整个方案与领域无关:同样的设计适用于分子、DNA和晶体。 在小数据集上训练多轮的模型最终会将其记住。快照集成通过从一次运行中提取多个模型来避免这一点(Huang et al.; Mandal et al.):我们将训练分为64个周期,并在每个周期结束时保存权重(图1)。在一个周期内,学习率从峰值线性衰减至$0.08\times$,同时权重衰减从$0.7\times$反相上升至$1\times$。每个周期开始时学习率高、权重衰减低,有利于探索;结束时学习率低、权重衰减高,在保存快照前将参数拉入一个低范数盆地。衰减将模型推向局部极小值,而下一周期的重置又将其推离,因此相继的快照落在不同的极小值中。预测时,我们对$K$个快照的下一token概率取平均: 这一过程没有任何部分依赖于token代表什么:每个领域都使用相同的64个周期和相同的概率平均。唯一的变化是循环何时开始:分子运行从第一步就开始循环,
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。