
测试显示Claude模型曾大规模接受蛋白质序列训练
来源标题:Claude was trained on protein sequences at scale
一项下一氨基酸预测测试发现,最新Claude模型在大规模蛋白质序列上训练过,能预测研究较少的细菌蛋白质的下一个氨基酸,而其他前沿模型没有此迹象。Fable 5.2优于所有测试的开源蛋白质语言模型,Opus 5.5与最大的ProtGPT3-10B持平。模型在从未有论文研究的蛋白质家族中同样表现良好。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Claude 在大规模蛋白质序列上接受了训练
一项针对鲜有研究的蛋白质的下一氨基酸预测测试发现,最新的 Claude 模型在大规模蛋白质序列上接受过训练,而其他前沿模型则没有任何迹象。
最新的 Claude 模型在大规模蛋白质序列上接受过训练。给 Claude Fable 5.2 或 Claude Opus 5.5 一段鲜有研究的细菌蛋白质的开头,它们能预测出下一个氨基酸。把这段蛋白质打乱,它们就做不到了。在我们测试过的模型中,没有其他任何一个能做到这一点。与蛋白质语言模型一样,它们在更大的蛋白质家族上表现更好,而且即便是在完全没有相关论文的家族上也能做到。Fable 5.2 击败了我们运行过的每一个开源蛋白质语言模型,Opus 5.5 则与其中规模最大的 ProtGPT3-10B 持平。
前沿 LLM 在蛋白质任务上已经开始显得很出色。Atharv Jayprakash 表明,GPT-6 Astra 对 SOD1 变体的排序能力与 ESM-2 相当,PG-LLM 在许多蛋白质上也发现了同样的结果。这些模型是从 UniProt 这类蛋白质序列数据库中学到的,还是从关于蛋白质的文字描述中学到的?
著名蛋白质无法区分这两种情况:GFP 被印在无数论文中,大多数前沿模型都能背诵它。因此我们测试了几乎没人写过的蛋白质。
我们给模型一段蛋白质的开头,要求它给出接下来的氨基酸。然后我们对同一段蛋白质的打乱副本再问一次。打乱保留了字母,却破坏了它们的顺序,因此准确率上的差异衡量的是模型对序列本身了解多少。
AIPEVAWSV?VSAVPAIWE?RealShuffledOpus 5.5E✓NNL…34.9%writes 10, the first is scoredOpus 5.5R✗VWV…7.5%+27.4points AWSV?SAVW?RealShuffledOpus 5.5E✓NN…34.9%writes 10, the first is scoredOpus 5.5R✗VW…7.5%+27.4points
百分比是 Claude Opus 5.5 在全部 668 个蛋白质上的准确率。真实行及其答案来自测试集;打乱行仅为示意。
测试集是来自 167 个功能未知的 Pfam 家族的 668 个细菌和古菌蛋白质。没有任何家族有已解析的结构或超过三篇论文,也没有任何蛋白质在 UniProt 中有近亲。每个蛋白质在五个位置被切开。在每个切点,模型写出接下来的 10 个氨基酸,我们对第一个进行评分。思考强度设为最低。附录 E 有详细信息。
0 10 20 30 40 50 Next amino acid: real minus shuffled accuracy (percentage points) Claude Fable 5.2 Claude Opus 5.5 Claude Fable 5.1 Claude Opus 5 Claude Opus 4.8 Claude Opus 4.7 Claude Opus 4.6 Claude Opus 4.5 GPT-6.2 Sol GPT-6.2 Astra GPT-6.1 Sol GPT-6 Astra GPT-5.5 Gemini 4 Carbon Gemini 2.5 Pro DeepSeek V4.1 Flash Qwen 3.8 Kimi K3.1 Pro GLM-5.3 MiniMax M3 gpt-oss-120b Nemotron 3 Ultra +45.1 +27.4 +14.9 +9.6 +7.7 +8.9 +0.9 +1.9 +2.4 +1.1 +0.6 +2.9 +2.1 +0.9 +1.1 +1.4 +1.9 +1.2 +1.2 +1.0 +0.4 -0.0 ANTHROPIC OPENAI GOOGLE OPEN-WEIGHT LLM, chat prompt LLM, raw continuation 在 22 个语言模型中,只有最新的 Claude 模型能预测鲜有研究的蛋白质 来自 167 个功能未知(DUF)家族的 668 个细菌和古菌蛋白质,在 ≥90% 同一性下没有近亲;点:家族平均值,条:95% bootstrap 置信区间。原始续写:completion 端点或预填充回复。Claude Sonnet 4.5 拒绝了 97% 的预填充请求(未显示)。
实心点:聊天提示。空心点:FASTA 文本的原始下一 token 续写,通过 completion 端点或预填充回复实现,适用于允许这样做的模型。
Fable 5.2 在真实蛋白质上预测下一个氨基酸的正确率为 54%,在打乱的蛋白质上为 9%。这一差距几乎出现在每个家族中,而不只是少数几个容易的家族。它出现在 Opus 4.7 中,在 Opus 5.5 中跃升,在 Fable 5.2 中再次跃升。GPT、Gemini 以及七个开放权重模型(DeepSeek V4.1 Flash、Qwen 3.8、Kimi K3.1 Pro、GLM-5.3、MiniMax M3、gpt-oss-120b 和 Nemotron 3 Ultra)都接近于零,即便只是让它们按训练方式原始续写 FASTA 文本也是如此。最新的 Claude 模型还能写出其他模型很少能做到的连续正确残基(附录 B)。
蛋白质语言模型只从序列中学习,因此是天然的衡量基准。与 LLM 最接近的是那些从左到右读取蛋白质并预测下一个残基的模型:ProtGPT3,其 100 亿参数版本是最大的开源版本;以及 ProGen3,其最大的公开版本有 30 亿参数。在相同输入上,Fable 5.2 以很大优势击败了这两者。Opus 5.5 与 ProtGPT3-10B 持平,低于 ProGen3-3B。
0 10 20 30 40 50 Next amino acid: real minus shuffled accuracy (percentage points) Claude Fable 5.2 ProGen3-3B ProtGPT3-10B Claude Opus 5.5 ESM C 600M ProtGPT3-1.3B ProtGPT2 ESM3-open 1.4B ESM-2 650M +45.1 +32.5 +27.7 +27.4 +13.0 +11.6 +10.2 +8.5 +7.0 protein LM, reads left to right protein LM, masked (normally sees both sides) Claude Fable 5.2 击败了我们运行过的每一个开源蛋白质语言模型 每个模型使用相同的 668 个蛋白质和相同的输入:切点之前的残基。点:家族平均值,条:95% bootstrap 置信区间。向 ESM-2 展示切点两侧的残基时达到 +34.6(附录 C)。
ESM 模型被训练为能看到残基的两侧,因此对它们来说从左继续更困难。附录 C 有全部八个模型。
如果模型是从序列中学到的,那么序列更多的家族应该更容易。为了在广泛范围内测试这一点,我们增加了 90 个较小的家族,每个家族最少 20 个蛋白质,总共 257 个家族。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。