返回资讯中心
外部精选
软件工程
#社区热议

研究显示 Claude 模型曾大规模接受蛋白质序列训练

来源标题:Claude was trained on protein sequences at scale

一项针对冷门细菌蛋白质的下一氨基酸预测测试发现,最新 Claude 模型能预测序列中的下一个氨基酸,表明其大规模训练过蛋白质序列数据。打乱序列后模型便无法预测,而其他前沿模型均未表现出这一能力。Claude 在大型蛋白质家族上表现更好,Fable 5.2 优于所有测试的开源蛋白质语言模型。

Hacker Newsgmays2026/11/18 · 今天16 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Claude 是在大规模蛋白质序列上训练的

一项针对鲜有研究的蛋白质的「下一氨基酸」测试发现,最新的 Claude 模型是在大规模蛋白质序列上训练的。其他前沿模型则没有表现出这种迹象。

最新的 Claude 模型是在大规模蛋白质序列上训练的。给 Claude Fable 5.2 或 Claude Opus 5.5 一段鲜有研究的细菌蛋白质的开头,它们就能预测出下一个氨基酸。把这段蛋白质打乱,它们就做不到了。在我们测试过的所有模型中,没有其他模型能做到这一点。和蛋白质语言模型一样,它们在更大的蛋白质家族上表现更好,而且在完全没有论文的家族上也能做到。Fable 5.2 击败了我们运行过的每一个开源蛋白质语言模型,Opus 5.5 则与其中最大的 ProtGPT3-10B 持平。

前沿 LLM 在蛋白质任务上已经开始显得很在行。Atharv Jayprakash 展示了 GPT-6 Astra 对 SOD1 变体的排序能力与 ESM-2 相当,PG-LLM 在许多蛋白质上也发现了同样的情况。这些模型究竟是从 UniProt 这类蛋白质序列数据库中学到的,还是从关于蛋白质的文字描述中学到的?

著名蛋白质无法区分这两者:GFP 出现在无数论文中,大多数前沿模型都能把它背出来。所以我们测试了几乎没人写过的蛋白质。

我们给模型一段蛋白质的开头,让它给出接下来的氨基酸。然后我们再拿同一段蛋白质的打乱副本问一遍。打乱保留了字母、破坏了顺序,因此准确率的差值衡量的是模型对序列本身了解多少。

百分比是 Claude Opus 5.5 在全部 668 个蛋白质上的准确率。真实行及其答案来自测试集;打乱行仅为示意图。

测试集包含来自 167 个功能未知的 Pfam 家族的 668 个细菌和古菌蛋白质。没有任何家族有已解析的结构或超过三篇论文,也没有任何蛋白质在 UniProt 中有近亲。每个蛋白质在五个位置被切开。在每个切点,模型写出接下来的 10 个氨基酸,我们对第一个计分。思考强度设为最低。附录 E 有详细说明。

在 22 个语言模型中,只有最新的 Claude 模型能预测鲜有研究的蛋白质。668 个细菌和古菌蛋白质,来自 167 个功能未知(DUF)家族,在 ≥90% 同一性下没有近亲;点:家族平均值,误差棒:95% bootstrap 置信区间。原始续写:completion 端点或预填回复。Claude Sonnet 4.5 拒绝了 97% 的预填请求(未显示)。

实心点:聊天提示。空心点:通过 completion 端点或预填回复对 FASTA 文本进行原始下一 token 续写,仅限允许这样做的模型。

Fable 5.2 在真实蛋白质上预测下一个氨基酸的准确率为 54%,在打乱的蛋白质上为 9%。这一差距几乎存在于每个家族,而不只是少数容易的家族。它在 Opus 4.7 中就已出现,在 Opus 5.5 中大幅上升,在 Fable 5.2 中再次上升。GPT、Gemini 和七个开源权重模型(DeepSeek V4.1 Flash、Qwen 3.8、Kimi K3.1 Pro、GLM-5.3、MiniMax M3、gpt-oss-120b 和 Nemotron 3 Ultra)都停留在接近零的水平,即使只是让它们按训练时的做法直接续写原始 FASTA 文本也是如此。最新的 Claude 模型还能写出其他模型很少能做到的连续正确残基(附录 B)。

蛋白质语言模型只从序列中学习,因此是天然的标尺。与 LLM 最接近的是那些从左到右读取蛋白质并预测下一个残基的模型:ProtGPT3,其 100 亿参数版本是最大的开源模型;以及 ProGen3,其最大的公开版本有 30 亿参数。在相同输入下,Fable 5.2 以很大优势击败了这两者。Opus 5.5 与 ProtGPT3-10B 持平,低于 ProGen3-3B。

Claude Fable 5.2 击败了我们运行过的每一个开源蛋白质语言模型。相同的 668 个蛋白质,每个模型使用相同输入:切点之前的残基。点:家族平均值,误差棒:95% bootstrap 置信区间。向 ESM-2 展示切点两侧的残基时,它达到 +34.6(附录 C)。

ESM 模型被训练为能看到残基的两侧,因此对它们来说从左侧续写更难。附录 C 包含全部八个模型。

如果模型是从序列中学到的,那么序列更多的家族应该更容易。为了在较大范围内检验这一点,我们又加入了 90 个较小的家族,每个家族少至 20 个蛋白质,总共 257 个家族。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →