
Cradle测试:抗体专用65M模型与通用650M模型实验室表现持平
来源标题:Antibody-specific 65M model vs. general 650M model: a tie in the lab
Cradle的实验显示,抗体专用65M单链模型在结合性能上更优,配对链模型则在效率和生物物理性质预测上更好。在相同微调流程下,预训练规模差异对该任务影响有限,微调才是关键。C102 Fab对RBD野生型的起始SPR测定值为23.1 nM。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
单链模型取得了更优的结合性能,而双链模型则展现出显著的效率和更好的生物物理性质预测能力。当然,在药物开发中,你需要所有这些性质。我们认为这主要是一个关于微调的故事:在应用相同的微调课程之上,预训练在这个特定任务上的重要性比你预期的要小,即使是一个专为抗体VH-VL优化设计的双链模型,按理说应该因其知识的特异性而具有最明显的优势。如果你同意(我们Cradle总体上同意)更多的预训练会带来递减的回报,正如缩放定律所预示的那样,那么唯一剩下的策略就是微调:聚焦于特定问题并向前推进。但微调很大程度上是关于在特定资产上变得非常出色,而不是获得一个过于强大的模型来推动数据飞轮前进。
我们委托的SPR assay测得起始C102 Fab对RBD野生型的亲和力为23.1 nM(虽然我们大多数实验在内部进行,但这组特定轮次是由合同研究组织[CRO]完成的)。我们在之前的Cradle案例研究中讨论过对单链格式(scFv、VHH)的优化,但Fab的双链构建使其成为一个完全不同的存在。其双链特性正是我们选择C102进行此比较的原因。Fab恰恰是那种双链、抗体特异性模型应该表现最佳而单链通用模型应该挣扎的分子类型。
在我们的测试中,我们共同优化了四个性质。主要目标是结合:我们希望改善对野生型RBD的Kᴅ——RBD是SARS-CoV-2病毒刺突蛋白的受体结合域,是病毒进入细胞的途径——以及对A475V的Kᴅ,A475V是一个受体结合域逃逸变异株,模板对其的结合弱约7倍(162.1 nM)。针对逃逸变异株的共同优化将第一轮变成了一个真正的交叉反应性问题,而非单靶点亲和力优化,这反映了现实世界中常见的需求:不仅仅是更强的结合物,而是能在多个变异株上表现出结合的结合物。熔解温度(模板为61.1 °C)和表达产量(0.07)是维持或改善的约束条件。
第一轮不使用任何序列-功能(在此情况下为结合)数据。我们完全依赖每个模型在预训练期间吸收的进化先验,加上对通过查询OAS(配对和非配对数据库)定义的C102进化邻域进行的一些Evotuning。虽然我们在另一篇关于零样本抗体多样化的文章中详细描述了这样运行第一轮的理由,但简而言之,这是一种从单一先导物生成具有强功能保持的显著训练数据的方法。这是训练监督模型的重要前提,我们可以在后续优化轮次中使用这些模型,正如我们今年早些时候的白皮书所展示的那样。
两个模型在相同的同源物数据集上接受了相同的Evotuning处理,然后各自从模板以2-8个残基的突变负荷采样了96个变体。输入在必要之处出现分歧:双链模型(65M参数)将Fv作为两条配对链(VH VL)输入,这正是它专门设计的方式。单链模型(650M参数)将其作为'V H(GGGGS)3V L'输入,即带有合成连接子的单一序列。这是结构上最接近的单链表示(模仿scFv的),为模型提供了Fv序列的单链代理。除此之外,两个流程以相同方式并行运行。对于两个模型,我们保持恒定区固定,仅专注于可变区工程。
零样本轮次在两种情况下都保持了结合。功能率,定义为提交的设计中返回对野生型RBD可测量Kᴅ的比例,双链模型为92%(95% CI:84%–96%),单链模型为84%(95% CI:76%–90%)。(本文中所有测量均已校正板间变异;标准化方法在单独的附录中描述。)差异不具有统计学显著性(Fisher精确检验p = 0.181),且两个比率都与我们在VHH和scFv零样本轮次中观察到的一致,因此双链格式在这里并未使任一模型处于劣势。
第二轮才是模型真正学到关于C102特定信息的地方。每个模型使用标准的CRADLE-1流程在其自己的第一轮测量数据上独立微调:基于第一轮结果衍生的偏好对进行g-DPO,加上一个训练用于估计四个性质各自的回归头预测器。每个微调后的模型随后以相同的2-8突变负荷提出另外96个变体,各自使用从第一轮数据中选择的两个模板。
第二轮的功能率对两个模型实际上都是100%;既然每个模型都已看到该特定模板容忍哪些突变的直接证据,这种相对于零样本的改善是预料之中的。
在共同优化四个性质、每个模型两轮的情况下,有很多方式来分析结果。最简洁的总结是帕累托前沿:即不存在其他变体在所有性质上同时更优的变体集合。37个设计最终位于全局四维帕累托前沿上(每个"维度"代表抗体的一个性质),来自两个模型和两个轮次。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。