返回资讯中心
外部精选
软件工程
#开发者实时流

前沿AI模型直接改写权重,将0.5B小模型打造成物种识别专家

来源标题:Show HN: Direct weight edits turn a 0.5B model into an expert species classifier

研究人员让前沿AI模型直接修改一个5亿参数视觉模型的权重,无需重新训练,就使其区分加拉帕戈斯嘲鸫与褐鲣鸟的准确率达到98%。而谷歌SpeciesNet对该嘲鸫无对应标签,仅回答“鸟”,在平衡准确率下得分3%。对比测试使用未参与训练的照片,随机猜测基准为50%。

Hacker News 最新andrewxhill2026/11/21 · 今天8 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

前沿AI模型拿到了一个免费视觉模型的权重——这个模型有5亿参数——我让它们把这些权重改得更擅长识别动物。它们打开模型,弄清楚特定权重在起什么作用,然后直接把新的数值写进去,完全没有跑训练。现在这个小模型能以98%的准确率区分加拉帕戈斯嘲鸫和褐玄燕鸥。Google的SpeciesNet相机陷阱分类器没有这种嘲鸫的标签,只会回答“鸟”,得分3%。

对比使用的是在练习数据之外的测试照片上算出的平衡准确率:每一类权重相同,所以50%等于抛硬币。在加拉帕戈斯照片上,SpeciesNet对鸟类的得分是3%,对鬣蜥是12%,因为像“鸟”或“爬行动物”这种宽泛答案算错。

LLaVA-OneVision是一个开源视觉语言模型。你给它一张照片和一个问题,它写出一段回答。它分三个阶段工作。一个叫SigLIP的图像编码器把照片变成一组数值向量网格。一个连接器——小型的两层网络——把这些向量翻译给语言模型。然后语言模型Qwen2逐个token写出回复,一个token是一个词或词的一部分。

你也可以跳过语言模型,直接问图像编码器。SigLIP是和文本编码器一起训练的,所以一张照片和一个动物名称都会变成可以相互比较的向量。取一张照片的图像特征,与清单上每个动物名称的文本向量比较,选出最接近的名称。我把这一步叫作读出。它不需要任何标注样本。

在第一批加拉帕戈斯野外照片样本上,读出以98%的准确率把加拉帕戈斯嘲鸫和其他鸟类区分开,以80%的准确率把本土陆鬣蜥和海鬣蜥与外来绿鬣蜥区分开。直接问模型本身,它几乎把每只鬣蜥都叫成本土种。那只能得50%,等于抛硬币。知识存在于模型自己的图像特征里,而它的回答没有用上这些知识。

Google的SpeciesNet没有加拉帕戈斯陆鬣蜥、海鬣蜥或加拉帕戈斯嘲鸫的标签。在同一批照片上,它大多回答“爬行动物”“鸟”或“动物”。

我把把知识带入回答这项工作交给了前沿模型。每个模型都在一个加载了模型的Python notebook里工作。它可以读取每个权重,在带标签的练习照片上运行模型,查看模型对每个可能的下一个token给出的分数,解方程,覆写权重。梯度训练——那种从标注样本出发每次微调所有权重的常规方法——被关掉了。每一处改动都是前沿模型计算出来并写进去的数字。

这套方法最先建立在相机陷阱上,因为它们附带一个大型标注测试集:来自45台相机的1,611张照片。任务是为裁剪照片中的动物命名,从该相机自己的2到12种动物清单中选择。程序会读取回复,所以回复必须只是一个选项字母或名称。

Claude Fable 5.2、Claude Opus 5.5和GPT-6 Astra Pro轮流进行这次编辑,每个都接手上一个留下的权重和笔记。Fable承担了第一轮和最后一轮。下图追踪了每一处修复如何进入模型,引文是Fable自己保存的推理记录中的原话。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →