Hollis Robbins：AI基准测试正在把模型变成共识机器

Hollis Robbins 2026年11月14日 1 1 分享 如今，AI基准测试无处不在，它是一把衡量那些不易衡量的能力的尺子；甚至还有了一本新书。温度有温度计，地震有里氏震级，可什么才是衡量AI的最佳标尺？SAT和智商测试都不太管用。于是，AI研究者们正在开辟新的“理解”类别：图像识别、测试问答、编码与调试、模式识别、抽象推理，以及聊天。说来遗憾，基准测试有点像学习成果。 选定基准测试的好处在于，它们有助于衡量进展。坏处则是，它们会围绕预先认定的表现来组织（并限制）学习。这套系统是可以被钻空子的。 我曾写过，高校口口声声说自己致力于创新和拓展知识，却被规模化运作成了产出可预测、可比较、可管理的模样。本周那条关于加州兼职教师钻制度空子大把赚钱的重磅新闻，其背后的政策依然原封不动。只有当课程全是千篇一律的模板课时，你才可能教50门课。（那些抱怨“觉醒”课程的人，也该管管这种“千篇一律”的政策。） 如今，我在AI公司身上看到了同样的毛病。AI模型的强化学习（RL）训练，就是预先设定基准、生成难度递增的任务、评估表现与输出，并奖励对标准的顺从。这种顺从的倾向，让我对AI或高等教育的进步都不抱乐观。在这一点上，我与Dwarkesh Patel看法不同。 为什么？我自己的经验是，模型越好，就越“保守”。多年来我一直是Claude的重度用户，做研究时总是选最新的模型——Claude Fable和ChatGPT Sol或Astra。我的写作是我自己的，Pangram可以作证，但我会用能拿到的最好的模型来试跑想法。你猜怎么着？最新的模型费尽心机想把我拉回共识思维。当你试图推动改变（对我来说是高等教育），而你又来自一个拥有扎实知识和经验的位置时，一个张口就说“嗯，你言过其实了”或者“你这个说法需要证据”的模型，会让人无比沮丧。我此前在两所公立院校担任院长，亲眼见过那些通常见不了报的猫腻，所以根本不存在提供“证据”的“研究”。于是，对Claude Fable来说，我就是“言过其实”，Claude希望我人云亦云。 我在这里不妨夸大其词地说：如果这种事发生在我的领域、发生在我身上，那它就在所有地方、发生在其他专家身上、发生在他们的领域里，最令人不安的是发生在科学界。我可以想象Claude警告伽利略、牛顿或Barry Marshall，说他们超出了共识思维。 所有那些在预制网课里的数十万美国大学生，同样只接触得到共识思维。他们就是下一代AI用户。这可能会是共识+共识+共识，一路到底。 对不熟悉RL的读者，它是这样运作的：模型生成回答，获得评分，然后被调整，使受奖励的回答更可能出现。DeepSeek的R1技术报告对初学者很有帮助。在其R1-Zero训练中，数学答案被放进一个框里，好让评分器核对；代码则针对预定义的测试用例进行检验。另有一个独立的奖励机制，检查模型是否按要求格式呈现其推理过程。这就像在线课程设计里一门必修的“最佳实践”研讨会。挑那些难解却易查的题目。对于不易查证的答案，就制定一份评分标准。Scale AI的一篇论文《Rubrics as Rewards》用针对具体任务的清单来训练模型，清单规定了什么样的答案算好答案——就是大课教授发给研究生助教批作业的那类东西。一切都在事先定好。这就是共识的含义。 在教育界，这干脆就叫“逆向设计”。你先决定想让学生学到什么，再挑选作业。AI的热门术语“对齐”，就是从教育界借来的。John Biggs在1996年首次提出“建构性对齐”，还配上了学习成果，建议教师从你想让学生学到什么出发。但正如德克萨斯大学阿灵顿分校的课程设计指南告诫教师的那样，要提防标新立异的作业。“如果它们与目标没有直接关系，那么课程设计就需要重新评估。”这套激励机制鼓励你扔掉任何有趣但与“获批成果”无关的东西。可谁都知道，那些才正是教育中最精彩的时刻。 AI研究者如今发现，当模型在能获得奖励的指标上有所提升时，答案会变得狭窄。Robert Kirk及其同事比较了用优质回答范例训练的模型与进一步用人类反馈训练的模型，发现RL产生的回答多样性更低。研究“答对即奖励”效果的RL研究者也发现，模型即便在训练题上，回答也变得不那么多样；更糟的是，它在能解的题目上丧失的多样性，会蔓延到它尚不能解的题目上。其他研究也印证了这种僵化。研究者试着用RL训练模型生成研究想法，结果发现平均想法变好了，但出色的想法变少了。这种后训练导致模型尝试新事物的能力萎缩，其代价有了个新名字：“锐化税”。 读读Hugging Face联合创始人Thomas Wolf的这篇精彩文章《爱因斯坦AI模型》，文中描述了他在学校里如何出类拔萃，能轻松预见教授的讲课走向，知道考试会考什么。但后来，他发现自己很难提出新想法，也很难挑战所学到的东西：

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）