humans& 发布教学模型 &Tutor，通过 API 开放

今天我们发布 Ampersand Tutor（&Tutor），这是一个经过训练、专门用于教学的模型，可通过 API 使用。&Tutor 通过与 Persimmon 对抗训练来学习教学——Persimmon 是我们的大规模用户模型，在其中扮演学习者。&Tutor 在 TutorMoments [1] 上取得了最先进的性能，该基准由真实辅导场景构建而成。

humans& 的一个核心理念是：模型可以通过从长期的人类交互中学习，更好地理解我们，并为我们的长期目标进行优化。教学让这一理念尤为突出。它要求理解学习者已经知道什么 [2]，并在此基础上帮助他们学习 [3]。我们的评估考察了这种训练如何改变 &Tutor 的教学行为，以及这些改变如何在 Persimmon 的驱动下产生。

在这篇博客文章中，我们描述如何构建和评估 &Tutor。然后，我们描述为验证 Persimmon 建模人类学习者的能力而设计的评估。我们今天通过 API 向公众开放 &Tutor。

我们来验证一下！如果 n = 10，那么 10 × 10 × 10 是多少？算出来。它等于 10 吗？

哈，我喜欢这个反应！告诉我你刚刚意识到了什么。然后，再试一次我之前的问题——是否存在任何整数 n，使得 n × n × n = 10？为什么这对求立方根很重要？

因为数字的立方增长得相当快。1 的三次方是 1，2 的三次方是 8，3 的三次方是 27。10 介于 8 和 27 之间，所以不存在整数 n，使得 n 乘以 n 乘以 n 等于 10。

好的辅导者会帮助学习者形成持久的理解。我们围绕这一原则构建了 &Tutor 的训练环境，根据学生学到多少来奖励辅导者。我们以 Persimmon 作为学习者模型进行训练。为了隔离这些效应，&Tutor 并非从 Ampersand 训练而来，尽管我们计划将其整合到未来的 Ampersand 训练中。我们下面的评估表明，这种训练环境会鼓励许多与良好教学法相关的下游教学行为。

接下来，我们详细介绍对 &Tutor 的评估。

TutorMoments [1] 基于与真实学生的真实辅导会话构建。经验丰富的数学教师挑选出关键时刻——在这些时刻，辅导者必须决定是提供支持还是推动学习者更努力思考——并记录每个时刻需要什么。模型从该时刻继续每个对话，由一个 AI 模型扮演学生，一个 LLM 评判员根据教师的标注对它们的回答打分。我们在两种提示下评估辅导模型：普通提示（仅要求模型好好辅导）和评估感知提示（明确描述支持与严谨之间的平衡）。

结果。在普通提示下，&Tutor 在 TutorMoments 上的总体得分为 0.754，而它训练自的 GLM-5.3 模型为 0.500。它优于领先的前沿模型，包括 Claude Sonnet 5.5（0.667）和 GPT-6 Astra（0.634）。在评估感知提示下——该提示提高了每个模型的得分——&Tutor 得分为 0.919，仅次于 GPT-6 Astra（0.926），并在适当严谨性上获得所有模型中的最高分（0.931）。

重要的是，这些行为没有一个是直接训练的。&Tutor 根据学生学到多少获得奖励。知道何时搭建支架、何时推动严谨、何时收手的教学技能，全都从训练中隐式涌现。

我们的结果还表明，学习者模型在训练环境中扮演关键角色，并决定最终辅导模型的质量。我们做了一个消融实验：用相同的配方训练一个辅导模型，但用 GLM-5.3 作为学习者，而不是 Persimmon。这个消融实验显著低于针对 Persimmon 训练的 &Tutor。这一结果可以用以下事实解释：正如我们稍后在学习者评估中展示的，Persimmon 是比 GLM-5.3 强得多的学习者模型。

0.7540.635 低推理投入：TutorMoments 总体得分随步数变化&针对 Persimmon 训练的 &Tutor 最终为 0.659；针对 GLM-5.3 训练的 &Tutor 最终为 0.477。0.350.400.500.600.700.800102030405060StepsTutorMoments overall score0.6590.477

像 &Tutor 这样的模型真正的考验，是它在现实环境中随时间推移帮助人们学习的效果如何。我们期待与从事教育工作的团队合作，在这些环境中评估它。

模拟学习者长期以来一直是教育领域的研究课题 [4, 5]，用于让教师练习、评估教学方法以及研究学生如何学习，而语言模型最近使它们的能力大大增强 [6, 7, 8, 3, 9, 10, 11, 12]。好的模拟学习者反过来可用于训练辅导者 [13, 14]。扩展这种方法取决于模拟学习者对真实学习行为的建模程度。如果它们的行为与真人不同，&Tutor 可能会学会利用这些差异，产生在模拟中有效但无法转化为现实世界教学的收益。因此，学习者模型的质量对训练 &Tutor 至关重要。

在广泛验证 Persimmon 忠实建模真实人类学习者行为的能力之后，我们将其用作学习者模型。我们特别展示，Persimmon 能够更好地在众多与学习相关的维度上建模真实学习者的行为分布，包括对话流程、情感和错误模式。

为了评估模拟学习者与真人的相似程度，我们以真实辅导对话为起点生成学习者回应。然后，我们在四个数据集上比较模拟学习者和真实学习者。

两个数据集捕捉学习者与 AI 辅导者协作的情况。它们是 SimulatorArena Math [15]（人们在此解决竞赛数学题）和 StudentBench [16]（一小时的 GRE 辅导课程）。对于这些数据集，模拟学习者从真实学习者的第一条消息开始，在多个学习者回合中继续，与相同的 AI 辅导者提示和模型交互，或者在原始模型已退役的情况下使用最接近的可用版本。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）