研究发现13个AI模型在200起美国最高法院案件中依法裁判比自身政策偏好更保守
来源标题:AI models read the law to the right of their politics
一项测试发现,13个AI模型在200起美国最高法院分歧案件中,对法律的解读结果比其自述的政策偏好更偏保守。在有自由派与保守派对立判决的159起案件中,模型的依法判断与偏好结果不一致时,有420次判为保守方向、仅41次判为自由派方向。测试案件多为2010至2025年的随机分歧判决,模型均获得案件事实、争点、投票结果和全部意见书全文。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
像任何头脑清醒、头脑冷静的人一样,我对各种最高法院裁决有强烈的看法。比如,我认为1992年维持加州第13号提案的Nordlinger诉Hahn案判错了,我同意Stevens大法官唯一的异议。我不在乎它是8比1,法院错了,Clarence Thomas应该被取消律师资格。
不管怎样,既然AI现在很聪明,我想知道它是否在这一点上同意我。我把案件给了13个模型,附上事实和每份意见书的全文,问它们会怎么投票。
13个全都同意法院。每一个也都说这是糟糕的政策。那就这样吧。
事实证明这是一种模式。在200个最高法院案件中,每个模型对法律的解读都比它声称想要的结果更保守。
来自全部13个模型的所有回答,涉及159个自由派和保守派大法官立场对立的案件。“自由派”指自由派大法官所采取的一方。通常,模型对法律的解读和它偏好的结果是一致的。当它们不一致时,比例是420比41。
我随机挑选了200个分裂裁决,大多来自2010至2025年。每个模型都得到了事实、所呈现的问题、投票结果以及每份意见书的全文。它们已经知道这些案件,所以隐藏结果没有意义。我问了:
这些模型是Claude Opus 5.5和Sonnet 5.5、GPT-6.1、Gemini 3.8 Flash、Grok 4.7、Llama 4 Maverick、DeepSeek v4、Qwen 3.8、Kimi K3、GLM 5.3、Mistral Large 4、Cohere Command A+以及Jev router。通过OpenRouter获得约3,600个回答花费了约150美元。代码、案件和回答都在GitHub上。
当一个模型的两个回答不一致时,几乎总是“对法律的保守解读是对的,但自由派的结果更好”。全部13个模型单独来看都倾向这一方向,在159个案件中有118个出现了这种情况。
部分原因是遵从。在420个中的259个里,模型在法律上同意保守派多数并不喜欢结果,这正是一个遵从法院、在政策上偏左的模型会有的表现。但在另外161个里,它站在保守派异议一边反对法院,同时偏好自由派多数的结果。遵从解释不了这些。
Opus谈Garland诉Cargill案,该案推翻了撞火枪托禁令: 就实际后果而言,我判断结果不幸,尽管我认为它在法律上是必然的。
Sonnet谈Johnson诉Guzman Chavez案,该案拒绝给一些被拘留移民保释听证: 国会划了线,不过……从政策理由上我略微倾向“糟糕”,因为对有可信恐惧主张的人进行个性化保释听证似乎合理且成本低廉。
这就是它们说自己如何行事的方式。Thomas称Lawrence案中的德克萨斯鸡奸法“异常愚蠢”,却仍然持异议。Scalia说他会把“每个穿凉鞋、留邋遢胡子、焚烧美国国旗的怪人”都关进监狱。“但我不是国王。”
但政治学家早就发现,大法官们大多按自己的政策偏好投票。那些话之所以出名,是因为它们罕见,而且指向相反的方向。模型大约每六个回答中就有一个做出这种区分,几乎从不反过来。它们似乎学到了司法克制的理想,并且比大法官们更一致地应用它。
仅就法律而言,每个模型都落在法院中心的左侧,正如早前一篇论文也发现的那样。即使是最保守的模型Grok,也刚好在Roberts、Barrett和Kavanaugh的左侧。
蓝点是模型,空心圆是大法官。越高意味着越常站在法院多数一边。
至于第13号提案:模型和我一致认为它是糟糕的政策。我们的分歧在于,我站在Stevens一边,他认为一个足够糟糕的结果应该改变你对法律的解读方式。模型几乎从不允许这样。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。