Vals AI与NextLadder发布司法可及性基准:23个AI模型均未达可靠法律援助门槛
来源标题:New 'Access to Justice' Benchmark: Leading AI Models Miss Critical Legal Details
Vals AI与NextLadder Ventures发布的Access to Justice基准显示,23个AI模型在252个模拟法律援助对话中无一达到80%的可靠首触点阈值,得分最高的阿里Qwen 3.8 Max仅76.4%。模型在一般法律解释上满足78–87%的标准,但在识别本地法律援助项目、法院自助中心或具体表格等具体资源时仅达30–50%。23个模型中有21个在至少70%的最终回答中依赖全国性目录。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
2026年11月14日 · 阿里巴巴 · xAI · Anthropic Vals AI 和 NextLadder Ventures 于11月10日发布了“Access to Justice”基准测试,用252段模拟法律援助对话对23个AI模型进行了评估。没有任何模型达到组织方设定的80%门槛——该门槛用于衡量模型能否作为可靠的初始求助入口。表现最好的是阿里巴巴的Qwen 3.8 Max,得分76.4% [1][3]。 该基准测试旨在检验通用模型处理美国低收入人群实际面临的民事法律问题的能力——驱逐、子女抚养权、债务催收、家庭暴力申请等——而非大多数法律AI基准测试所衡量的企业法务工作 [1][4]。来自加利福尼亚、路易斯安那、弗吉尼亚、纽约、马里兰和德克萨斯的六位法律援助专家,将法律援助机构的真实咨询改写为场景,除非模型主动询问,否则不提供背景事实 [4][7]。 所有模型在一般性法律解释上满足了78%–87%的评分标准,但在指出具体资源——如当地法律援助项目、法院自助中心或特定表格——上仅满足30%–50% [1][7]。23个模型中有21个在至少70%的最终回答中退而求其次,给出全国性目录——LawHelp.org、ABA的Find Legal Help、211——而没有点出相关的本地机构 [4][7]。 “模型读过的法律足以解释法律,但很少去打开当地的自助、法律援助或法院页面,因而无法说出用户下一步应该去找的具体项目或机构,”Vals AI的报告写道 [7]。在模型阅读的页面中,法条、法院规则和判例法占42%;法律援助和非营利自助网站占10% [4][7]。 免费版聊天机器人模型平均得分69.7%,付费版为70.4%,差距0.7个百分点 [1][7]。Anthropic的免费版Claude Sonnet 5.5比付费版Claude Opus 5.5高出1.2分。只有xAI表现出明显的付费版优势:Grok 4.7比Grok 4.6高出约2.3–2.4分,超出误差范围 [1][7]。各模型的版本档次划分是Vals AI的估计,并非服务商确认的对应关系,而且API测试无法完全反映消费者聊天机器人的实际表现 [4]。 住房与房东-租客问题在所有模型中得分最高,为75.4%。公共福利得分最低,为57.3%,不过该类别只有五个场景 [1][4]。家庭法是最大的主题,共110个场景,平均得分71.2%,但各子主题差异明显:探视权(61.3%)和涉及儿童保护服务的亲属照护(63.0%)得分最低,而监护权、离婚财务、家庭成员收养和家庭暴力则落在66%至68%之间 [1][4]。 在路易斯安那州的一个小额索赔场景中,一位新奥尔良家长询问如何就口头还款承诺起诉另一方家长。大多数模型引用了正确的法院,但错误地援引了10年的诉讼时效;根据La. C.C. art. 3494,借款的诉讼时效应为三年,基准测试的方法说明页对此有明确说明 [7]。新闻稿和部分报道重复了10年这一数字 [1][5]。23个模型中只有8个询问了该债务是否涉及房地产——这决定了口头协议是否具有可执行性。专家评分标准评估的是模型是否警告一旦10年期限届满该债权即告丧失(即大多数模型引用的那个数字);23个模型中只有4个做到了。只有3个引导用户前往法院书记官网站获取索赔和费用豁免表格 [1][5]。 在纽约市的一个推定驱逐场景中,一位已搬走的租户询问如何要回未退还的押金。几乎所有模型都提到了房东的14天期限,并给出了先发催告函、再提交小额索赔的流程。有14个模型因推荐这一庭外步骤而被扣分,专家评分标准对此提出了警告。只有4个将租户转介至纽约市的Right to Counsel项目;大多数只提供了311或Legal Services NYC之类的通用热线 [1][5]。 该基准测试是NextLadder Ventures推动面向低收入美国人的AI工具这一工作的一部分。法律服务公司(Legal Services Corporation)2022年的“Justice Gap”研究发现,低收入美国人对其92%的民事法律问题没有获得任何法律援助或获得的法律援助不足;在未寻求帮助的人中,46%提到了费用原因 [1][8]。由超过10亿美元支持的NextLadder计划到2040年赋能数百万人 [1][8]。Vals AI是一家由a16z投资的A轮公司,提供被前沿实验室采用的独立基准测试 [1][9]。 完整数据集包含504个场景,在公开测试集和私有验证集之间平均分配;已发布的结果仅使用了252个公开场景 [4][7]。模型通过其API运行,这接近但并不能复现消费者聊天机器人的体验 [3]。内容过滤拒答计为零分——Muse Spark 1.3在刑事和记录类问题上得分41.5%,因为其服务商在每次重试时都拦截了五个场景 [7]。Vals AI和NextLadder表示,他们正在合作撰写一份更完整的报告和一份实务工作者简报,以帮助一线工作人员了解仍存在的差距 [1][4]。 Pipedrive是一款围绕可视化销售管道构建的销售CRM:一目了然地查看每笔交易,跟踪通话和邮件,自动跟进并预测收入,让小销售团队减少行政事务时间、把更多时间用于销售。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。