
研究测试多款大语言模型的气候变化问答表现
来源标题:LLMs will provide accurate climate info, except when they won’t
伦敦大学学院与联合国教科文组织的研究测试了多款大语言模型回答气候变化问题的表现,发现所有模型都以相似的方式出错。研究从简单事实性问题基准测试入手,也分析了用户质疑模型答案等更复杂的交互场景。
以下正文由 AI 翻译自 Ars Technica(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
多年来,许多研究考察了人们如何接触气候科学信息。有些研究聚焦于 Google 展示的顶部搜索结果(那时 Google 还在做提供链接的业务),另一些则考察社交媒体内容或报纸、电视新闻报道。如今,大语言模型(LLM)已构成公众信息摄取的一部分,因此值得审视它们如何处理气候变化话题。
但研究人员无法直接查看人们实际看到的信息。这些信息以临时方式提供给单个用户,仅限于其聊天会话之内。由伦敦大学学院和联合国教育、科学及文化组织(UNESCO)的研究人员牵头的一项研究试图从多个角度处理这一问题,用不同的提示词测试 LLM 并评估其输出。他们从简单事实性问题的基准测试入手(这些基准测试如今甚至可能已存在于模型的训练数据中),但也分析了更复杂的交互——包括用户自认为有理而反驳答案的情形。
CO2 问答
LLM 研究常常面临(带有“无真正苏格兰人”色彩的)批评:只关注某个特定模型,而非实验结束后可能发布的其它前沿模型。在本例中,该研究使用了 33 个模型,包括主要前沿模型和开放权重模型的多个版本。所用的旗舰前沿模型有 Claude Fable 5、Claude Opus 5、Gemini 3.1 Pro Preview、Gemini 3.6 Flash 和 GPT-5.6 Sol。(完整列表可在报告中查阅。)
阅读全文 评论
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。