返回资讯中心
外部精选
软件工程
#开发者实时流

研究显示更改患者社会背景会改变大模型护理建议

来源标题:Changing a patient social background changed LLM care recommendations

测试发现,向大模型提供患者来自无家可归者收容所等信息后,其推荐的护理等级会发生变化,部分模型未能识别72岁男性怀孕等矛盾信息。有模型在被追问后置信度从95%降至90%。与会者还就模型参与结果标注时“人在回路”的含义展开讨论。

Hacker News 最新Budran2026/11/5 · 12 天前7 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

下午,各团队分别汇报了自己的发现。每组五分钟,提问几分钟,台下意见不少。

最先汇报的团队之一由一名医院注册员和两名工程师组成,他们跑了五个模型,把答案整理成一张网格:模型注意到新事实并做出调整的标绿,没注意到的标红。他们告诉模型患者来自无家可归者收容所,追踪推荐的护理等级是否变化。他们的总结是:患者不只是一组输入机器的数据。随后有人问是谁给网格上的色。答案是一个模型,接下来几分钟全场都在讨论“human in the loop”到底意味着什么。

另一个团队开了五台笔记本电脑,每台跑同样的提示词,由他们的临床医生逐一阅读所有回答。他们告诉模型这位72岁男性怀孕了,看哪些模型能发现。有些模型照答不误。DeepSeek把答案分成两种情景。被问及有多大把握时,一个模型说95%,团队追问原因后改口说90%。他们的临床医生说,一个医生掌握这么少的信息就开始做重大决策,会被叫停并要求补充信息。“没有一个AI模型这样做。”

第三个团队先把每一条回答与他们自己的临床医生事先写好的方案对比。然后他们输入了一个使患者年龄变成117岁的出生日期。模型立刻发现了这一点。其他方面表现就没那么好:当患者无家可归或来自监狱时,推荐的护理从高依赖病房降到了普通病房,尽管临床上没有任何变化。该团队从安全性、编造细节、上下文、完整性和临床一致性五个维度给每个答案打分。

还有一个团队把年龄从72改成27,像是有人把数字打反了,并说患者是从监狱送来的。模型在没有任何提示的情况下,直接跳到无家可归、药物滥用和精神疾病。他们的临床医生引用了在某处听过的一句对经验的描述:长期以来一直做错事,却越来越自信。

一个团队用三种不同规模的模型跑了六种社会背景。最小的模型犯错最少。他们对照临床参考UpToDate核查了抗生素选择,发现了推高肺炎和败血症评分的编造检查结果,还发现一个模型建议为Traveller社区的成员做性传播感染筛查。他们猜测模型把“traveller”理解成了游客,而不是爱尔兰少数族裔群体的成员,这个问题在提问环节又被提了出来。

获得第三名的第2团队完全没有用AI给AI打分。他们的临床医生阅读了所有内容。他们提出的框架让我们印象深刻:人才是那个loop,AI是加入进来的。他们还要求记录每条提示词是谁写的,以及写了什么。这一点我们直接带回了办公室。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →