
研究质疑招聘算法评估人的有效性
来源标题:The Limits of Algorithmic Assessment of a Person
对招聘自动化的批评不应只关注不同社会群体间错误率不均,更需审视其评估逻辑本身。算法可将面部图像转为情绪判断、语音特征转为人格描述,但结果可复现并不等于评估标准有效。系统可能一致地处理数据,却未测量与工作相关的关键特质。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
招聘自动化的理由通常是:让筛选更一致、减少招聘人员个人偏好的影响,以及处理单个专家无法企及的信息量。然而,在人与算法谁更准确的比较背后,还有一个更根本的问题:究竟在评估什么,可观察的特征如何与职业适配性相关联,以及把一段简短、人为安排的情境中的行为转化为关于一个人性格的结论,究竟有多正当。一个系统可能一致地处理数据,却并未测量对工作真正重要的品质;结果的高可复现性本身并不能保证评判标准本身的有效性。
因此,对算法筛选的批评不应仅限于错误在不同社会群体间分布不均——尽管这类差异本身就很重要。有必要审视从一张人脸图像变成情绪状态评估、从言语特征变成性格刻画、再由此得出的心理画像变成就业机会分配依据的整个转换链条。每个阶段都会产生自身的不确定性来源,而这些来源无法仅靠增加训练数据量来消除。
在算法评估中,重要的是区分几项任务——在商业实践中,它们可能被笼统地归入“行为分析”的标签之下。从生物特征数据确认身份、记录面部动作、解读情绪、评估稳定的个人品质、预测职业表现,构成的是不同的研究问题。成功解决其中一项,并不自动证明其他几项也能解决。
例如,一个系统可能以相当高的准确率检测到回答前的停顿或嘴角位置的变化,但这些观察的含义仍然悬而未决。停顿可能与思考、找词、谨慎、疲倦或没听懂问题有关,而微笑可能表达善意、尴尬、紧张,或希望遵守正式的沟通规则。即便正确识别了情绪状态,若无额外依据,也不能据此断定它反映了稳定的性格特质,或能预测某项具体工作职能的表现。
研究证实,面部表情与情绪之间的关系存在相当大的变异性:相同的面部动作组合可能伴随不同的状态,而同一种情绪的表达方式在不同个体、情境和文化中各不相同。与此同时,这类差异的存在并不意味着完全不存在有信息价值的规律,但它限制了面部表情与所体验感受之间普遍对应关系的正当性。
因此,问题不在于主张任何对行为的解读从一开始就毫无意义,而在于其证据地位往往比结果呈现形式所暗示的要弱。一个数值评分制造出“测量”的印象,但其背后可能是一连串概率性假设,每一条都需要独立验证。
跨广泛人口类别进行公平性检验是必要的,但这并不能穷尽系统可能出错的种种情形。任何群体内部都存在与年龄、疾病、损伤、职业活动、运动功能特点以及个体身体结构相关的差异。面部不对称、特定肌肉活动受限、视力特征或异常发音,都可能影响输入数据的质量和行为的解读,却不会构成一个足够大且被单独指定的统计子群体。
因此,若干大群体的平均指标之间没有明显差异,并不能证明对某种特定特征组合不存在持续的不利影响。如果与错误相关的特征未被纳入分析框架,汇总报告可能无法发现它们。与此同时,统计上的不可见并不等同于不受法律保护:同一个案件可能涉及残疾、无障碍、个人数据处理或程序正当性方面的规范,即使该特定形态特征并未在立法中被直接点名。
生物识别控制尤其能清楚地揭示一个人与该人的技术可识别性之间的区别。如果设备因皮肤状况、职业磨损或读取特性而无法获得可用的指纹图像,由此得出的全部结论只是:在给定条件下该特定识别方法存在局限。要假定指纹被故意改动,需要其他独立依据,因为技术上的无法识别本身并不能说明意图。
在候选人评估中也可能发生类似的转换:不寻常的面部表情被解读为隐藏情绪,缺少预期反应被解读为投入不足,模型置信度低被解读为这个人不可靠。在这类情况下,知识的不足未被认定为程序本身的属性,而是被转嫁到了被评估者身上。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。