
测试显示AI难以识别数据泄漏,模型准确率虚高至99%
来源标题:Can AI Spot Data Leakage Before Your Model Hits 99% Accuracy?
一项测试将4种经典数据泄漏植入真实数据,冷启动测试4个模型,发现AI难以识别泄漏。其中一个工程特征按全表分组求均值,把预测目标的信息带入训练,使模型读到答案的平滑副本。对订单量少的店铺,该均值接近每行自身的真实值。
以下正文由 AI 翻译自 KDnuggets(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我们舍弃了market_id、store_primary_category和order_protocol,它们分别对应地区、餐厅类别和下单渠道。这样做并非因为它们毫无用处,只是编码74个不同的餐厅类别与我们正在测试的数据泄漏问题无关。
我们添加了一个工程特征,即商店的平均配送时长,并用两种方式计算:
泄漏版:使用所有行,包括即将被评分的数据
store_avg = df.groupby("store_id")["duration_sec"].transform("mean") df_shuffled = df.sample(frac=1.0) # 对带时间戳的数据进行随机划分
干净版:仅使用训练期订单,然后按时间顺序划分
store_avg = train.groupby("store_id")["duration_sec"].mean() train["store_avg"] = train["store_id"].map(store_avg) test["store_avg"] = test["store_id"].map(store_avg)
这一个工程特征携带了两种不同的泄漏。
第一种:store_avg是通过将整张表(训练行和测试行一起)按store_id分组,并对duration_sec求平均构建的——而duration_sec正是我们要预测的目标——然后将该平均值复制到每一行上。
对于只有少量订单的商店,平均值会接近该行自身的duration_sec,因此模型实际上是在读取答案的平滑副本。
第二种:created_at是时间戳,因此这张表本质上是按时间排序的,而在80/20划分之前进行打乱,会让训练行在时间上落在测试行之后。真实的生产模型只会看到在它被要求预测的订单之前下的订单。
我们用均方根误差(RMSE)对两个版本进行了评分,单位为秒,与duration_sec的单位相同。它回答的是“典型预测偏差有多大”,较大的偏差会被更重地计入。作为参照,这里订单的平均配送时间约为47分钟(中位数44分钟),因此14到16分钟的RMSE意味着诚实模型的典型偏差接近平均配送时间的三分之一。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。