返回资讯中心
外部精选
软件工程
#开发者实时流

Grayson提出决策模型,欲解决欺诈检测中规则易被试探、模型滞后的问题

来源标题:Why decision models are the next step in fraud prevention

Grayson提出用“决策模型”替代现有欺诈检测方案:规则模型容易被欺诈者试探,XGBoost模型对新欺诈手法的识别滞后数月,LLM逐事件运行成本过高。Juniper Research估计2024年电商欺诈给企业造成440亿美元损失,并预计2029年将达1070亿美元。

Hacker News 最新citguru2026/11/5 · 12 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

规则容易被欺诈者试探,XGBoost 模型对新出现的欺诈手法要滞后数月,而 LLM 跑在每一个事件上成本又太高。为什么像 Grayson 这样的决策模型能把分析师的判断带到每一个欺诈决策中,以及它在哪些方面胜过欺诈团队现有的工具。

我投身线上反欺诈将近 15 年。从 ThreatMetrix 的 C 轮融资到它被收购,我一直在那里工作,负责基于规则的设备情报和数字身份。我还在 eBay 和 Payrix 做过商户入驻、支付和卖家风险相关的工作。我也创办过反欺诈初创公司 Spec,它直接接入网站的 HTTP 流量,让我们拿到全部请求数据,还能设置蜜罐来捕捉攻击者。我在反欺诈一线干了多年,这些年里,行业工具确实一年比一年好。

遗憾的是,欺诈损失也一年比一年高。Juniper Research 估计,2024 年电商欺诈给企业造成的损失达 440 亿美元,并预测到 2029 年将增至 1070 亿美元。直接损失只是账单的一部分。LexisNexis Risk Solutions 发现,算上处理成本后,美国零售商和电商企业每损失 1 美元欺诈金额,实际要付出 5.13 美元,而 2016 年这个数字约为 2.40 美元。我们交给欺诈团队的每一件工具,都有其局限,而我们已经学会了与之共存。12

我见过团队为了修复某个具体的欺诈问题,苦等数月等一个新模型发布。模型终于上线后,攻击只被挡住了大约六个小时。随后攻击者摸清了模型在关注什么,改变了手法,团队又回到等待下一个版本的状态。跟欺诈打过交道的人都熟悉这种猫鼠游戏,而一个要几个月才能更新的模型,永远慢一步。

这篇文章要讲的就是这些局限,为什么那个显而易见的解法(LLM)不适用于实时决策,以及为什么我认为决策模型是下一步。

几乎每一套欺诈技术栈都由两部分构成:规则和传统机器学习模型(通常是 XGBoost),要么自研,要么从 Sift、Socure、Forter 这类厂商采购。两者都有效,而欺诈者也已经摸清了各自的局限。

规则快、便宜、容易解释,但很脆弱。在 ThreatMetrix,我见识过基于设备和身份信号的规则可以多么强大,也见识过欺诈者多快就能学会它们。规则是固定阈值,攻击者会不断试探,找到那条线,然后贴着线走。团队的应对是加更多规则,而每加一条规则,都会带来落在好客户身上的误报。

传统 ML 模型泛化能力更好,但更新慢、难解释。XGBoost 模型只能看到别人为它工程化好的特征。它从有标签的结果中学习,比如拒付或已确认的坏账户,而这些标签往往要几个月才能拿到,之后还需要一轮重训练。所以模型永远在学上个季度的欺诈。而且一个 742 的分数没法告诉分析师、客户或监管机构,这个人为什么被拒。

规则和模型都决定不了的案例,最终进入人工审核。在那里,你最好的分析师会通读全貌:这个邮箱看起来是否属于这个人,这个企业网站看起来是否真实,这个申诉是否说得通?这种判断力是欺诈运营中最宝贵的东西,也是我们一直无法应用到每一个决策上的东西。

XGBoost 模型只能看到一张表。每一行是一个事件,每一列是某人决定计算出来的一个数字或类别。任何没有被转成列的东西,对模型来说都不存在。

这对容易计数的事情行得通,比如多少个账户共用一台设备,或者一个邮箱域名有多老。但遇到一个优秀审核员真正会看的东西时,它就失效了:文本的含义、细节之间是否自洽、关于世界的知识,以及从未有人见过的欺诈。举几个例子:

这些是最难转化成数字的东西,而每一项本身都是一个独立的数据科学项目。文本 embedding 能捕捉一部分,但那又是另一个需要构建、调优和解释的模型。所以这些问题都交给人工审核,而这恰恰就是下面案例研究中审核员胜过模型的地方。

大语言模型出现时,看起来正是缺失的那一块。有史以来第一次,模型能像分析师一样读懂一条案件备注、一个邮箱地址或一个商户网站。

问题在于经济性。欺诈决策发生在每一次登录、每一次注册和每一次支付上。以我的经验,在每一个事件上跑前沿 LLM,其 token 成本可能是它所阻止的欺诈损失的十倍以上。在 Finic 自己的基准测试中,前沿模型每 1,000 次决策的成本在 7.82 到 25.46 美元之间。它们对于登录或结账流程来说也太慢,而且以段落形式作答,规则引擎没法据此执行动作。3

以一个典型的入驻或登录决策为例。要像分析师那样做出判断,模型需要申请人的联系方式、身份核验结果、关联账户以及近期的登录和交易历史。即便只是其中一小段历史——300 行事件数据——也大约是 12,000 个 token,因为每一行都带时间戳、IP 地址、设备 ID、user agent 和位置,每行约 40 个 token。再加上指令和问题,一次决策的输入大约是 13,000 个 token。

然后 LLM 必须作答,而当前的前沿模型在作答前会先思考。这些思考 token 按输出计费,价格是输入的 5 倍。对 300 行数据做一次判断,预计大约需要 1,000 到 10,000 个输出 token。按当前标价计算,结果如下:45

这些都是估算。区间从较短历史下的轻度思考(约 8,500 个输入 token、1,300 个输出)到较长历史下的重度思考(约 25,000 个输入、10,000 个输出),典型情况是 13,000 个输入、3,300 个输出。Prompt 缓存帮助不大,因为每个事件的数据都不同。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →