数据经纪商收购企业内部文件用于训练AI模型

又一份邮件提出了类似的邀约（这次还把通话记录也列入所需信息），并将价码提高到可能的200万美元。“公开数据已经枯竭，实验室正花费超过450亿美元购买私有数据来构建更好的模型，”一位名叫Cora的人写道。

虽然我知道AI公司正在从各种渠道购买专家数据，但此前并未引起太多关注。然而一经调查，我发现这个行业的规模远超我的想象——而且据从业者称，它对公司员工和社会的影响可能与当下占据新闻头条的数据中心不相上下。

联系我的这些公司，是一个正在蓬勃发展的数据采购行业的一部分。这个行业一直在悄然收购相当规模公司的工作流程数据，而且需求仍然旺盛到溢入我们的收件箱。一位自由撰稿人最近讲述了她与一家名为Handshake的公司的经历，该公司出价1000美元购买她一篇报道的作品。（她没有卖。）Handshake的一位代表向我确认了这一报价：“我们授权获取多个领域的专业文档，以便实验室测试和训练模型处理真实知识工作的能力，”他说，“新闻业就是其中之一。”Handshake告诉我，其业务的很大一部分是购买研究生的论文和课程作业。

我的一位创业者朋友告诉我，他一直收到多家公司的邮件，这些公司的业务是“帮助初创公司有序关闭公司”，正如一家名为Sunset的公司在一封邮件中所解释的那样。“我们处理整个流程，清洗和匿名化数据，将公司人员和任何可识别身份的细节剥离出去，然后与实验室撮合交易。”

这些较新的数据采购初创公司希望复制该领域头部公司的快速成功，而这些头部公司本身也只有几年历史。行业领导者Handshake、Micro1和Mercor正在争相抢购数据库，仿佛这是一场现代淘金热。行业领头羊似乎是成立于2023年的Mercor；去年，它的三位联合创始人在22岁时成为了亿万富翁。与所有公司一样，它声称与几乎所有主要AI实验室都有合作关系。（这些公司自身的回应则更为谨慎：Anthropic承认数据市场很大，但告诉我它不会像WIRED这样从活跃运营的公司购买工作流程数据。OpenAI在发稿前未作出回应。）

在一次采访中，Mercor CEO Brendan Foody告诉我，随着AI行业寻求大幅增加数据量，这个市场即将爆发。Mercor最初是一家AI招聘公司，但随着团队与业内人士的深入接触，他们了解到大型实验室对数据质量感到不满。一般来说，这个行业一直雇佣专家来模拟实际工作流程，但这无法捕捉到真实运营企业的复杂性。他让我考虑这样一个事实：大型AI公司有两个无底洞般的需求——算力和数据。虽然业界在前者上的巨额投资非常公开，但数据收集同样重要。

当我提到隐私问题时，Foody已经准备好了回答。当企业将数据流传输给Mercor时，公司会剥离所有个人身份信息（PII）。他说，这种去标识化是可以验证的。与我交谈过的所有数据采购行业人士一样，他认为技术已经解决了购买所有这些信息所涉及的隐私问题。

不出所料，Micro1 CEO Ali Ansari也认为数据购买市场很快就会接近AI算力基础设施的规模。他说，如今实验室、企业和机器人公司每年花费约400到500亿美元来获取数据。（我无法核实这一数字。）“在未来两到四年内，这个数字将超过每年一万亿美元，”Ansari说，他于2022年创立了这家公司。Micro1主要利用其购买的信息来改进自己构建的AI模型，但也向大型AI公司出售数据。

“现在几乎每个人都在试图进入数据领域，因为需求太大了，”他说。“如果你看看YC的初创公司，大约一半是数据公司。”（实际上更多——在最近一批YC孵化的公司中，65家新创公司中有40家被归类为数据初创公司。）

这场对新鲜数据的追逐中，蛮荒的一面在破产的Spirit Airlines出售其数字资产时得到了罕见的曝光。这些数据资产包括8万个电子邮件账户、5亿条内部消息、2060万个Microsoft SharePoint文件和100万条考勤记录。Google似乎以1000万美元的出价赢得了这笔交易，但随后Micro1以高出250万美元的价格压过，引发了一场关于谁是赢家的争论。目前这笔交易被搁置，原因恰恰对整个出售人类工作流程数据的做法提出了质疑：空乘人员工会指控该交易涉及他们的私人信息。

工会的反对揭示了这场淘金热的阴暗面。尽管几乎所有数据公司都声称没有PII进入AI模型，但批评者认为个人数据仍有泄露的危险。“目前不清楚匿名化处理能否完全消除隐私问题，”电子隐私信息中心的总法律顾问Mayu Tobin-Miyaji说，该机构代表空乘人员提交了一份法庭意见书。“电子邮件和Teams消息包含非结构化数据，这更难彻底清除。其中可能有员工谈论就医预约或家庭问题的消息。”

“我们还没有为数据采购制定规范和标准，而且目前的做法并不恰当，”风险投资人Gordon Ritter说，他将这一问题视为一项事业。“AI行业的发展速度远远超出我们实际制定标准的能力，而且这在一定程度上是有意为之。”

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）