返回资讯中心
外部精选
软件工程
#社区热议

分析称DeepSeek、月之暗面等四家中国公司模型权重留有Blackwell芯片痕迹

来源标题:Chinese frontier AI models carry the fingerprint of export-controlled GPUs

对公开模型权重的取证分析显示,DeepSeek、Moonshot AI、MiniMax和蚂蚁集团已获得受出口管制的NVIDIA Blackwell GPU,并用其训练模型。这四家公司自2026年4月以来发布的六款模型,其权重数值特征与Blackwell硬件吻合,而更早的模型则对应上一代Hopper。该结论完全来自模型自身公开的权重,研究团队还在实体Blackwell芯片上复现了DeepSeek-V4-Flash和Kimi K3的匹配。

Hacker Newsfirloop2026/11/12 · 5 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我们对公开 AI 模型的取证分析发现,有证据表明 DeepSeek、Moonshot AI、MiniMax 和蚂蚁集团在受限出口的情况下仍获得了 NVIDIA 的 Blackwell GPU,并利用这些硬件来构建其 AI 模型。这些公司自 2026 年 4 月以来发布的六款模型包含与 Blackwell 硬件匹配的数值模式,而同一公司更早的模型则匹配 NVIDIA 较旧的 Hopper 代际。这些发现表明,几家领先的中国 AI 开发者已经开始使用 Blackwell 训练其最新模型。美国官员和媒体报道此前已指控 DeepSeek 和 Moonshot AI 在使用 Blackwell 芯片,但未公布技术证据。

证据完全来自模型自身公开的权重,而非来自泄密或内部人士的说法。我们恢复了模型初始值的痕迹,然后搜索能够重现这些值的硬件配置和初始配置;对于 DeepSeek-V4-Flash 和 Kimi K3,我们还在真实的 Blackwell 芯片上确认了匹配。该指纹识别的是权重是如何创建的,并支持——但并未证明——Blackwell 也执行了训练的推断。经过特殊配置的 AMD 硬件(同样受对华出口限制)是我们所发现的唯一替代方案;我们已为 DeepSeek-V4-Flash 排除了它,并认为其余五款模型使用它的可能性极低。值得注意的是,我们的发现提供了获得先进计算硬件的技术证据,但并未确定芯片所在位置、获取方式,或是否违反了出口管制。

表 1. DeepSeek、Moonshot AI、MiniMax 和蚂蚁集团 successive 模型中的硬件指纹 链接 ↗ • 向中国出口需要美国许可证;未见任何相关报道。 Hopper 指纹无法区分 H800 与 H100 SXM 或 H200;上表中的 H800 识别来自实验室披露,而非本方法的发现。

表 2. 各次训练运行的粗略规模 链接 ↗ 训练算力(约 6 × 活跃参数 × 训练 token 数)除以 35% 利用率下的芯片吞吐量,按两到三个月(DeepSeek-V4-Flash 为六到八周)的运行时间计算。DeepSeek 披露了其 token 数量;对于其他模型,我们根据权重进行了估算。

模型的权重(也称为参数)是数十亿个可调整的数字,决定了它如何处理信息并生成答案。训练会反复调整这些数字;但在训练开始之前,它们需要有初始值。在本文考察的软件中,这些值来自一种名为 Philox 的伪随机数生成(PRNG)算法:Philox 以确定性的方式生成看似随机的数字。Philox 的起始输入是一个称为“种子”的数字。给定相同的种子和设置,Philox 每次都会生成相同的数字。这让工程师能够从同一出发点重复实验。

为了快速填充数十亿个权重,PyTorch(大多数主要 AI 模型开发中使用的软件框架)将 Philox 所做的工作分配给 GPU 上的许多并行工作线程(称为 threads)。(它通过 cuRAND——NVIDIA 的随机数生成库——来实现这一点。)每个线程从种子生成自己的数字序列,并填充一组特定的位置。线程数量随后决定了这些位置如何分配。在本文考察的 NVIDIA 芯片上,足够大的初始化会为每个处理单元(称为流式多处理器,SM)使用最多 2,048 个线程。因此,拥有更多 SM 的芯片会将同一任务分配给更多工作线程,从而改变它们的数字去向。

图 1 展示了一个简化的 GPU 上的工作原理,该 GPU 有六个 SM,每个 SM 有八个线程,总共 48 个线程。想象权重是一长排空盒子,为了适应页面而排成网格。第一个线程填充第一个盒子,第二个线程填充第二个盒子,以此类推,直到全部 48 个线程。然后,第一个线程的下一个数字进入第 49 个盒子,再下一个进入第 97 个盒子,依此类推。黑色轮廓在网格中追踪这一个线程:第一个线程填充每第 48 个位置。颜色标识哪个处理单元提供每组值,而右侧面板中的亮度代表值本身。

现在保持种子固定,但改用五个 SM 而非六个的 GPU。在我们的简化示例中,这意味着 40 个线程而非 48 个。第一个线程生成完全相同的序列,但现在将其数字放入第 1、41、81 个盒子,而非第 1、49、97 个盒子。图 2 追踪这些数字位置的变化。在整个网格中,只有 6% 的值与原始排列匹配。种子是对的,但工作线程数错了。这就是为什么模型权重的排列可以成为推断所用芯片的线索。

因此,重现权重需要同时满足两个条件:种子必须生成正确的数字,线程数必须将它们放在正确的位置。正确的种子配错误的线程数,大多会得到正确的数字但位置错误;正确的线程数配错误的种子,则会得到不同的数字。图 3 展示了为什么只有正确的组合才能重现原始排列。

在真实芯片上,线程数要大得多,但原理相同。在本文考察的 NVIDIA 配置中,Hopper H100 SXM、H200 和 H800 有 132 个 SM,使用 270,336 个线程;Blackwell B200/B300 有 148 个 SM,使用 303,104 个线程;Blackwell GB200/GB300 有 152 个 SM,使用 311,296 个线程。因此,恢复线程数可以告诉我们这些硬件组中哪一个与起始排列匹配,尽管它无法区分同一组内的芯片。例如,Hopper 匹配无法区分 H800 与 H100 或 H200。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →