返回资讯中心
外部精选
软件工程
#开发者实时流

Tileward 将 DeepSeek-V4-Pro 压缩 24%,MMLU 成绩仅差 0.5 个百分点

来源标题:We shrank DSV4-Pro by 24%, within 0.5pt of original on MMLU – Tileward

Tileward 推出 DeepSeek-V4-Pro 的缩小版本 TWX3,体积减少 24%(从 892.7 GB 降至 675.2 GB),在 14,042 道知识测试题上得分 89.6%,原版为 90.0%,差距在其预设的 1 个百分点以内。该版本仅需四张 B300 卡即可运行(原版需八张),并成功检索出最长 1,040,000 token 文本中的全部隐藏事实。

Hacker News 最新apsharma2026/11/9 · 8 天前19 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

DeepSeek-V4-Pro 是 DeepSeek 构建的模型,可一次性读取最多一百万个 token。即便是 DeepSeek 公开发布的版本——其大部分权重已经以 4 位存储——也占用 892.7 GB,在这里它被拆分运行在八张 B300 卡上。我们做了一个更小的构建版本 TWX3,格式与我们同名的 Kimi K3.1 Pro 构建版本一致,并测试了它的回答质量是否依然相当。它占用的空间减少了 24%(675.2 GB,1.3 倍)。在一项包含 14,042 道题的知识测试中,它得分 89.6%,而原版为 90.0%,落在我们运行前设定的一个百分点门槛之内;而且在我们埋藏在最长 1,040,000 token 段落中的每一个事实,它都找了出来。在每张卡上,它释放出的内存可容纳 1.2 倍的对话量,并且它只需要四张 B300 卡,而原版需要八张。结果一览请见对应的评估卡片。

DeepSeek 自己发布的版本就是人们今天运行的 DeepSeek-V4-Pro,因此这里的每一行都是我们的构建版本与之对比。下面每一节都先给出自己的那一行,然后给出完整的测量结果。

本页的每一项测试,各构建版本的得分均从零开始绘制。每张卡片都链接到下方的完整结果。

知识:涵盖 57 个科目的 14,042 道多选题。越高越好。

每个构建版本在 360 个段落中写出事实;任何段落都不支持的事实即为编造。越低越好。

在两种思考强度下各进行 600 次调用,按是否以正确方式调用正确工具评分。越高越好。

80 个简短事实被藏在 32,768 到 1,040,000 token 的段落中,每个构建版本都被要求全部找回来。越高越好。

TWX3 阅读 300 个短段落和 28 个长段落,并在每个位置询问它是否选出原版的下一个词。越高越接近。

我们对 TWX3 提出了三项要求。它是否仍然知道原版所知道的内容?MMLU 是涵盖 57 个科目的 14,042 道多选题,越高越好。它是否会编造内容?每个构建版本在 360 个段落中写出事实,我们统计了没有任何段落支持的事实,因此越低越好。它是否仍然能使用工具?它在两种思考强度下各进行了 600 次调用,按是否以正确方式调用正确工具评分,越高越好。

运行之前,我们为 MMLU 设定了及格线:逐题比较,不得比原版低超过一个百分点。图表显示 TWX3 比原版低多少,以及它最差可能低多少。零的左侧表示低于原版,虚线为及格线。

← 低于原版 相对原版的分数 高于 →

在编造事实和工具调用方面,TWX3 与原版持平。点击数字可查看其背后的计数。

DeepSeek-V4-Pro 可一次性读取最多一百万个 token,因此我们测试了 TWX3 是否仍能找到深埋在长段落中的内容。在四种长度中的每一种,我们都把 10 个简短事实藏入一个段落,重复两次,并要求全部找回:每种长度 20 个事实,总共 80 个。越高越好。

长段落还让 TWX3 在逐词层面更接近原版:在长段落前 4,096 个 token 之后,下一个词的一致率高于短段落。

测试分数可能掩盖模型写作方式上的细微变化。下一个词一致率是更精细的检查:TWX3 阅读与原版相同的段落,并在每个位置询问它是否会选出相同的下一个词。越高越接近原版。最后一列衡量它的用词选择与原版偏离多远,越低越接近。

长段落分别为 32,768 和 131,072 token:前 4,096 个 token 之后的一致率分别为 93.0% 和 92.4%。

DeepSeek 发布 DeepSeek-V4-Pro 时,其大部分权重已经以 4 位存储,因此该百分比是相对于一个已经压缩过的模型,而不是 16 位模型。两个构建版本都在相同的八张 B300 卡上运行,使用相同的服务软件,并回答了相同的问题。条越短,构建版本越小。

八张卡中的每一张都持有模型的一个切片。模型空出来的任何内存,服务器都会分配给对话:即模型在回答时保留在内存中的文本。这是每个构建版本的一张卡,两者按同一比例绘制。

每张卡的内存相同。权重空出来的部分,服务器分配给缓存:即模型在回答时保持的对话。缓存越大,意味着在相同的卡上可以服务更多人,或进行更长的对话。以每个对话一百万个 token 计,TWX3 一次有空间容纳六个完整对话,而原版有空间容纳五个。两个构建版本都允许服务器使用每张卡的 90%,条越长容纳越多。

每个构建版本最少需要多少张卡才能服务,并至少容纳一个 1,048,576 token 的完整对话?我们在八张 B300 卡上测量了两者;这里的其他所有数字都是根据那次运行自身的数据推算出来的,并非实际运行。与运行时一样,服务器获得每张卡的 90%。权重被拆分到各张卡上,其中约 5.7 GiB 完整地放在每张卡上,服务器在每张卡上保留约 16.7 GiB 用于自身工作,而一个完整对话在每张卡上需要 21.4 GiB。卡越少越好。

十六或三十二张卡意味着两个或四个八卡服务器。短于一百万个 token 的对话需要更少空间,因此当对话较短时,一个构建版本可以在比这些更少的卡上运行。

TWX3 是我们唯一背书的 DeepSeek-V4-Pro 构建版本:体积小 24%,MMLU 差距在半个百分点以内,并且在我们测量的其他所有方面都持平。它已在模型库中,可应请求提供服务。两个更早的构建版本未能通过。第一个比 TWX3 稍大,在 MMLU 上比一个百分点的门槛差了 0.02 个百分点:它最差可能比原版低 1.02 个百分点。第二个更小,在 MMLU、工具调用和长段落上直接失败。两者均不提供。

原版和 TWX3 以相同方式服务,在同一台机器上一前一后运行,并回答相同的问题。每项测试的设置如下。

机器。八张 B300 卡,vLLM 从各自的权重为每个构建版本提供服务,拆分在

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →