返回资讯中心
外部精选
软件工程
#开发者实时流

PhantaField 联合 White Matter 与 Sophon 将轨道推理输出成本降至每百万 token 0.42 美元

来源标题:PhantaField Projects $0.42/M Output Tokens in Orbit with White Matter and Sophon

PhantaField 测算,用 White Matter 和 Sophon 替换传统 GPU 航天器方案后,五年预算下降 12%。其输出 token 成本从每百万 7.77 美元降至 0.42 美元,但这一降幅取决于四十颗芯片在轨能完成多少有效工作。该测算基于 NVIDIA 用 H100 运行 Llama 3.3 70B 的吞吐数据与 Lambda 的 GPU 租用价格。

Hacker News 最新phantafield2026/11/18 · 今天15 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

从传统 GPU 航天器改用 White Matter + Sophon,让我们建模的五年预算削减了 12%。从每百万输出 token 7.77 美元降到 0.42 美元,这一更大的降幅取决于四十颗芯片在轨道上能完成多少有用的工作。

设想一颗处于两次地面接触之间的地球观测卫星。它的仪器一直在写日志,团队想知道哪些条目值得进一步查看。团队可以把日志传回地面,让语言模型在地球上读取。如果卫星上搭载模型,那么链路一打开,一份简短清单就可能已经准备好了。我们想知道,在这两个地方进行计算各自要花多少钱。

我们从地球开始,NVIDIA 已经为这项工作做了计时。一对 H100 GPU 以 FP8 精度运行 Llama 3.3 70B Instruct,同时处理 250 个请求。每个请求提供 200 个 token,并要求返回 200 个 token。这对 GPU 每秒产生 5,067 个输出 token,其中包含读取提示词所花的时间。NVIDIA 基准测试

按 Lambda 2026 年 11 月 18 日的租赁价格,十六块 H100 每小时收费 73.44 美元,即使队列是空的也照收。假设有足够的工作量,能让全部八对 GPU 在五年中 60% 的时间里以 2,000 个并发请求满负荷运行。按 NVIDIA 测得的每对 GPU 速率,这些 GPU 将产生 3.835 万亿个输出 token。这样算下来,我们传统的 GPU 地面数据中心每百万 token 的租赁成本为 0.84 美元。卫星团队还需另行支付下行链路、租赁之外的存储、网络传输以及自身运营的费用。Lambda 定价 · 地面成本模型

现在把同样的十六块 GPU 放到卫星上,并给它们同样的队列。即使它们能在航天器的功率预算内维持地面基准测试的水平,它们仍然只产生 3.835 万亿个 token。变化的是账单。我们传统的 GPU 太空数据中心连同其供电和冷却系统重 1,615 公斤。按我们假设的每公斤 7,000 美元计算,仅上天发射这一项,就会给每百万输出 token 增加 2.95 美元。

在我们为建造、发射和运营该航天器五年所编列的 2,980 万美元预算中,发射占 1,130 万美元。把这笔预算分摊到它交付的 token 上,成本就达到每百万 7.77 美元。这两个轨道预算都假设重复建造和五年服务期。它们不包括初始开发和商业利润。太空数据中心成本模型

在 White Matter 的飞行设计中,四十颗 Sophon 裸片共享一摞液冷硅层。我们为飞行计算组件编列了 60 公斤的预算,包括安装件、存储及其冷却回路。传统 GPU 设计的相应额度约为 261 公斤。按每公斤 7,000 美元计算,在计入同样的 20% 质量余量后,仅这一项差异在发射预算中就价值约 169 万美元。飞行载荷设计 · 质量与成本模型

冷却这个“砖块”本身也有成本。两级热泵让我们能从散热器上减掉 207 公斤,但我们必须搭载压缩机、更大的薄膜太阳能翼和更大的食电池来驱动它们。在这艘航天器上,与直接冷却相比,这一取舍在发射时节省了 34 公斤。把整台飞行器算进去,White Matter + Sophon 为 1,124 公斤,而 GPU 航天器为 1,615 公斤。发射预算从 1,130 万美元降到 787 万美元。冷却取舍 · 太阳能翼与电池规模测算

我们为每颗封装好的 Sophon 编列 8,358 美元预算,假设制造良率为 40.8%。这样四十颗器件约为 334,000 美元。把它们变成飞行载荷是另一项开支。我们为载板、冷却液歧管、存储、接口和装配留出 200 万美元。整个任务总计 2,620 万美元。相对于 GPU 航天器节省的 360 万美元中,发射占 343 万美元。如果它交付同样的 3.835 万亿个 token,这项节省将使每百万成本降至 6.83 美元。Sophon 器件成本模型 · 飞行预算

要看清其余节省来自哪里,追踪一个请求即可。70B 模型的 FP8 权重约占 Sophon 330 GB 本地内存中的 70 GB。一颗芯片可以生成响应,而另外 39 颗则各自处理自己的请求。按每颗芯片预计每秒 16,500 个输出 token、五年中 60% 的时间用于生成有用输出计算,这个“砖块”可交付 62.44 万亿个被接受的 token。这大约是 GPU 航天器输出量的十六倍,并将预计成本降至每百万 0.42 美元。Sophon 吞吐模型

在这 42 美分中,Sophon 器件本身每百万 token 约占半美分。载荷集成占 3.2 美分,发射占 12.6 美分,五年运营占 8 美分。其余用于航天器平台、供电和冷却硬件、集成测试以及应急储备。如果团队为芯片支付的价格是我们的估算的两倍,在相同输出下每百万也只增加约半美分。如果芯片在任务中只有 30% 的时间用于生成有用输出,团队将支付每百万 0.84 美元,大约相当于地面租赁成本。

这样一来,故障损失的时间也成了一个经济问题。如果 Sophon 的细存储通道遭受的辐射翻转更少,航天器重放被中断工作的时间就会更少。在束流测试确定飞行硬件需要重试的频率之前,我们的估算保留了局部屏蔽和恢复余量。辐射假设

对于决定要搭载什么上天的团队来说,盈亏平衡测试大约是每颗 Sophon 在整个任务期间平均每秒 4,950 个被接受的输出 token。我们会给这些芯片与 H100 基准测试相同的 200 token 提示词和 200 token 响应,匹配输出质量,并强制执行航天器功率限制。计时将在提示词处理、重试和日志之间的间隙中持续进行。按这个平均值,卫星就能在下次地面接触时以其简短清单准备就绪,而每 token 的计算成本与地面租赁相同。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →