Exstill 推出面向前沿模型的协处理器 Polyglot-DC1

这些小模型负责起草答案、筛查 prompt、运行 agent 并实时推理。每一个都处在关键路径上——人在那里等待每一毫秒——却跑在为群体负载而造的 GPU 上。Polyglot-DC1 是前沿模型的协处理器：一颗芯片，以及与之共同设计的模型架构，位于 GPU 旁边，而非取代 GPU。找到它的搜索耗费了大量硅片与模型架构（每一个的每一个 token），并在数据中心约束范围内返回最佳设计。 超过一千万个设计，每一个都核算到每个 token 的周期与皮焦耳。 每个 token 的时间与能量都在已完成布局布线的电路上测量，目前已有 304 个，每一个都在 5 nm 级别下逐门仿真。 B300，实测 1000 万+ 设计完成核算；322,941 个在预算之内，313 个位于前沿返回的设计一颗 B300，实测：五个开放模型，同时服务一到十六人 526 mm²，125 W，同时服务十二人，可扩展至一块 GPU 的掩模版尺寸。硅前 5 nm 级别；布局仅为示意。搜索如何工作 按实际制造方式完成布局布线；其电路逐门仿真。 条形图选出的设计，为它服务的每个人配备 16K token 的对话。 一个 token 的每一个周期和皮焦耳，含漏电。 Σ 芯片 Polyglot：一种架构，精通多种角色。DC：为数据中心而造。 Polyglot-DC1硅前 Exstill 投影对比实测 NVIDIA B300，两者同时服务十二人，每人 16K token 对话，质量以 Qwen3-1.7B 为基准。每个 Polyglot-DC1 模型在其自身任务上都超过该基线。Exstill：50 µs/token · 0.52 mJ/tokenB300：5.35 ms/token · 0.36 J/token 没有 token 等待内存：模型及其服务的每一段对话都紧挨着计算单元，只有 token 穿过链路到达 GPU。 ×在 DGX B300 上，由 Polyglot-DC1 起草，目标模型给出答案的速度提升 护栏比 B300 快 38× 筛查每个 prompt 和答案 Polyglot-DC1-Draft 一颗芯片，四套权重。 ×比 B300 更快的 agent 轮次，含推理与工具调用 实时推理比 B300 快 38× 的思维链，每一毫秒都至关重要 Exstill，硅前 5 nm 级别NVIDIA B300，实测在 DGX B300 上对照单独的目标模型进行投机解码；其他任务对照 batch 1 的 B300，这是单人服务的最快配置。 它能带来什么 一种架构，多种角色。 四种截然不同的工作负载，一种协同设计的模型架构。换权重，不换芯片。探索投机解码、护栏、agent 和金融推理，以 Exstill 速度和 NVIDIA B300 参考速率回放真实模型输出。 × 更快的答案 前沿模型，更快。输出相同。 Polyglot-DC1-Draft 在 Exstill 芯片上猜测接下来的 token，目标模型在其 GPU 上校验，因此答案更早到达且质量无损。一种起草架构服务以下全部五个模型；只换权重。编码答案在最高推理强度下端到端快 3.6 倍到 6.1 倍，推理答案最高快 7 倍。 模型 观看同一个答案到达 回放 0.00 s0 / 512 tokens– tokens/s 0.00 s0 / 512 tokens– tokens/s × 更快 每秒 token 数 → → 安全筛查 护栏Polyglot-DC1-Guard快 38× 的筛查 安全属于关键路径。等待不属于。 Polyglot-DC1-Guard 读取每个 prompt 和每个回复，支持多种语言，并判断其是否安全、属于哪类危害、以及助手是否拒答。在 Exstill 芯片上，一个判定耗时不到一毫秒，因此筛查不会增加任何人能察觉的等待。 三段长推理模型响应（含其推理过程）在流式输出时大约每 1,700 个字符被筛查一次。六条独立消息各筛查一次。每个判定都是真实的 Polyglot-DC1-Guard 输出，任何被拦截的内容都会中止响应流。 → × 更快的筛查 → → Polyglot-DC1-Guard Exstill 芯片 NVIDIA B300 每次检查的解码，实时进行；答案在等它 沙盒需要 JavaScript；其判定结果在周围段落中描述。 每个判定都附带护栏对决定 token 的概率。长答案为留出的 Qwen3GuardTest 条目；单条消息为演示而写。在拦截处停止答案是部署使用判定的方式；流式节奏仅为示意。芯片硅前，B300 实测。 × 更快的 agent 轮次 57 ms 完成 agent 轮次。 Polyglot-DC1-Agent 从头到尾处理一个客户案例：读取政策、调用工具，并对每个决策进行推理。平均一轮 1,145 token：在 Exstill 芯片上 57 ms，在 B300 上 2.5 s。 → Exstill 芯片 0.0 s0 / 轮次0 tokens NVIDIA B300 0.0 s0 / 轮次0 tokens × 更快的 agent 轮次 → → Polyglot-DC1-Agent，真实 episode 以芯片速度观看它处理一个案例。 八个已完成的 τ³-bench episode，逐轮回放。每个客户由另一个模型模拟，双方都看不到对方的指令。原始对话在右侧展开，而解码时对比展示 Exstill 和 NVIDIA B300 生成 agent 响应的速度。 工具 agent 目前的解码 Exstill 芯片 一块 B300 实时慢 10 倍慢 25 倍慢 50 倍 显示整个 episode←→ 毫秒级推理 实时推理Polyglot-DC1-Finance快 38× 的推理 44 ms 给出有理有据的答案。 Polyglot-DC1-Finance 在回答前逐步梳理申报文件、账目和估值。在 Exstill 芯片上，推理和答案平均 44 ms 到达，比一块 B300 服务单人快 38 倍。 来自四个金融基准的十二道题，每道都由 Polyglot-DC1-Finance 解出，而大多数其他模型未能解出。左侧是题目；右侧是其推理和答案，逐字呈现，以芯片速度和一块 B300 的速度解码。 → Exstill 芯片 0 ms0 / tokens19,921 tok/s 推理 答案 一块 NVIDIA B300 0 ms0 / tokens522.9 tok/s 推理 答案 × 更快的推理 → → 我们如何知道

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）