返回资讯中心
外部精选
软件工程
#开发者实时流

Hibana推出统一内存设备上的快速智能体推理方案,在DGX Spark上对比vLLM

来源标题:Hibana: Fast Agentic Inference on Unified-Memory Devices

Hibana针对统一内存设备推出快速智能体推理方案,在单台DGX Spark上运行Qwen3.8-Flash-Next,并与vLLM、llama.cpp和TensorFold中最快的方案进行对比。该方案通过3比特权重、INT8循环状态和2比特草稿头减少每token读取字节数,同时将智能体状态跨轮次保留并在显存不足时溢出至SSD,避免重新计算。

Hacker News 最新matt_d2026/11/16 · 昨天4 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Qwen3.8-Flash-Next 在单台 DGX Spark 上运行,与 vLLM、llama.cpp 和 TensorFold 中最快的方案对比。

本地 agent 会不断扩展长历史、为等待工具而暂停,并并行运行。在 DGX Spark 这类统一内存设备上,权重、活跃请求以及每一份保存的历史共享同一个 128 GB 内存池,而每生成一个 token 都要在有限带宽下流式读取权重。Hibana 同时针对这两个瓶颈发起攻击。

模型手术。修改训练好的模型以适配硬件:3-bit 权重、INT8 循环状态、2-bit 草稿头,让每个 token 读取的字节更少。

统一内存管理。跨轮次保留每个 agent 的状态,在 GPU 内存不足时将其溢写到 SSD,这样返回的 agent 可以恢复运行,而不必重新计算。

自适应推测。在草稿 token 之间共享专家,并且只在接受率划算时才继续草稿,让每次权重读取产出更多 token。

解码单个请求受限于内存带宽,因此最快的 token 就是读取字节最少的那个。

每 32 个权重为一组,对齐到一个 8 项的 FP8 码本,因此每个权重以 3-bit 索引存储。kernel 查找这些编码,并直接送入 FP8 tensor core。

每组八个值,每个权重三位。编码占 3 bit,每 32 个权重一组再加一个 8-bit 缩放因子:3 + 8/32 = 3.25 bit 每权重。此处的码本按组拟合,仅作示意。

草稿器的输出头会对词表中的每个 token 打分,是草稿器读取的最大矩阵。2-bit 副本成本低但噪声大,因此 Hibana 只用它来筛选候选,然后用 FP8 对候选重新打分。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →