返回资讯中心
外部精选
软件工程
#开发者实时流

Nguyen Vo Anh Khoa 发布 Vantage V-AI:2-bit 三元 KV-cache 推理运行时

来源标题:Show HN: Vantage-V-AI – 2-bit ternary KV-cache with attention sinks

Vantage V-AI(v8.2.0)是一个开源的有界内存推理运行时与流式数据处理引擎,旨在解决 KV-cache 内存膨胀问题,并在 CPU、边缘设备和多 GPU 上实现恒定复杂度的自回归生成。它可透明接入 Hugging Face 的 AutoModelForCausalLM,无需改动现有生成循环或模型定义,采用 MIT 许可证。

Hacker News 最新Anh_khoa2026/11/15 · 2 天前12 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Vantage V-AI(v8.2.0)是一个开源的有界内存推理运行时和流式数据处理引擎,旨在解决 KV-cache 内存爆炸问题,并在 CPU、边缘设备和多 GPU 加速器上实现恒定复杂度的自回归生成。

主要作者兼架构师:Nguyen Vo Anh Khoa(@khoadev-vn) 官方仓库:https://github.com/khoadev-vn/VANTAGE-V-AI 首次公开披露(现有技术):2026 年 11 月(Git 提交历史与加密时间戳) 法律保护:基于 MIT 许可证授权。根据国际版权法和开源合规标准,对本代码库或其衍生作品的任何分发、再分发、嵌入或商业利用,均须严格保留原始版权声明和作者署名: Copyright (c) 2026 Nguyen Vo Anh Khoa. All rights reserved.

⚡ 快速开始:两行代码即插即用

Vantage 可透明集成到任何 Hugging Face AutoModelForCausalLM 中,无需修改现有的生成循环或模型定义:

import vantage from transformers import AutoModelForCausalLM, AutoTokenizer

加载任意开放权重模型(Meta Llama-3、Qwen-2.5、DeepSeek-R1、Mistral)

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-3B-Instruct", torch_dtype="auto", device_map="auto") tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2.5-3B-Instruct")

一行即插即用:限制活跃注意力窗口并锚定 4 个 sink token

vantage.enable(model, max_active_tokens=256, sink_tokens=4, quant_mode="fp8")

标准生成代码无需改动即可在有界注意力内存下运行!

inputs = tokenizer("The future of artificial intelligence depends on", return_tensors="pt").to(model.device) outputs = model.generate(**inputs, max_new_tokens=64) print(tokenizer.decode(outputs[0], skip_special_tokens=True))

🖥️ 交互式终端演示

在终端中运行可视化流式监控演示: python vantage_demo.py

🔬 核心架构基础(v8.2.0)

多 GPU 硬件实证验证(2 块 NVIDIA Tesla T4,Qwen2.5-3B-Instruct): 在真实 CUDA 加速器上基准测试,模型参数分片到两块设备(cuda:0:18.5 亿参数,cuda:1:12.3 亿参数)。 遵循 PyTorch 异步执行协议,通过 torch.cuda.synchronize(d) 在所有参与的 GPU 上实现严格的多设备同步。 无损模式与动态 FP8 流式模式之间实现 100.0% 精确 token 一致性(64/64 个 token 完全相同)。 任务质量与长上下文权衡(大海捞针与 PPL 稳定性): 在 512 到 4,096 token 的上下文范围内进行评估,事实性针头置于不同深度(10% 到 90%)。 带注意力 sink 的平均检索一致性为 0.988,避免了无 sink 滑动窗口中所观察到的严重 softmax 崩溃(PPL 偏差 $> 1,467$)。 2 比特打包三值表示(受 BitNet b1.58 启发): 将多头注意力的 key 和 value 量化为三值状态 ${-1, 0, +1}$,并按张量进行动态均值缩放 $\gamma = \text{mean}(|X|)$。 采用向量化 SIMD 打包(每个 uint8 字节 4 个元素 = 2.0 比特/元素),相比 FP16 实现 7.97 倍存储缩减。 带注意力 sink 的流式 KV-Cache(受 StreamingLLM 启发): 在块级分块卸载缓存(VantageStreamingCache)中集成了初始注意力 sink 保留(sink_tokens=4)。 锚定初始 softmax 质量,防止长序列生成过程中的自回归轨迹崩溃。 超维计算(HDC)联想记忆(core/memory.py): 将稠密嵌入投影为 4,096 位二进制超向量。 硬件加速的按位 XOR + SIMD popcount 搜索(np.bitwise_count),在扰动下对 5,000 个合成向量实现 100% 的 1-NN 召回率。

📊 多 GPU 实证基准测试结果(v8.2.0)

在 2 块 NVIDIA Tesla T4 GPU(Turing 架构,计算能力 7.5,总显存 32 GB)上使用 Qwen/Qwen2.5-3B-Instruct 进行测试(FP16,提示:1024 token,生成:64 token,多设备同步): 可验证的原始 JSON 产物:artifacts/benchmarks/benchmark_gpu_kaggle_v8_2.json。 在不同上下文长度($N \in {512, 1024, 2048, 4096}$)下进行评估,以刻画上下文权衡: 原始任务质量产物:artifacts/benchmarks/task_quality_benchmark.json。

author = {Nguyen, Vo Anh Khoa}, title = {{VANTAGE-V-AI: Bounded-Memory Streaming Engine, 2-Bit Packed Ternary KV-Cache and Associative Memory Runtime for Large Language Models}}, year = {2026}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {\url{https://github.com/khoadev-vn/VANTAGE-V-AI}}, version = {8.2.0}

📄 许可证与合规

本项目基于 MIT 许可证授权——详情请参阅 LICENSE 文件。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →