
DeepSeek 推出 Ultrafast 推理引擎,单机解码最高 2060 tokens/s
来源标题:DeepSeek Ultrafast
DeepSeek 发布针对 DeepSeek-V4.1-Flash 的超高速推理引擎 Ultrafast,支持 100 万 token 上下文和多服务器 KV cache 共享。在 8 块 B300 上解码速度达 2060 tokens/s,4 块 GB300 为 1740 tokens/s;100 万 token 预填充耗时 11.7 至 13.2 秒。该模型已在 Baseten Model APIs 上线。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
DeepSeek-V4.1-Flash 的超高速推理引擎,适用于 sm_100a 和 sm_103a。支持 100 万上下文长度和多服务器 KV cache 共享。
4 块 GB300(TP4) 8 块 B300(TP8)
Decode(编码) 1,740 tokens/s 2,060 tokens/s
Prefill 100 万 tokens 用时 13.2 秒(76,000 tokens/s) 100 万 tokens 用时 11.7 秒(85,000 tokens/s)
Decode 速度基于提示词“实现俄罗斯方块游戏。直接输出 HTML 代码——不要解释。”测得。复现结果的说明见本页底部。
流式输出一个完整的俄罗斯方块游戏,实时显示 decode 速度,然后实际游玩。以实时速度播放。
DeepSeek-V4.1-Flash-Fast 已在 Baseten Model APIs 上线。更多性能改进和开源发布即将到来。
环境要求
4 块 GB300(sm_103a)、4 或 8 块 B300(sm_103a),或 4 或 8 块 B200(sm_100a)GPU CUDA 13 工具包 models/ 目录下的 DeepSeek-V4.1-Flash 一个用于多服务器 KV cache 协调的 Redis 实例
sudo apt-get install -y build-essential pkg-config cmake clang libclang-dev
libibverbs-dev librdmacm-dev libopencv-dev redis-server curl ca-certificates
curl -sSf https://sh.rustup.rs | sh -s -- -y --default-toolchain none && . "$HOME/.cargo/env"
- 构建
rustup toolchain install DSUF_SM=sm_103a cargo build --release -p deepseek-ultrafast-engine --bin run -p deepseek-ultrafast-server --bin serve
- 启动本地服务器
服务器会在多轮对话之间保留每个会话的 KV cache。Redis 记录每个会话的 cache 由哪个副本持有;在本地只需让它运行即可。服务器会自行发现本机的 RDMA 端口:
redis-server --bind 127.0.0.1 --save '' --appendonly no --daemonize yes DSUF_REDIS_URL=redis://127.0.0.1:6379 target/release/serve --ckpt models --gpus 0,1,2,3 --port 8000
在 8 块 GPU 的 B300 机器上,使用全部八块(--gpus 0,1,2,3,4,5,6,7;以 DSUF_SM=sm_103a 构建)。
当 curl localhost:8000/readyz 返回 200 时即表示就绪,启动后大约需要 20 秒。
使用你惯用的 OpenAI 兼容客户端即可。例如:
DEEPSEEK_BASE_URL=http://localhost:8000 DEEPSEEK_API_KEY=none
npx @deepseek-ai/dsh headless "summarize this repo"
多服务器环境下的 KV cache 共享
每个服务器都会将近期对话的 KV cache 保存在主机内存中。当某个对话的下一轮请求落到另一台服务器上时,该服务器会通过 RDMA 直接从持有该 cache 的服务器主机内存传输到本机主机内存,而不是重新计算 prompt。Redis 记录每个对话的 cache 由哪台服务器持有,并通告所有权的变更。
得益于 DeepSeek 极致的 KV cache 压缩,传输速度非常快,可以在每次请求时都进行。
这一方案免去了前缀感知路由的需要,并实现了更好的负载均衡。
多服务器部署示例参见 deploy/kubernetes.yaml。
从服务器流式获取俄罗斯方块的回答并报告 decode 速度:
python3 - <<'EOF' import json, time, urllib.request body = { "model": "deepseek-v4.1-flash
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。