PaidinToken 推出开源 LLM 代币价格与本地 GPU VRAM 计算器

搜索...⌘K 价格AI新动态新闻学习常见问题谁拥有BTCVCPaymentsHardwareCheap APIs🇺🇸USD 首页 /AI Hub /硬件与 GPU 兼容性 概览探索模型460+按任务精选2026速度与 TPSFast速率限制配额提示上下文与 NIAH2MVRAM 计算器Calc我能运行吗？GPU替代方案Token 计数器对比模型对战竞技场VSToken 价格最便宜的 API$0.10排行榜EloAI 实验室免费模型NIMAI 加密 💻 “我的机器能运行它吗？”专区•VRAM 与硬件兼容性 我的 GPU 能运行它吗？LLM 硬件兼容性 在下载数十 GB 权重之前，先弄清你的显卡或 Mac 究竟能运行哪些开放权重模型。包含详细的 VRAM 需求、推荐的量化配置，以及针对 16 种主流硬件配置的一键 Ollama shell 命令。 面向游戏 PC 和 AI 工作站的专用 GDDR6/GDDR6X GPU。 360 GB/s（192 位 GDDR6）· NVIDIA Ampere（GA106） RTX 3060 12GB 是本地 LLM 推理领域无可争议的性价比之王。其 12GB VRAM 相比 RTX 4060 等更昂贵的 8GB 显卡具有巨大优势，让用户能够从容运行 14B 模型并拥有充裕的上下文长度。 272 GB/s（128 位 GDDR6）· NVIDIA Ada Lovelace（AD107） RTX 4060 8GB 带来现代 Ada Lovelace 架构的能效和高速第四代 Tensor Core，但受限于 8GB 显存位宽。它在 4 位量化的 7B–8B 模型上表现出色，但在 14B 及以上模型上会触发内存不足（OOM）错误。 504 GB/s（192 位 GDDR6X）· NVIDIA Ada Lovelace（AD104） 凭借 504 GB/s 的 GDDR6X 显存带宽和第四代 Tensor Core，RTX 4070 能以极快速度（85+ tokens/秒）运行 8B 模型。其 12GB VRAM 可支持 Qwen 2.5 Coder 和 Phi-4 等 14B 模型，上下文长度达 16k。 672 GB/s（256 位 GDDR6X）· NVIDIA Ada Lovelace（AD103） 拥有 16GB VRAM 和完整 256 位显存位宽的 RTX 4070 Ti Super 是当前性价比最高的现代 AI GPU 之一。它能从容容纳未量化的 14B 模型，并能在 Q4_K_M 量化下运行 24B–27B 模型，且上下文长度充裕。 736 GB/s（256 位 GDDR6X）· NVIDIA Ada Lovelace（AD103） RTX 4080 16GB 填补了中端显卡与旗舰硬件之间的空白。凭借 16GB 超高速 GDDR6X 显存，它能轻松处理中端的 24B–27B 模型，以及完整未量化的 14B 模型，上下文长度可达 32k+。 936 GB/s（384 位 GDDR6X）· NVIDIA Ampere（GA102） RTX 3090 仍然是本地 AI 玩家心中无可争议的性价比之王。它在宽阔的 384 位显存位宽上提供 24GB 高速 GDDR6X VRAM，能以交互级速度轻松运行 Qwen 2.5 32B 和 DeepSeek-R1 32B。与 4090 不同，它支持物理 NVLink，可将两张卡桥接成 48GB 工作站以运行完整的 70B 模型。 1,008 GB/s（384 位 GDDR6X）· NVIDIA Ada Lovelace（AD102） RTX 4090 24GB 是目前最快的消费级 AI 显卡。它提供超过 1,000 GB/s 的显存带宽和支持 FP8 的第四代 Tensor Core，能以超过 35 tokens/秒的速度运行 Qwen 2.5 32B 和 DeepSeek-R1 Distill 32B，并可通过激进量化运行 70B 模型。 1,792 GB/s（512 位 GDDR7）· NVIDIA Blackwell（GB202） RTX 5090 代表了消费级 AI 历史上最大的架构飞跃。它配备 32GB 前沿 GDDR7 显存，采用庞大的 512 位位宽，带宽接近 1.8 TB/s，单枪匹马解决了 70B 本地推理难题，无需双卡集群即可运行 Llama 3.3 70B 和 DeepSeek-R1 70B。 合计超过 1,800 GB/s · 多 GPU NVLink / PCIe 张量并行 通过 vLLM 或 Ollama 张量并行将两张 RTX 3090 或 4090 配对，可提供 48GB 高速 VRAM。这样一来，无需购买数据中心硬件，就能以纯净的 Q4_K_M 量化运行完整的 70B 参数模型，并拥有高达 64k token 的上下文窗口。 MacBook Pro、Mac mini 和 Mac Studio 上的高带宽统一内存。 100–150 GB/s 统一内存 · Apple M1 / M2 / M3 / M4 统一内存 Apple 的统一内存架构让 macOS 和 Metal 动态共享 16GB 内存。由于 macOS 会为系统 UI 保留 3–4GB，大约有 12GB 可用于 LLM 推理，使 8B 模型在静音无风扇运行下拥有充裕的上下文余量。 150–200 GB/s 统一内存 · Apple M2 / M3 / M4 统一内存 24GB 统一内存档位（见于 MacBook Air、MacBook Pro 和 Mac mini）提供约 18.5GB 的专用 VRAM。它能轻松以高精度运行 14B 模型，并能以轻度量化勉强运行 27B 模型。 150–273 GB/s 统一内存 · Apple M3 Pro / M4 Pro Apple 的 36GB 配置在 M4 Pro 上提供约 28GB 可用 GPU 内存和 273 GB/s 显存带宽。这是在不触发热降频的前提下，本地运行最先进 32B 编程模型的最佳配置。 300–400 GB/s 统一内存 · Apple M3 Max / M4 Max 凭借 300+ GB/s 显存带宽和 38GB 可用统一内存，48GB 的 Mac Max 能从容运行 32B 模型并拥有超大上下文窗口，甚至能在 Q3_K_M 量化下完全离线运行 70B 前沿模型。 400+ GB/s 统一内存 · Apple M2 Max / M3 Max / M4 Max 64GB 的 MacBook Pro 或 Mac Studio 是世界上为数不多能在 Q4_K_M 量化下以 32k 上下文加载 70B 参数模型的便携设备之一。它能在电池供电下静音运行 70B 模型，速度达 12–16 tokens/秒。 800+ GB/s 统一内存（M2 Ultra）· Apple M2 Ultra / M4 Ultra 统一内存 128GB 的 Mac Studio 是一台 AI powerhouse。凭借超过 104GB 的可用 VRAM 和 800 GB/s 带宽，它能在桌面级形态下以未量化（FP16）方式运行 70B 模型，或以 2 位量化运行完整的 671B DeepSeek-R1 MoE 模型。 800 GB/s 统一内存 · Apple M2 Ultra（24 核 CPU，76 核 GPU） 192GB 的 Mac Studio 是有史以来为本地 AI 打造的最强大的单台桌面计算机。它提供前所未有的 158GB 可用统一 GPU 内存，能运行过去需要整个价值 20 万美元服务器机架才能承载的庞大模型——包括以 3 位量化运行的完整 671B DeepSeek-R1 MoE，以及拥有 128k 上下文的完整 70B 模型。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）