Altman称个人电脑闲置DRAM浪费严重，开发者实测本地跑模型利用率

前几天，Sam Altman 在 Stripe 的 Cheeky Pint 播客上谈到了内存短缺的问题。在谈到人们本地运行模型时，他说：

让每个人都把世界上有限的 DRAM 供应中的一部分放在自己的电脑里，而且只有 5% 的时间在使用，这相当糟糕。12

他的观点是，数据中心里的内存整天都在忙碌，而你笔记本电脑里的内存大部分时间都闲着。Futurism 说得更直白，称他讨厌人们在家里运行 AI 模型的想法。3

我在自己的机器上运行模型已经有几个月了，所以我想看看我的实际数据到底是什么样的。

我用的是 MacBook Pro，M5 Pro 芯片，64 GB 内存。没有别的设备，没有 GPU 主机，也没有家用服务器。

大多数时候我运行的是 4-bit 量化的 Qwen3.8 27B。我也用过 Gemma 4 和一个更小的 9B Qwen 做快速测试。

我甚至用它们来支撑几个托管在云端的项目。我只需要用 mlxsh 跑一个简单的 cloudflared 隧道——这是我写的一个简单粗暴的脚本，在兼容 OpenAI 的 endpoint 后面提供 MLX 模型服务。

从 8 月 1 日到 10 月 23 日，我大约发送了 1060 万个 token，收到了 39.1 万个。大部分都发给了 Qwen3.8 27B。GPU 总共忙碌了大约 15 个小时。

在 OpenRouter 上，用普通供应商跑同样的用量大约要花 5 美元。而我自己跑，电费大约是 12 美分。

其中超过一半发生在 10 月的两天里，那两天我一直在反复运行同样的长 prompt。

以我的使用量来说，这点差异其实无所谓，所以我拿了我 10 月的用量，摊到一整年，再按比例往上推算。

我的成本就是笔记本在运行模型时消耗的电费。

按 token 算，本地运行大约便宜 40 倍，而且随着使用量增加这个比例依然成立。如果我让笔记本全天候忙碌，省下的钱大约一年就能把机器钱赚回来。

我不认为省钱是做这件事的主要理由，虽然我确实很喜欢不用为那些注定失败的个人项目付费。5 美元对 12 美分，怎么算都无所谓。我坚持这么做的理由是不同的。我发给模型的东西都留在我的机器上。当我用自己的数据做测试时，我不希望它跑到别的地方去。

我发现，更小的模型能让你看到自己代码的薄弱之处。大型托管模型会掩盖很多糟糕的 prompt，而一个 4-bit 的 27B 模型不会。它在我自己的代码里抓到了几个 bug，换作更大的模型会悄无声息地绕过去。也许这是一把双刃剑。

缺点是速度。27B 模型每秒大约输出 17 个 token，一个长 prompt 可能要等 40 秒才开始有返回。在我构建某个东西、而且并不完全确定自己在构建什么的时候，这点等待我还能接受。

我完全支持本地推理，不过这可能因人而异。但他说闲置那部分是对的。他猜的是 5%，我的情况更糟。将近三个月里只有 15 个小时，不到总时间的 1%，其余时间我的内存没有做任何 AI 相关的工作。

我是怎么统计的：token 数量包含中途失败的请求。OpenRouter 的价格来自 2026 年 11 月，Qwen3.8 27B 用的是阿里巴巴的价格，Gemma 4 用的是 Cloudflare 的价格。45 速度来自在我机器上跑的一次 benchmark。电费按生成时约 60 W、每 kWh 13 美分估算，这大约是犹他州本地的平均居民电价。6 年度数字是我 10 月的用量乘以十二。