
AI模型能力提升,但个人自建运行门槛越来越高
来源标题:AI Is Getting Better. Running It Yourself Is Getting Harder
开源AI社区面临一个日益突出的矛盾:模型生成token的效率在提升,但个人和小团队自建托管的难度却在加大。DeepSeek-V3总参数达6710亿、每token激活370亿,Meta的Llama 4 Maverick总参数4000亿、激活170亿,这类大规模MoE模型即使权重公开,硬件成本也会让研究者难以自行运行。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
一个模型在计算上可以变得更便宜,却更难被拥有。
一个实验室发布了一个更好的模型。权重是公开的,基准测试看起来不错,开发者们开始琢磨能用它构建什么。
我认为这将成为开源 AI 社区面临的更棘手的问题之一。模型在生成 token 方面可以变得更高效,同时却让个人和小团队更难托管。我们可能获得越来越强大的权重,却失去实际运行它们的能力。
一个模型不需要限制性许可证才会变得遥不可及。硬件账单就能做到这一点。
中国和美国的实验室都在追求大型混合专家模型。DeepSeek-V3 总参数为 6710 亿,每个 token 激活 370 亿。Meta 的 Llama 4 Maverick 总参数为 4000 亿,激活 170 亿。这些是方向性的示例,而非证明未来每个模型都会遵循这一路线。DeepSeek 的技术报告、Meta 的模型卡
其吸引力很直接。一个模型包含许多专家网络,路由器为每个 token 选择其中一个子集。它可以拥有庞大的参数池,而不必在每次生成步骤中使用全部参数。
这使得总参数与激活参数之间的区分在经济上至关重要。
激活参数有助于确定一个 token 所需的工作量。总参数决定了你需要把多少权重存放在某处。服务系统的其余部分则带来自己的需求,包括工作内存、上下文缓存以及设备间的通信。
你可以跳过某个专家的计算。但当路由器选择它时,你仍然需要访问它的权重。
按每参数一字节计算,一个假设的万亿参数模型仅权重就需要大约 1TB。压缩可以减少这一占用,但根本问题依然存在:一个模型在计算上可能相对经济,在保持就绪状态上却十分昂贵。
对于大型提供商来说,这可能是一笔划算的交易。对于试图独立运行它的人来说,这可能就是决定性的制约因素。
想象一下,一个提供商为数千名客户托管该模型。
权重在每个服务副本中只加载一次。请求共享部署,批处理让服务器可以同时处理多个用户的工作。像 vLLM 这样的推理引擎正是为了提高这种利用率而构建的。vLLM 的服务研究
一个运行几个编码代理的个人面临的是不同的问题。模型在请求之间可能大部分时间处于空闲状态,但它的内存占用在等待时并不会缩小。
十个代理可以共享一个模型部署。它们不需要十份权重副本。然而,它们会增加上下文存储和竞争性工作。共享有帮助;但它并不能让最初的托管需求消失。
这就是架构效率如何强化规模经济的方式。提供商可以将昂贵的内存和互连分散到一个繁忙的服务中。小团队则必须用小得多的负载来证明同样的基础设施是合理的。
权重对两者可以同等可用。经济账却不是。
它们允许独立托管、修改、研究以及提供商之间的竞争。它们为组织提供了仅靠 API 无法提供的选择。即使我无法在家里运行一个模型,原始实验室之外的某个人也可以操作它。
但选择一个提供商与能够用自己的部署替换一个提供商之间,存在着有意义的差别。
如果最强大的发布版本需要超出普通开发者能力的基础设施,那么社区中的大部分人将通过托管端点来体验它们。我们可能拥有更多相互竞争的服务,同时仍然依赖服务。
这就是我看到的风险:随着有用的自托管成本上升,开放权重 AI 在实践中正变得集中化。
一种应对方式是共享基础设施。
一群开发者、一所大学或一个合作社可以资助一个共置推理集群。成员们分担保持大型模型可用所需的成本,而不是各自购买大部分时间闲置的设备。
区别在于共享发生在哪里。
用户可以从任何地方连接。运行紧耦合模型的 GPU 受益于彼此靠近和快速连接。专家并行涉及在模型执行过程中在设备之间移动工作;这种通信足够重要,需要专门的服务支持。vLLM 的专家并行部署指南
将用户连接到几百公里外的服务器是一回事。让相距如此遥远的两个城市的 GPU 在生成每个 token 时反复协调则是另一回事。
社区所有权并不要求地理上分散的执行。一个位于单一地点的共同拥有集群,可能比一堆努力想表现得像一台机器的家用 GPU 更能保持独立性。
它仍然需要维护、资金和称职的运营。但这些是社区可以组织起来解决的问题。
共享基础设施有助于支付这些需求。研究可以降低这些需求。
压缩、蒸馏、更好的推理软件和专家缓存都很重要,因为它们可以改变谁有能力操作一个模型。卸载研究已经在探索如何在不将所有专家权重保留在 GPU 内存中的情况下运行稀疏模型,尽管在内存层级之间移动专家会带来自身的性能成本。MoE 卸载研究
有用的问题是:在现实的预算下,有多少能力能够保留下来。
一个更小的模型能否完成团队实际需要的工作?常用的专家能否留在快速内存中,而其他专家留在别处?更好的批处理能否支持更多用户,而不让每次交互都慢得令人痛苦?
这些改进很少能产生像“又一万亿参数”那样简单的头条新闻。但它们对可及性可能有更直接的影响。
一个小组织负担得起运营的模型,给了那个组织选择。一个它只能下载的模型,给它的只是一个文件。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。