返回资讯中心
外部精选
软件工程
#开发者实时流

AI模型能力提升,但个人自建运行门槛越来越高

来源标题:AI Is Getting Better. Running It Yourself Is Getting Harder

开源AI社区面临一个日益突出的矛盾:模型生成token的效率在提升,但个人和小团队自建托管的难度却在加大。DeepSeek-V3总参数达6710亿、每token激活370亿,Meta的Llama 4 Maverick总参数4000亿、激活170亿,这类大规模MoE模型即使权重公开,硬件成本也会让研究者难以自行运行。

Hacker News 最新josip2082026/11/4 · 13 天前16 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

一个模型在计算上可以变得更便宜,却更难被拥有。

一个实验室发布了一个更好的模型。权重是公开的,基准测试看起来不错,开发者们开始琢磨能用它构建什么。

我认为这将成为开源 AI 社区面临的更棘手的问题之一。模型在生成 token 方面可以变得更高效,同时却让个人和小团队更难托管。我们可能获得越来越强大的权重,却失去实际运行它们的能力。

一个模型不需要限制性许可证才会变得遥不可及。硬件账单就能做到这一点。

中国和美国的实验室都在追求大型混合专家模型。DeepSeek-V3 总参数为 6710 亿,每个 token 激活 370 亿。Meta 的 Llama 4 Maverick 总参数为 4000 亿,激活 170 亿。这些是方向性的示例,而非证明未来每个模型都会遵循这一路线。DeepSeek 的技术报告、Meta 的模型卡

其吸引力很直接。一个模型包含许多专家网络,路由器为每个 token 选择其中一个子集。它可以拥有庞大的参数池,而不必在每次生成步骤中使用全部参数。

这使得总参数与激活参数之间的区分在经济上至关重要。

激活参数有助于确定一个 token 所需的工作量。总参数决定了你需要把多少权重存放在某处。服务系统的其余部分则带来自己的需求,包括工作内存、上下文缓存以及设备间的通信。

你可以跳过某个专家的计算。但当路由器选择它时,你仍然需要访问它的权重。

按每参数一字节计算,一个假设的万亿参数模型仅权重就需要大约 1TB。压缩可以减少这一占用,但根本问题依然存在:一个模型在计算上可能相对经济,在保持就绪状态上却十分昂贵。

对于大型提供商来说,这可能是一笔划算的交易。对于试图独立运行它的人来说,这可能就是决定性的制约因素。

想象一下,一个提供商为数千名客户托管该模型。

权重在每个服务副本中只加载一次。请求共享部署,批处理让服务器可以同时处理多个用户的工作。像 vLLM 这样的推理引擎正是为了提高这种利用率而构建的。vLLM 的服务研究

一个运行几个编码代理的个人面临的是不同的问题。模型在请求之间可能大部分时间处于空闲状态,但它的内存占用在等待时并不会缩小。

十个代理可以共享一个模型部署。它们不需要十份权重副本。然而,它们会增加上下文存储和竞争性工作。共享有帮助;但它并不能让最初的托管需求消失。

这就是架构效率如何强化规模经济的方式。提供商可以将昂贵的内存和互连分散到一个繁忙的服务中。小团队则必须用小得多的负载来证明同样的基础设施是合理的。

权重对两者可以同等可用。经济账却不是。

它们允许独立托管、修改、研究以及提供商之间的竞争。它们为组织提供了仅靠 API 无法提供的选择。即使我无法在家里运行一个模型,原始实验室之外的某个人也可以操作它。

但选择一个提供商与能够用自己的部署替换一个提供商之间,存在着有意义的差别。

如果最强大的发布版本需要超出普通开发者能力的基础设施,那么社区中的大部分人将通过托管端点来体验它们。我们可能拥有更多相互竞争的服务,同时仍然依赖服务。

这就是我看到的风险:随着有用的自托管成本上升,开放权重 AI 在实践中正变得集中化。

一种应对方式是共享基础设施。

一群开发者、一所大学或一个合作社可以资助一个共置推理集群。成员们分担保持大型模型可用所需的成本,而不是各自购买大部分时间闲置的设备。

区别在于共享发生在哪里。

用户可以从任何地方连接。运行紧耦合模型的 GPU 受益于彼此靠近和快速连接。专家并行涉及在模型执行过程中在设备之间移动工作;这种通信足够重要,需要专门的服务支持。vLLM 的专家并行部署指南

将用户连接到几百公里外的服务器是一回事。让相距如此遥远的两个城市的 GPU 在生成每个 token 时反复协调则是另一回事。

社区所有权并不要求地理上分散的执行。一个位于单一地点的共同拥有集群,可能比一堆努力想表现得像一台机器的家用 GPU 更能保持独立性。

它仍然需要维护、资金和称职的运营。但这些是社区可以组织起来解决的问题。

共享基础设施有助于支付这些需求。研究可以降低这些需求。

压缩、蒸馏、更好的推理软件和专家缓存都很重要,因为它们可以改变谁有能力操作一个模型。卸载研究已经在探索如何在不将所有专家权重保留在 GPU 内存中的情况下运行稀疏模型,尽管在内存层级之间移动专家会带来自身的性能成本。MoE 卸载研究

有用的问题是:在现实的预算下,有多少能力能够保留下来。

一个更小的模型能否完成团队实际需要的工作?常用的专家能否留在快速内存中,而其他专家留在别处?更好的批处理能否支持更多用户,而不让每次交互都慢得令人痛苦?

这些改进很少能产生像“又一万亿参数”那样简单的头条新闻。但它们对可及性可能有更直接的影响。

一个小组织负担得起运营的模型,给了那个组织选择。一个它只能下载的模型,给它的只是一个文件。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →