研究探讨AI模型能被切分到多小以推动去中心化推理

一个问题：我们究竟能把AI模型切到多小？这可能改变谁能运行模型。

每隔几个月，就有人指出：世界正淹没在闲置算力之中。办公室桌上的笔记本电脑在空转，手机的大部分电量都耗在口袋里等待。与此同时，科技垄断企业投入数千亿美元，建设占地广阔、耗水惊人的数据中心，里面塞满高端集群，用来训练和运行现代语言模型。

直觉上的替代方案显而易见：把模型拆开，放到每个人的设备上运行。

然而，每当人们尝试去中心化AI，都会撞上同一堵墙。Petals和BloomBee等项目已经证明，可以通过公共互联网进行推理，但它们大多采用流水线并行——把整层交给单台机器。

这种策略的问题在于入场门槛。如果第14层需要8 GB或16 GB内存，那么每台只有2 GB或4 GB空闲内存的设备都会被拒之门外。最终，整个网络看起来像是一串摇摇晃晃的小型服务器，而不是真正的通用计算网格。

真正的突破不在于逐层分发，而在于子层内部的切分。

标准的Transformer块由两个不同的计算引擎组成：前馈/MLP块和注意力机制。

如果想直观地理解信息经过这些块时发生了什么变化，我在《词语是影子》一文中做过探讨。而这里要问的是：如何把这种计算拆分到不同设备上。

过去，这两个引擎都需要在所有活跃参数上进行连续、密集的矩阵乘法。但近期的架构创新——由DeepSeek-V4-Flash等前沿开源模型推动——从根本上打破了这种单体结构。

现代混合专家（MoE）模型不再为每一层使用一个单体MLP块。它们把前馈步骤拆成许多彼此隔离的专用子网络。在一个2840亿参数的模型中，对于任意给定token，只有一小部分——约130亿参数——会被激活。

由于专家彼此独立运行，你不需要一台机器来承载整个MLP层。你甚至不需要一台机器来承载整个专家：

第二个瓶颈一直是键值（KV）缓存。在传统的多头注意力中，随着上下文扩展，存储注意力状态所需的内存会爆炸式增长，使得在分布式消费级节点上进行长上下文推理几乎不可能。

近期的发展改变了这个局面：

传统观点认为，在服务器机架之外运行张量并行是不可能的，因为消费级Wi-Fi的延迟比高速服务器互连慢几个数量级。

如果你想在家庭宽带上复制一台密集超级计算机，这确实成立。但如果架构本身围绕稀疏性和本地化来构建，就未必如此：

这一比较描述的是一种拟议架构，而非经过实测的部署。更小的分片减少了每台设备所需的权重内存；由此产生的通信仍然需要工程设计和基准测试。

当节点按网络拓扑组织时，路由器会同时根据语义专长和物理邻近性来分发token。相邻的专家分片可以位于共享低延迟局域网的节点上，从而消除不必要的跨大西洋往返。

在去中心化边缘侧，多个重要项目正在构建基础设施，以便在分布式设备上动态承载、分片和路由模型：

去中心化协议在构建网络的同时，传统前沿实验室正在构建稀疏几何数学（MoE、压缩缓存、动态深度），以便在其硬件内部运行：

这种架构不仅是一种有趣的工程技巧；它从根本上重构了AI的经济学：

谁能成功连接这两半——稀疏动态几何（MoE + 压缩KV + 动态路径）与去中心化协议层（P2P路由）——谁就将拥有后云时代的智能基础设施。

过去十年，AI的进步一直有利于集中化：更大的集群、更高的散热上限、更深的企业口袋。

基于子层分片构建群体，会逆转这种激励结构。数以百万计的办公笔记本电脑、手机、智能电视和退役硬件——在LLM时代曾被当作电子垃圾——可以成为新兴超级计算机中的功能单元。

前进的道路不会是等待消费级家庭互联网模仿数据中心的光纤。它会来自这样的软件：把稀疏性、自适应注意力和子层碎片化作为原生设计原则。当模型可以被切得足够薄、足以装进任何地方时，智能就不再专属那些拥有数据中心的企业。

这是一篇基于所链接研究的架构论证。文中提出的群体、微型设备内存预算以及端到端网络效率，尚未在此得到验证。