iPhone断网跑35B多模态！国产开源新模型，只占3G内存

前瞻专家调度（LES）把专家预取、计算调度和权重存取一起做了优化：什么时候搬、先算哪个，以及每次搬多少，都有讲究。

团队利用了一个特点：模型相邻两层的输入特征往往高度相似。因此，当前层还在计算时，就可以把它的路由输入特征送进下一层的路由器，提前预测下一层可能用到哪些专家，再由后台线程把对应权重从闪存读进内存。

等到下一层真正开工，大部分所需专家已经准备好了。团队测试中，这种方法能提前备好超过 80% 的所需专家，而且无需额外训练。

计算顺序也跟着调整：实际路由选中、已经加载到位的专家先算，其余所需专家同步加载。 尽量让计算和读盘同时进行，少一点「等数据到了再干活」。

这里有个关键区别：预测只负责提前搬运和安排计算顺序，最终每个token使用哪些专家，仍由模型原有的路由机制决定。没猜中的专家照常加载、照常计算，不会为了提速省掉。

另一部分优化发生在权重本身。通过逐层混合精度量化，团队在基本保留模型能力的前提下，把专家权重压得更小，减少每次加载的数据量；再把权重重新组织成连续存储的布局，减少零散读取，让闪存更高效地顺序读数。

一个减少要搬的东西，一个让搬运更顺畅，再配合提前加载和并行计算，共同降低端侧的存储与带宽压力。

在16GB内存的iPad Pro M4上，前瞻专家调度方案综合提升了x5倍解码速度 。

此外，团队还为模型训练了配套的DSpark草稿模型，并接入llama.cpp等端侧推理框架。由草稿模型先提出多个token，再交给主模型批量核验，进一步加快生成。在16GB内存的M5 Mac测试中，解码速度平均进一步提升17%。

视觉这一侧也在省。MiniCPM-V 4.7沿用了LLaVA-UHD v4的ViT内早期压缩技术，在视觉编码器内部就提前合并视觉token，后面的层要算的东西就少了。开发者还能在4倍和16倍压缩之间切换，前面也提到，开到16倍时分数几乎没掉。