终端侧AI：从单点应用走向智能体体验

目前主流做法通常只能在端侧运行20亿至30亿参数规模的模型。这一规模已经可以很好地完成ASR、文本摘要、图片处理、简单聊天等单点任务，但如果希望完成系统级、规划类的复杂任务，模型的智能能力仍然面临一定限制。

现阶段采用20亿、30亿或40亿参数规模的模型，并不是完全无法运行这些复杂任务，但是完成度和准确度仍有提升空间，可能达到60%、70%或80%的水平。借助MoE，则有机会进一步提升端侧模型的智能水平以及复杂任务的完成度和准确度。

这也是MoE对于终端侧AI的一个重要意义：在终端有限的内存、功耗等条件下，为部署和运行更高智能水平的模型提供新的技术路径。

随着相关技术进一步发展，目前现场展示的意图理解、任务编排、实时操作目标App等能力，未来有望进一步应用到手机、汽车、PC等不同终端。

MoE模型包含多个专家模块，因此模型总体体量较大。在端侧真正运行起来，除了模型自身的智能水平，还需要解决两个非常实际的问题：如何根据当前任务，提前预测接下来需要调用哪些专家模块；预测完成后，如何快速从存储中调用这些专家模块，并让它们及时参与计算。

在大模型推理过程中，DDR带宽往往是一个重要瓶颈。如果能够提前判断下一步需要哪些专家模块，并将这些专家模块预取到合适的位置，就能够减少等待时间，提高模型运行效率。

高通在第九届进博会展出的端侧MoE智能体演示，正是围绕这些问题进行探索，由高通与Infris AI、江波龙、阶跃星辰共同合作完成。围绕端侧MoE模型的高效运行，各方从模型、推理、存储和芯片平台等不同环节协同优化：阶跃星辰重点提升模型的智能能力；Infris AI通过推理方案，对所需专家模块进行提前预测和预取；江波龙优化专家模块从通用闪存存储（UFS）到内存的加载效率，使其能够更快被激活；高通则围绕芯片平台和软件栈，与合作伙伴共同优化专家模块路由、专家模块预测和缓存预测等环节，从而提升MoE模型在端侧的整体运行效率。因此，这一演示展示的不只是一个模型，而是围绕模型、推理、存储、芯片平台进行的系统性优化，也体现了终端侧AI从单点技术创新走向产业协同。

随着AI和大模型发展，高通与产业上下游合作的重点也在发生变化。目标不只是把模型“搬”到终端，而是让模型在端侧运行得更好，并进一步将这些能力集成到手机、PC、眼镜、汽车等不同终端设备中。

在终端侧AI生态中，不同伙伴扮演着不同角色：模型厂商提供“智能”，高通与模型厂商合作，通过模型量化，并结合芯片技术和软件栈进行优化，让模型更小、推理更快，推动合作从“模型+芯片”进一步走向“模型for芯片”或“芯片for模型”；终端厂商掌握用户“入口”，拥有设备、操作系统和智能体能力，同时终端承载着大量个人和个性化数据，需要将芯片能力与模型智能整合起来，转化为用户可感知的AI体验；开发者负责将AI能力带到更多App和场景，把芯片、模型以及操作系统的能力和权限融入具体应用，并通过丰富的应用生态解决AI应用的“长尾效应”；高通则提供终端AI能力底座，持续增强NPU等AI处理能力，并通过骁龙平台、全栈AI软件和开发工具，与模型厂商、终端厂商和开发者协作，推动AI能力在更多终端和应用中落地。

此次进博会的MoE智能体Demo也是这一生态合作模式的具体体现：从模型、推理方案、存储到芯片平台，不同伙伴分别解决不同环节的问题，共同推动更复杂的AI能力在终端侧运行。