面壁智能姚远：两年GPT-6级AI跑在手机上，现在点外卖订机票有点无聊

智东西 作者 | 江宇 编辑 | 云鹏 350亿参数的多模态大模型，在仅占用约3GB内存的情况下，已经能在手机上实现超过30 Token/s的生成速度。 智东西11月5日报道，今日，在面壁智能举行的端侧多模态大模型技术交流活动上，面壁智能联席首席科学家、清华大学人工智能学院助理教授姚远透露，团队通过最新一轮推理优化，已将MiniCPM-V 4.7 35B-A3B在手机上的生成速度进一步提升至30 Token/s以上，模型精度损失几乎可以忽略。 一款总参数量达到350亿、每次推理仅激活约30亿参数的混合专家（MoE）模型，正在接近智能手机上较为流畅的实时交互速度。 此前，面壁智能已于10月13日发布并开源MiniCPM-V 4.7系列模型，包括35B-A3B和1B两个版本。 面壁智能联合创始人、首席科学家刘知远教授在现场提到，把大模型装进终端并不够，关键是让用户真正用起来。他认为，至少达到30 Token/s的生成速度，才能提供足够流畅的使用体验。 在随后的分享中，姚远及面壁智能多模态实验室核心成员余天予、蔡天驰，分别从端侧智能的发展趋势、模型能力密度和底层推理优化三个方面，介绍了团队的最新研究进展。 其中，作为分享重点的前瞻专家调度（Lookahead Expert Scheduling，LES）技术，可以提前预测模型下一层需要调用哪些专家模块，在计算的同时从手机闪存读取权重，大幅减少模型推理过程中的等待时间。根据面壁智能公布的测试数据，这一方案能够在保持模型输出不变的情况下，将端侧MoE模型的生成速度提升约5倍。 在今天的活动现场，智东西还体验了搭载MiniCPM-V 4.7的iPhone Duo。现场体验中，该设备运行模型时的实时解码速度约为25 Token/s。 面壁智能初始版本测试数据显示，MiniCPM-V 4.7 35B-A3B在iPhone 17 Pro Max上的生成速度超过13 Token/s，在iPad Pro M4 16GB上超过17 Token/s。而根据姚远今天披露的信息，团队最新的优化版本已能够在手机上达到30 Token/s以上，同时继续将运行内存占用控制在约3GB。 在随后的媒体交流中，姚远还给出了一个大胆预测：按照过去几代大模型能力向端侧迁移的速度，未来两年内，GPT-6级别的智能能力有望在手机上以约3GB内存实现流畅运行。 他认为这一判断称是目前行业尚未形成广泛共识的观点之一。 谈及AI手机的现状，他认为，真正的AI原生手机需要重新思考交互方式，而端侧模型能力、手机系统的权限壁垒以及功耗，仍是实现这一目标需要解决的问题。

一、端侧智能正在“撞线”，部分能力已超过三年前云端旗舰模型

姚远提出了一个判断端侧智能发展阶段的新视角：当端侧模型能够提供的智能水平，超过某类用户需求所要求的最低门槛时，这类任务就具备了从云端转移到终端的条件。他将这一过程称为“撞线”。 姚远将智能需求分为两类：一类是设计先进芯片、开发大型软件等近乎没有能力上限的复杂任务；另一类则是大量日常生活和工作中，能力要求相对稳定、存在明确上限的任务。 对于后一类需求，只要端侧模型的能力持续增长，总会有一部分任务达到可以由本地模型完成的水平。 他认为，这种变化已经开始发生。从早期的文本续写、信息抽取，到写作改写、图像和视频理解，再到初步的工具调用，端侧模型能够覆盖的任务范围正在扩大。 要推动这一进程，姚远提出了端侧智能发展的“三驾马车”：模型、硬件和AI基础设施（Infra）。 模型负责提供智能能力，硬件负责提供计算资源，Infra则要让模型的计算需求与硬件资源尽可能高效地匹配，减少中间损耗。 其中，在模型层面，面壁智能此前提出的智能密度定律认为，模型的智能密度大约每3.5个月翻一番。 在硬件层面，芯片性能的持续提升，以及面向Transformer架构优化的NPU，都有望进一步提高端侧设备能够承载的智能水平。 而在Infra层面，姚远展示了MiniCPM-V 4.7在不同优化阶段的生成速度变化：在iPhone 17 Pro Max上，采用常规专家读取方式时，35B模型仅能达到约3 Token/s；引入前瞻专家调度后，提升至约13 Token/s；进一步利用新一代手机硬件，生成速度提升至约20 Token/s。 最近几天，团队又完成了新一轮优化，将生成速度提高到30 Token/s以上，内存占用仍维持在约3GB。 他认为，MiniCPM-V 4.7 35B-A3B的多模态智能水平，至少已经超过2023年的云端旗舰模型GPT-4V。 三年前需要依赖大型云端计算资源才能提供的部分多模态能力，如今已可以在手机上本地运行。 除此以外，姚远还提出了“等智能线”的概念：以某一代云端旗舰模型的能力为标准，观察达到相近能力所需的模型参数规模如何随时间下降，再与端侧设备能够承载的模型规模进行比较。当两条曲线相交时，就意味着相应水平的智能能力可以在端侧实现。 按照姚远的判断，如果以GPT-4V或GPT-4o等历史模型的能力作为参照，端侧智能已经在一定程度上实现了跨越；如果以更强的新一代前沿模型作为标准，端侧仍有距离。 他认为，不能通过不断提高智能能力的评价标准，否认端侧模型已经跨过的一些重要门槛。

二、350亿参数模型，如何逼近手机算力极限？

面壁智能多模态实验室核心成员余天予，将团队提高模型智能密度的技术路线概括为三个问题：如何用更少的计算看清世界、如何用更少的步骤解决问题，以及如何以更低的成本让模型学会新任务。 首先是多模态模型处理视觉信息时面临的计算开销。 一张高清图片可能需要数千个视觉Token才能完成编码。如果模型需要连续理解数分钟甚至数小时的视频，大量视觉Token将迅速占据上下文空间，同时增加计算成本。 因此，面壁智能在历代MiniCPM-V模型中，持续提高视觉信息的压缩效率。 余天予回顾了这一技术路线的变化：MiniCPM-V 2.5通过图像切分提高视觉编码效率；后续版本引入时空联合压缩，通过识别相邻视频帧之间的共同信息，减少重复计算。到了MiniCPM-V 4.5，相关技术已经能够实现最高96倍的视觉压缩。 而在MiniCPM-V 4.7中，团队进一步引入LLaVA-UHD v4，在视觉编码器内部提前压缩视觉Token，将压缩环节前移，进一步减少约一半的相关计算量。 目前，MiniCPM-V 4.7支持4倍和16倍两种视觉Token压缩模式。前者保留更多图像细节，适合文档解析等任务；后者优先降低计算开销，更适合实时交互。 根据此前公开的模型测试，即使采用16倍压缩模式，MiniCPM-V 4.7在MMBench、OCRBench等基准测试中，仍能保持较高的准确率。 除了让模型更高效地处理视觉信息，余天予还介绍了团队在后训练方面的多项技术积累。 其中一项工作是改善视觉模型的幻觉问题。传统的训练方法通常让模型生成多个答案，再由人类对答案质量进行评分。余天予认为，这种方式传递给模型的反馈信息相对有限。 面壁智能此前提出的RLHF-V方法，尝试将简单评分转变为直接纠错。与其只告诉模型哪个答案更好，不如指出具体错误，并提供更合适的答案。 此后，团队又通过RLAIF-V等方法，将部分人工反馈替换为AI反馈，把复杂的视觉理解问题拆解为多个更容易判断的小问题，再综合形成评价结果，以降低反馈数据的获取成本。 最新分享中，余天予进一步介绍了基于概率奖励的强化学习方法RLPR。这种方法希望减少不同任务对专门设计的验证器的依赖，让模型能够根据最终正确结果提供的信息，获得训练奖励，并通过自主探索改进解决问题的方式。 另一个重要方向，是让模型能够在学习新任务的同时，保留原有的通用能力。 余天予介绍，传统监督微调可能出现灾难性遗忘：模型在特定任务上的表现提高了，原本具备的识别、推理或指令遵循能力却有所下降。为此，团队提出了自回放微调（Self-Replay Fine-Tuning）方法。 具体来说，先由原始模型生成一批高质量的通用任务回答，再将这些数据与新任务训练数据混合，让模型在学习新能力时，也能复习原本已经掌握的知识。 根据余天予介绍，团队在多种开源模型上的实验显示，这种方法能够将微调导致的能力遗忘减少80%至99%，同时基本保持新任务上的训练效果。 该方法无需改变模型结构和损失函数，也不需要在每次训练中重新生成大量回放数据，因此能够接近普通监督微调的使用成本。 在任务演示中，余天予展示了MiniCPM-V 4.7 35B-A3B在iPhone上离线完成家庭用电分析的过程。模型可以根据用户提供的家电信息、用电预算和历史账单，分析哪些家电消耗了最多电量、账单中是否存在遗漏，并提出不同的节电方案。 余天予认为，端侧模型未来还有一个值得探索的方向：让模型在用户自己的设备上持续学习，在保持隐私和本地计算优势的同时，逐渐适应个人的长期使用习惯。

三、80%的“专家”提前猜中！揭秘手机运行35B模型的关键技术

面壁智能多模态实验室核心成员蔡天驰重点拆解了前瞻专家调度技术LES。这项技术要解决的是：手机内存装不下整个350亿参数模型，但手机的闪存空间又足以储存这些模型权重。 以MiniCPM-V 4.7 35B-A3B为例，模型完整权重约65.6GiB。即使采用更低精度的量化方案，权重规模仍然可能超过普通手机能够提供的运行内存。 但是，MoE模型有一个重要特点：它虽然拥有大量参数，每次生成Token时，实际只需要激活部分专家模块。模型可以将大部分权重保存在闪存中，需要使用时再加载进来。问题在于，这种方案会导致频繁的数据读取。 蔡天驰称，MiniCPM-V 4.7 35B-A3B具有40层计算结构。如果每一层都要先确定需要的专家，再从闪存读取对应权重，就会不断产生等待。 以iPhone 17 Pro Max为例，如果不考虑额外的数据读取和系统调度开销，模型每生成一个Token的纯计算时间约为50毫秒，对应约20 Token/s的理论计算速度。但在常规闪存读取方案下，数据搬运等环节可能再增加约250毫秒，使实际生成速度下降至每秒2至3个Token。 LES的关键，就是把原本串行的“确定专家—读取权重—执行计算”，尽可能转变为并行过程。 具体来说，系统会利用Transformer模型相邻层之间的残差连接特性，在当前层执行计算时，提前预测下一层需要调用的专家，并同步将对应权重从闪存加载至内存。 这样，当计算进入下一层时，大部分所需专家已经准备完毕，原本花在等待闪存读取上的时间就可以被计算过程覆盖。 但这种方法还有一个重要问题：提前预测的专家不一定完全正确。 蔡天驰提到，在模型的一层包含256个候选专家、实际需要激活8个专家的情况下，如果提前预测8个专家，命中率约为80%。也就是说，8个需要使用的专家中，通常可以提前预测出6至7个。 如果将预测范围扩大到16个，命中率可以进一步提高至约96%，但额外读取更多专家也会增加开销。 因此，LES需要在预测命中率和读取成本之间寻找平衡。 对于没有提前预测到的专家，系统会在计算时继续加载，并优先计算已经准备就绪的专家，让剩余权重的读取与计算同步进行。 除此以外，预测结果不会直接改变模型最终使用哪些专家。 模型仍然按照原有路由机制选择实际需要的专家，预测只影响读取和计算顺序。因此，前瞻专家调度本身不会改变模型最终的输出结果。 除了提前预测，团队还在模型权重的存储和读取方式上进行了优化。 传统的专家权重可能分散保存在不同位置，一次调用需要执行多次读取操作。面壁智能重新组织了专家权重的存储布局，让同一专家所需的数据尽可能连续排列，以提高闪存读取效率。 同时，团队还使用逐层混合精度量化，减少权重体积和数据传输量，并引入DSpark投机解码等技术，让主模型一次计算能够验证多个候选Token，进一步提高生成效率。 根据面壁智能此前公布的数据，在iPad Pro M4 16GB设备上，LES能够使MiniCPM-V 4.7 35B-A3B的生成速度平均提升约5倍。

五、面壁科学家回应：两年内GPT-6级能力上手机，AI手机仍缺乏想象力

在随后的媒体交流中，姚远等科学家进一步谈到了端侧智能未来两年的发展、AI手机的应用瓶颈，以及模型商业化等问题。 以下为智东西整理的关键问答： Q1：未来两到三年，端侧模型的能力上限可能达到什么水平？ A：从过去几代旗舰模型的演进来看，云端旗舰模型的能力，通常能够在大约两年内迁移到端侧。 按照这一趋势，未来两年内，GPT-6级别的智能能力有望在手机上以约3GB内存、较快的生成速度实现。 这并不意味着，直接将现有GPT-6模型完整部署到手机，而是未来的端侧模型能够达到与其相近的智能水平。姚远坦言，这也是目前团队一个比较挑战行业想象力、尚未形成广泛共识的判断。 他认为，端侧AI能力的持续提升，可能让更多原本只能依赖云端完成的复杂任务转移到手机本地。 Q2：如何看待当前市场上的AI手机和AI原生手机？ A：姚远认为，现阶段AI手机面临两个主要障碍。 首先是模型能力仍然有限，尚不足以完成更多复杂任务。其次是手机生态中的权限和数据壁垒，不同厂商对应用数据和操作权限的限制，会影响智能体跨应用执行任务。 他以此前豆包手机遇到的应用权限限制为例，认为手机生态本身也需要发生变化。 但在他看来，当前AI手机还有一个问题：行业对AI原生手机的想象力仍然不足。 “包括其实一些典型的应用，说实话也有点无聊，就点外卖，订飞机票等等，这种其实大家展示都是这些。” 姚远认为，真正的AI原生手机，应该从用户理想中的使用体验出发，重新思考AI能够带来的交互方式。 面壁智能方面也提到，未来可能不再需要专门强调“AI手机”这一概念，因为AI能力可能像今天的触屏一样，成为手机的基础功能。届时，手机的硬件形态和交互方式也可能发生变化。 Q3：手机厂商正在自研端侧模型，面壁这样的第三方厂商如何与其竞争？ A：姚远提到，手机厂商可以围绕自身硬件进行深度定制，但第三方模型厂商的优势在于能够面向不同芯片、操作系统和推理框架进行广泛适配，并依靠开源社区形成生态。 他还分享了一组面壁智能内部测试结果。据其介绍，团队曾对Apple Intelligence的本地模型进行测试。在约10项基准测试中，苹果端侧模型的综合得分约为54至55分，与MiniCPM-V 4.7 1B的水平大致相近，而MiniCPM-V 4.7 35B-A3B在团队测试中的得分接近90分。 此外，面壁智能的模型和Infra由团队自主研发，硬件则依靠生态伙伴。其也不会将模型限定在某一家手机或芯片厂商的平台上。 Q4：目前的演示主要集中在旗舰手机上，普通用户什么时候能在千元机上使用端侧模型？ A：蔡天驰称，1B和35B-A3B两个版本承担着不同的任务。35B-A3B主要用于突破端侧智能的能力上限，1B版本则面向更广泛的消费级终端。 早在上一代MiniCPM-V 4.6时期，1B版本就已经能够在部分千元机甚至更低价位的设备上运行，生成速度可以达到15 Token/s或更高。 在用户体验方面，团队认为，8 Token/s以下容易让人感到卡顿，而15 Token/s对于一般的文字对话已经比较流畅。 因此，随着模型推理效率继续提高，未来不同价格手机之间的AI体验差异有望进一步缩小。 Q5：如果端侧AI需要持续读取邮件、日程、照片等信息，能否在当前手机上24小时运行？ A：蔡天驰坦言，目前MiniCPM-V 4.7运行时的功耗接近大型手游，部分情况下甚至可能更高。 按照当前的功耗水平，要让这一模型全天候持续运行，仍然不现实。 不过，团队认为，随着模型算子优化、推理引擎改进，以及采用更低功耗的计算芯片，仍有较大的优化空间。 蔡天驰预计，通过后续优化，当前这一代模型就有机会将长期运行功耗降低到接近手机听音乐的水平，但这仍是团队希望实现的目标，并非现阶段已经达到的效果。 姚远还透露，团队正在开展实时交互全模态模型的相关研究。其设想是，未来个人AI助手能够持续理解用户周围的音视频信息，在本地掌握个人上下文，并实时提供服务。 他将这种理想形态类比为电影《钢铁侠》中的AI助手贾维斯。 Q6：当端侧模型越来越强，未来还需要云端AI吗？哪些信息应该在本地处理？ A：姚远认为，端云协同仍然是未来的重要方向。 对于特别复杂的任务，如果本地模型暂时无法处理，就需要调用云端模型。但随着端侧模型的智能水平提升，能够留在本地完成的任务会越来越多。 具体到隐私保护，姚远认为，多模态信息具有数据量大、持续产生和隐私敏感程度高等特点，因此应尽可能优先在本地处理。 如果遇到特别复杂的逻辑推理任务，可以先在本地将问题进行抽象和脱敏，再交给云端模型完成推理，最后由本地模型结合具体的个人场景生成结果。 在汽车等场景下，本地计算还具有网络稳定性优势。比如车辆进入隧道或无网络区域时，涉及车辆交互和控制的功能不能完全依赖云端连接。 Q7：随着大模型逐渐成熟，行业是否正在从模型算法转向Infra优化？ A：姚远认为，Infra在大模型发展过程中的重要性确实明显提升，但这不意味着模型算法创新的重要性正在下降。 “很多模型能力边界上的事情，就是它做不到就是做不到，你把它快一万倍，它也是输出0。”他解释，模型创新决定能否解决一类新的问题，Infra则决定这些能力能否以合理的成本、速度和资源开销实际运行。 例如，模型具备某项能力，但如果推理速度过慢，或者无法部署到手机上，用户仍然无法真正使用。 反过来，如果模型本身不具备相应的能力，单纯提高运行速度也无法弥补。 在他看来，模型、硬件和Infra需要相互配合，不能认为其中某一个方向可以长期取代其他方向。 姚远还透露，面壁智能正在探索用AI自动编写模型计算算子，针对不同模型和硬件生成专门优化的计算实现，以减少传统人工优化的成本。 Q8：当前手机、汽车和机器人厂商最迫切的端侧AI需求是什么？具身智能能否沿用多模态模型的技术路线？ A：姚远认为，现在许多终端厂商更加关注端侧模型能否进一步提高能力、运行速度，以及降低功耗。 以智能汽车座舱为例，理想中的AI助手需要同时处理车内外音视频、多个传感器的信息，以及不同乘客的交互需求。 它可能需要在用户上车时识别身份、根据个人习惯调整设备，或者判断车内不同人员之间的对话，并决定何时参与交互。 但这些功能能否实现，最终仍取决于端侧模型能够提供的智能水平。 对于具身智能，姚远认为，多模态模型与具身模型在底层存在较强的技术关联。面壁智能看好的路线是从文本模型、多模态模型，进一步发展到实时全模态和具身智能。 不过，他同时认为，当前具身智能还没有进入通用能力成熟、适合大规模商业化的阶段。 现阶段许多机器人应用仍然依赖针对固定场景训练的专用模型，泛化能力和长程任务执行能力有限。 因此，面壁智能现阶段更希望先提高具身基础模型的通用能力，而不是主要依靠针对固定动作和场景的专用模型推进商业化。 Q9：面壁智能如何平衡开源与商业化？ A：姚远认为，开源是模型厂商接触潜在商业客户的重要方式。 模型开源后，开发者可以直接下载和测试，部分企业在使用过程中认可模型效果，随后便会主动联系面壁智能，探索商业合作。 “其实我们现在很多的客户都是用了我们开源模型，说很好，所以来和我们接触的。”他提到，面壁智能仍然会持续开源重要的基础模型，已经明确签订商业合作的特定版本则可能采取不同的方式。 开源社区也能帮助公司在海外接触更多开发者。部分开发者利用MiniCPM模型开发AI眼镜及各类应用，这些项目未来也可能进一步发展为商业合作。 对于具体合作方式，面壁智能目前没有固定的商业化模式，而是根据不同终端厂商的需求，探索模型定制、后训练和其他合作方式。