返回资讯中心
外部精选
ai-models
#大模型#国内动态#资讯#AI infra#AI视频生成#是石科技

提速2.48倍且画质不掉线,AI视频“降本增效”有了新解法

与文本相比,视频和音频包含更高密度的时序信息。模型在处理连续视频帧、声音片段等输入时,需要将这些内容转化为大量Token,进而增加计算与存储负担。但不同模态、不同片段的信息密度并不相同。部分Token包含关键语义信息,部分则存在较高冗余。

量子位思邈2026/11/16 · 2 天前1 分钟阅读中文

以下正文同步自 量子位,版权归原站所有,已转换为易读排版。

与文本相比,视频和音频包含更高密度的时序信息。模型在处理连续视频帧、声音片段等输入时,需要将这些内容转化为大量Token,进而增加计算与存储负担。但不同模态、不同片段的信息密度并不相同。部分Token包含关键语义信息,部分则存在较高冗余。

如果对所有Token采用相同处理方式,容易产生不必要的计算开销;如果直接进行统一压缩,又可能丢失影响理解结果的重要信息。

是石科技提出基于模态自适应的免训练Token压缩方法,利用基于AudioCLIP的模态感知技术,识别不同模态中的有效信息,并据此调整Token保留与压缩策略。

其核心思路是:根据模态特征与信息价值分配计算资源,而不是对所有输入进行等比例处理。

该方法无需额外训练,通过减少冗余Token,降低多模态理解阶段的计算负担,同时尽可能保留关键语义信息。

在WorldSense评测中,该方法实现1.33倍加速。在VideoMME、DailyOmni等多模态理解基准测试中,也展现出良好的性能表现。这使多模态推理优化从视频生成端进一步延伸至素材理解端,为处理复杂视听输入提供更高效的技术路径。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →