Muse发布Realtime Avatar：将任意角色变为实时互动虚拟形象
来源标题：Bringing Your Muse to Life
Muse推出Muse Realtime Avatar技术，能将Muse Realtime Voice转化为富有表现力的交互式虚拟形象，基于参考素材让任意角色进入实时对话。肖像照片可呈现细微表情，全身插画说话时会做手势和调整姿态，动物与日常物品也能保持自身特征地表达。该技术逐帧生成形象与动作。
以下正文由 AI 翻译自 Hacker News 最新（原文版权归原站所有），可能存在偏差，重要内容请以原文为准。
10分钟阅读 播放 动画角色解释 Muse Realtime Avatar 如何结合 Muse Spark 和 Muse Presence 来生成富有表现力、响应灵敏的个性。播放 显示动画角色解释 Muse Realtime Avatar 如何结合 Muse Spark 和 Muse Presence 来生成富有表现力、响应灵敏的个性的字幕。显示字幕静音 动画角色解释 Muse Realtime Avatar 如何结合 Muse Spark 和 Muse Presence 来生成富有表现力、响应灵敏的个性。静音 动画角色解释 Muse Realtime Avatar 如何结合 Muse Spark 和 Muse Presence 来生成富有表现力、响应灵敏的个性。播放位置0:00 / 0:0000:00 / 00:00
今天，我们推出 Muse Realtime Avatar，这是我们最先进的具身技术，可将 Muse Realtime Voice 转化为富有表现力、可交互的虚拟形象。
以参考媒体为条件，Muse Realtime Avatar 能将任何角色带入实时对话。一张照片肖像会通过细微的表情作出回应，而一幅全身插画则在说话时做手势并变换姿态。动物和日常物品也能变得富有表现力，同时不失去它们独有的特征。逐帧来看，虚拟形象的外貌和举止在对话轮次之间保持连贯。
不止于会说话的头像，Muse Realtime Avatar 能实时让任何图像活起来，具备富有表现力的面部、手部和全身动作。
Muse Realtime Voice 和 Muse Realtime Avatar 构成一个单一的流式系统，连接智能、语音和具身。Muse Realtime Voice 提供对话智能，并生成一串语音 token（VQ），携带说了什么以及如何说。音频解码器将这些 token 转为语音，而 Muse Realtime Avatar 消费同一数据流以生成相应的视觉表演。共享这一 token 流使语音、唇部动作和表情保持同步。
Muse Realtime Avatar 是一个音频驱动的 Diffusion Transformer，以语音 token 流、参考媒体和近期视频 latent 的滚动窗口为条件。它以短因果块的形式生成视频。每个块完成后，其最新生成的 latent 成为下一个块的运动上下文，将虚拟形象的外貌和举止向前传递，同时保持计算量有界，使生成能够随对话持续进行。
Muse Realtime Avatar 将流式语音 VQ 转为同步视频，向前携带生成的上下文，以在整个对话中保持连续性。
实时流式必须同时解决两个问题：足够快地生成视频以实现实时交互，以及在整个对话中保持视觉一致性而不累积误差。
我们从一个高质量的双向教师模型开始，通过自强制和分布匹配蒸馏，产出一个具有固定长度 KV 缓存的因果学生模型。自强制允许学生在自己生成的上下文上训练，教会它在小误差随时间累积时抵抗漂移，匹配其在推理时遇到的条件。
教师模型使用 40 个扩散步，配合三路无分类器引导（CFG），每步需要三次模型前向，每块共 120 次模型评估。我们精心调校的方案将扩散过程和 CFG 的效果联合蒸馏到一个无引导的两步学生模型中。这些技术共同使学生模型能够在两次无引导评估中复现教师模型在 120 次引导评估中逐步精炼的结果，减少 60 倍，同时紧密保持教师质量。
蒸馏将每块的推理从 120 次神经函数评估降至 2 次，减少 60 倍，同时在整体偏好上取得接近均分的结果。
为了解 Muse Realtime Avatar 在实时对话中的表现，我们将其与 Runway Characters 和 HeyGen LiveAvatar 这两个领先的商业虚拟形象系统进行比较，使用各产品原生的实时通话体验。评分者使用匹配的虚拟形象身份与每个系统进行两到三分钟的对话，然后从视觉质量、同步性、角色一致性和举止等方面比较体验。下图报告了整体偏好，评分者更常偏好 Muse Realtime Avatar。
评分者在整体以及每个评估维度上都更偏好 Muse Realtime Avatar。与 Runway Characters 的举止比较在统计上与持平无法区分。
Muse Realtime Avatar 在实时对话展开时持续生成虚拟形象的视频。在 Meta 规模上提供这一体验需要同时具备交互式延迟和高并发。为实现这一点，我们从零重新设计了 Meta 的实时 AI 推理栈，并结合了一个内部定制引擎，专为高度优化的实时视频推理和服务而构建。
带内存感知位置编码的持久 KV 缓存使我们能够在解码时智能地跨块复用上下文。缓存感知路由和延迟感知动态批处理高效地分配并发会话。四位量化感知训练以更低的推理成本保持质量，而融合内核和 NVIDIA CUDA Graph 捕获减少了内存流量和调度开销。我们与 NVIDIA 合作进行了多项模型优化，以最小化模型前向传递的成本。整个系统，包括底层基础设施，都经过端到端优化，以确保流畅的用户体验。
Muse Realtime Avatar 以每秒 25 帧流式传输 448x768 的竖屏视频，从用户轮次结束到收到同步语音和视频响应的首字节约有 870 毫秒延迟。在 GB200 上的单会话中，每个生成步在 20 毫秒内产生八帧，对应 320 毫秒的播放时长，即每帧有效模型时间 2.5 毫秒。
（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）
正文由 探How 从来源站点 RSS 同步，内容未经改写；遇到排版缺失或需要图片、视频时请以原文为准。