Kandinsky S2V 1.0 开源语音驱动视频模型家族发布

Kandinsky S2V 1.0——一个开放的语音到视频模型家族

基于单张参考图像、一条语音轨道和一段文本提示，生成音频驱动的人像视频。 arXiv GitHub 模型 演示 摘要 我们提出 Kandinsky S2V 1.0，这是一个开放的语音到视频模型家族，用于可控的音频驱动人体动画，包含 Kandinsky S2V 1.0 Lite（2B 参数）和 Kandinsky S2V 1.0 Pro（21B 参数）。给定单张参考图像、一段语音波形和一段文本提示，模型可生成 25 FPS 的长视频，其中唇部运动、表情、姿态和手势均跟随语音变化。该架构从同一个 Qwen2.5-Omni 模型中提取文本和音频条件，并加入一个参考感知的三尺度视觉记忆。训练从 Kandinsky 5.0 Video 基础模型出发，结合混合参考记忆布局与面积自适应人脸损失。训练语料包含 1.17M 条经主动说话人检测筛选的单说话人片段，字幕直接以英语和俄语生成。与最强的开源基线以及两个专有商业模型进行并排人工评估的结果显示，Kandinsky S2V 1.0 Pro 平均表现与这些模型相当或更优，并且在唇同步方面也更受偏好。在常见的语音到视频基准上，按五项报告指标的平​​均排名，Kandinsky S2V 1.0 Lite 和 Kandinsky S2V 1.0 Pro 均位居表现最佳的模型之列。除基础模型外，我们还提供了 Kandinsky S2V 1.0 Lite 和 Kandinsky S2V 1.0 Pro 的 π-Flow 蒸馏变体。蒸馏版 Kandinsky S2V 1.0 Pro 模型在无 classifier-free guidance 的情况下以 16 个采样步生成视频，相比基础模型实现 5.4× 的端到端加速，同时在几乎所有报告的基准指标上达到或超过基础模型。为加速语音到视频生成的开放研究与部署，我们以 MIT 许可证发布代码、模型检查点和 diffusers 集成。 Kandinsky S2V 1.0 是一个 3D Diffusion Transformer，在冻结的 Hunyuan video VAE 的潜空间中用流匹配目标训练，并从 Kandinsky 5.0 Video 文本到视频检查点初始化。三项设计选择带来了上述结果：（1）共享的 Qwen2.5-Omni 前端，其冻结的 Thinker 和音频塔为两个可训练的 DiT 内部堆栈提供输入，取代了近期大多数 S2V 系统使用的独立 Wav2Vec 或 Whisper 路径；（2）参考感知的三尺度 FramePack 记忆，配合混合参考记忆布局，以逐渐变粗的 patch 尺寸打包过去帧，并在时间 RoPE 轴上让身份参考远离目标，从而抑制长时 rollout 中的姿态复制；（3）面积自适应人脸损失，其权重与片段的 face-area 比例成反比，从而在说话人仅占画面一小部分时仍能保留唇同步监督。音频仅在按周期间隔分布的 decoder 块处进入——2B 模型中 32 个块里的 13 个，21B Pro 模型中 60 个块里的 18 个——并按潜帧对齐。两个模型均以标准清晰度、稠密注意力训练，且同一组检查点无需专门的训练阶段即可生成高清晰度视频。 本页上的每张参考图像和每段语音录音要么是公有领域材料，要么是我们自己模型的输出。这些片段的唯一目的是记录该研究框架的功能——它生成的表​​情、唇部运动和手势如何跟随给定输入——并让读者评判报告中提出的技术和学术主张。如果此处任何内容引起您的关切，请写信给我们，我们将进行审查，并在适当情况下将其下架。