
苹果发布FastFrames视频生成模型,480p实现交互级延迟
来源标题:FastFrames: Video Generation at Interactive Latency
苹果开源FastFrames-S(1.3B)和FastFrames-L(14B)两款自回归两步视频扩散模型,可在交互级延迟下生成480p视频。同时发布优化版LingBot 1.3B,速度比官方模型快16倍,并支持流畅的相机条件控制。模型采用apple-amlr许可证,需Linux x86-64与CUDA 12.8环境。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
FastFrames:交互延迟下的视频生成
点赞 48
关注
Apple 7.82k
文生视频
Safetensors
许可证:apple-amlr
模型卡 文件 文件与版本 xet
社区
复制到存储桶
FastFrames:交互延迟下的视频生成 安装
延迟分析
基于 LingBot 的交互式演示
T2V 生成
VBench 评估
训练 Causal Forcing++ -> FastFrames-S
Wan2.1-14B -> FastFrames-L
引用
许可证与致谢
FastFrames:交互延迟下的视频生成
本仓库包含 FastFrames:交互延迟下的视频生成的官方实现。我们发布了 FastFrames-S
(1.3B)和 FastFrames-L(14B)。两者都是自回归的两步视频扩散模型,能够在交互延迟下生成 480p 视频。我们还发布了 LingBot 1.3B 的优化版本,比官方模型快 16 倍,并支持流畅的相机条件控制。
安装
Linux x86-64,配备 NVIDIA GPU 和兼容 CUDA 12.8 的驱动。在仓库根目录下执行:
uv sync
使用检查点指南下载 FastFrames 和第三方权重。
延迟分析
uv run python evaluation/latency/benchmark.py ff-s
uv run python evaluation/latency/benchmark.py ff-l --gpus 8
FastFrames-S 在 1 块 GPU、480p、完整 KV 缓存下的组件耗时示例。
详见分析指南和基线数据。
基于 LingBot 的交互式演示
完成演示设置后,启动以下之一:
CUDA_VISIBLE_DEVICES=0 uv run --extra lingbot --extra demo python apps/lingbot/demo.py --gpus 1
CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 uv run --extra lingbot --extra demo python apps/lingbot/demo.py --gpus 8
然后打开 http://localhost:8000。
T2V 生成
uv run python scripts/generate.py --model ff-s --checkpoint-dir checkpoints
--prompt "A corgi surfing a wave at sunset" --seed 0 --output outputs/corgi.mp4
输出 832 × 480 视频,81 帧,16 fps。使用 --model ff-l 可运行 FastFrames-L。
要生成我们项目页面上的视频(20+ 个视频):
uv run python scripts/generate_project_page.py --model ff-s --output-dir outputs/project_page/ff-s
uv run python scripts/generate_project_page.py --model ff-l --output-dir outputs/project_page/ff-l
详见生成指南。
VBench 评估
按照评估指南复现表 1 的
质量 / 语义 / 总分。
训练
Causal Forcing++ -> FastFrames-S
FastFrames-S 保持两步逐帧 Causal Forcing++ 生成器冻结,并训练其周围的网络。
Wan2.1-14B -> FastFrames-L
我们首先按照 Causal Forcing++ 的方案将 Wan2.1-14B 蒸馏为两步因果模型,
然后像 FastFrames-S 一样训练其像素解码器和 KV 精炼网络。我们发布了所有
检查点:1)在 Wan2.1-14B 生成的潜变量上训练的因果教师模型;2)一致性蒸馏模型;3)DMD 蒸馏模型;4)最终的生成器、像素解码器和 KV 精炼网络。
引用
如果您认为本工作对您的研究有用,请引用:
title = {FastFrames: Video Generation at Interactive Latency},
author = {Chou, Gene and Yang, Guandao and Luan, Fujun and Mescheder, Lars and
Dong, Wei and Richter, Stephan R. and Koltun, Vladlen},
journal = {arXiv preprint},
year = {2026}
许可证与致谢
LingBot-World v2 的代码和权重遵循其上游的 CC BY-NC-SA 4.0 许可证。
所有其他 FastFrames 代码均在 Apple Sample Code License 下许可。
另请参阅 ACKNOWLEDGEMENTS 了解第三方代码。
我们感谢 Wan2.1、
Self-Forcing 和
Causal Forcing++ 的作者公开其代码,FastFrames 的代码和模型正是基于这些代码构建的。
推理提供商 新
文生视频
此模型尚未被任何推理提供商部署。🙋 请求提供商支持
apple/FastFrames-L 的模型树
基础模型
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。