返回资讯中心
外部精选
软件工程
#开发者实时流

苹果发布FastFrames视频生成模型,480p实现交互级延迟

来源标题:FastFrames: Video Generation at Interactive Latency

苹果开源FastFrames-S(1.3B)和FastFrames-L(14B)两款自回归两步视频扩散模型,可在交互级延迟下生成480p视频。同时发布优化版LingBot 1.3B,速度比官方模型快16倍,并支持流畅的相机条件控制。模型采用apple-amlr许可证,需Linux x86-64与CUDA 12.8环境。

Hacker News 最新CharlesW2026/11/18 · 今天10 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

FastFrames:交互延迟下的视频生成 点赞 48 关注 Apple 7.82k 文生视频 Safetensors 许可证:apple-amlr 模型卡 文件 文件与版本 xet 社区 复制到存储桶 FastFrames:交互延迟下的视频生成 安装 延迟分析 基于 LingBot 的交互式演示 T2V 生成 VBench 评估 训练 Causal Forcing++ -> FastFrames-S Wan2.1-14B -> FastFrames-L 引用 许可证与致谢 FastFrames:交互延迟下的视频生成 本仓库包含 FastFrames:交互延迟下的视频生成的官方实现。我们发布了 FastFrames-S (1.3B)和 FastFrames-L(14B)。两者都是自回归的两步视频扩散模型,能够在交互延迟下生成 480p 视频。我们还发布了 LingBot 1.3B 的优化版本,比官方模型快 16 倍,并支持流畅的相机条件控制。 安装 Linux x86-64,配备 NVIDIA GPU 和兼容 CUDA 12.8 的驱动。在仓库根目录下执行: uv sync 使用检查点指南下载 FastFrames 和第三方权重。 延迟分析 uv run python evaluation/latency/benchmark.py ff-s uv run python evaluation/latency/benchmark.py ff-l --gpus 8 FastFrames-S 在 1 块 GPU、480p、完整 KV 缓存下的组件耗时示例。 详见分析指南和基线数据。 基于 LingBot 的交互式演示 完成演示设置后,启动以下之一: CUDA_VISIBLE_DEVICES=0 uv run --extra lingbot --extra demo python apps/lingbot/demo.py --gpus 1 CUDA_VISIBLE_DEVICES=0,1,2,3,4,5,6,7 uv run --extra lingbot --extra demo python apps/lingbot/demo.py --gpus 8 然后打开 http://localhost:8000。 T2V 生成 uv run python scripts/generate.py --model ff-s --checkpoint-dir checkpoints
--prompt "A corgi surfing a wave at sunset" --seed 0 --output outputs/corgi.mp4 输出 832 × 480 视频,81 帧,16 fps。使用 --model ff-l 可运行 FastFrames-L。 要生成我们项目页面上的视频(20+ 个视频): uv run python scripts/generate_project_page.py --model ff-s --output-dir outputs/project_page/ff-s uv run python scripts/generate_project_page.py --model ff-l --output-dir outputs/project_page/ff-l 详见生成指南。 VBench 评估 按照评估指南复现表 1 的 质量 / 语义 / 总分。 训练 Causal Forcing++ -> FastFrames-S FastFrames-S 保持两步逐帧 Causal Forcing++ 生成器冻结,并训练其周围的网络。 Wan2.1-14B -> FastFrames-L 我们首先按照 Causal Forcing++ 的方案将 Wan2.1-14B 蒸馏为两步因果模型, 然后像 FastFrames-S 一样训练其像素解码器和 KV 精炼网络。我们发布了所有 检查点:1)在 Wan2.1-14B 生成的潜变量上训练的因果教师模型;2)一致性蒸馏模型;3)DMD 蒸馏模型;4)最终的生成器、像素解码器和 KV 精炼网络。 引用 如果您认为本工作对您的研究有用,请引用: title = {FastFrames: Video Generation at Interactive Latency}, author = {Chou, Gene and Yang, Guandao and Luan, Fujun and Mescheder, Lars and Dong, Wei and Richter, Stephan R. and Koltun, Vladlen}, journal = {arXiv preprint}, year = {2026} 许可证与致谢 LingBot-World v2 的代码和权重遵循其上游的 CC BY-NC-SA 4.0 许可证。 所有其他 FastFrames 代码均在 Apple Sample Code License 下许可。 另请参阅 ACKNOWLEDGEMENTS 了解第三方代码。 我们感谢 Wan2.1、 Self-Forcing 和 Causal Forcing++ 的作者公开其代码,FastFrames 的代码和模型正是基于这些代码构建的。 推理提供商 新 文生视频 此模型尚未被任何推理提供商部署。🙋 请求提供商支持 apple/FastFrames-L 的模型树 基础模型

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →