MBZUAI 旗下 IFM 发布 PAN 2 世界模型，29B 参数开源

MBZUAI 旗下的基础模型研究所（IFM）发布了 PAN 2，这是一个面向物理智能的开放世界模型。PAN 2 世界模型接收一个场景和一段文本动作，并以视频形式模拟动作的结果。IFM 于 2026 年 11 月 10 日在 X 上公布了这一消息。模型权重、训练代码和推理代码均以 Apache 2.0 许可发布。对于机器人开发者和智能体开发者而言，它的卖点很简单：在真正执行之前，先在仿真中测试方案。

摘要

• 规模：290 亿参数的扩散 Transformer（MMDiT），稠密架构。输入：文本加可选的首帧。输出：704×1248 视频，24 fps，最长 20 秒。
• 运行环境：数据中心 GPU。每个 worker 以 BF16 加载完整的 29B 模型，并以 block offloading 作为后备方案。
• 性能：在完整方案上领先 6 个被测模型。在单动作和人类偏好上落后于 MiniMax-H3。
• 最佳：在 100 个多步任务上，完整方案完成率为 34.0%，是所有被测模型中最高的（自报数据）。
• 最差：约每 3 个方案中就有 2 个漏掉某一步骤。Physics-IQ 系统默认分：37.48，而 MiniMax-H3 为 42.91。
• 总结：最佳之处：一个完全开放的世界模型，在多步方案上领先。最差之处：长方案仍经常失败，且硬件要求高。

什么是 PAN 2？

PAN 2 是 IFM 推出的通用世界模型，用于模拟场景在某个动作之后如何变化。它沿用了 IFM 在《Critique of World Models》论文中提出的生成式潜空间预测（GLP）架构。它接替了 2025 年 11 月发布的 PAN。 其目标是仿真推理。智能体提出多个方案，PAN 2 逐一模拟，智能体再基于最佳方案行动。

PAN 2 如何工作？

PAN 2 将模拟拆分为两类推理：

• 概念推理：由 LLM 读取观测和请求的动作，将下一世界状态写成结构化 JSON：事件、绑定到行为体的定时动作，以及摄像机运动。任何具备指令遵循能力的 LLM 都能承担这一角色。IFM 的报告默认使用 Kimi K3。
• 感知推理：由 290 亿参数的 MMDiT 预测视频 latent。IFM 在数亿段带标注的视频上从零训练了该模型。一个冻结的 Qwen3.5-9B 文本编码器为其提供条件。最终帧由 Wan 2.2 VAE 解码器渲染。 IFM 的消融实验表明 LLM 至关重要。去掉概念推理后，完整方案完成率从 34.0% 降至 0.0%，步骤完成率从 75.1% 降至 8.7%。仅做格式重写可挽回部分差距，达到 27.8% 的完整方案完成率。 IFM 还在早期训练后剔除了游戏、动画和仿真素材。一个不使用这些数据训练的 9B 测试模型在盲测投票中赢得了 58% 的支持。

PAN 2 在基准测试中表现如何？

以下所有数字均为 IFM 自报。其自建测试套件覆盖 6 项能力、300 个单动作用例，外加 100 个多步任务。

• 完整方案完成率：34.00%，对比 MiniMax-H3 的 32.50%、FLUX 3 的 26.77% 和 Seedance 2.5 的 24.49%。
• 步骤完成率：75.10%，与 MiniMax-H3 的 75.12% 基本持平。
• 6 项能力总体：84.48%，对比 MiniMax-H3 的 87.20%。MiniMax-H3 在全部 6 个类别中均领先。
• Physics-IQ Verified（排行榜设置）：49.38，在开放模型中排名第一。闭源的 FLUX 3 得分为 51.11。
• RBench：57.04，对比 MiniMax-H3 的 56.16 和 Cosmos 3 Super 的 50.64。
• 人类 Elo：搭配 GPT-6 Astra 推理器时为 1595，落后于 MiniMax-H3 的 1620。

PAN 2 对比 MiniMax-H3、Cosmos 3 Super 和 LTX-2.5

特性PAN 2MiniMax-H3Cosmos 3 SuperLTX-2.5 开发者IFM (MBZUAI)MiniMaxNVIDIALightricks 生成器规模29B MMDiT33B 稠密 Transformer（约 13B 位于可缓存的 AdaLN 分支）64B Mixture-of-Transformers22B Transformer（依据各 checkpoint 文件名） 规划器 / 编码器任意 LLM + 冻结的 Qwen3.5-9B 编码器Qwen3-VL-32B 编码器；托管的 Context-IR内置自回归塔基于 Gemma 的文本编码器 最大片段20 秒，704×1248，24 fps15 秒，24 fps，768p（通过托管模块支持 2K）400 帧未披露 音频无有，立体声有有 许可证Apache 2.0MiniMax H3 Community LicenseOpenMDW 1.1LTX-2.x Community License 训练代码有未披露GitHub 上的框架未披露 完整方案完成率*34.00%32.50%13.83%13.00% Physics-IQ Verified（排行榜）49.3839.7948.62未报告 人类 Elo1595162013801346 *分数来自 IFM 的 PAN 2 模型卡，由 IFM 运行。博客中报告的 Cosmos 3 Super 和 LTX-2.5 方案分数有所不同。

如何运行 PAN 2？

PAN 2 支持文生视频和图生视频。你可以通过 Hugging Face Diffusers、vLLM、FastVideo 或仓库中的 generate.py 运行它。 默认采样器使用 50 步、flow shift 9 和 guidance 2.5。片段默认 241 帧，约 10 秒。每个 GPU worker 以 BF16 加载完整的 29B 模型。IFM 未公布显存占用或生成时间。 提示词以结构化描述效果最佳。IFM 为 Claude Code 和 Codex 提供了一个 Conceptual Reasoner 技能，可重写自由文本。描述有 1,536 token 的硬性预算。 IFM 强烈建议使用独立的 pan2-guardrail。在 IFM 的测试中，它将有有害 T2V 请求的不安全输出从 33.9% 降至 1.5%。它同时也拦截了 11.5% 的良性 T2V 请求。

核心要点

• PAN 2 将 LLM 规划器与从零训练的 29B 扩散模型配对。
• 在完整方案完成率上，它以 34.0% 领先 6 个被测模型。
• MiniMax-H3 仍在单动作和人类偏好上胜出。
• 权重、训练和推理代码均为 Apache 2.0。
• 去掉 LLM 规划器会使完整方案完成率降至 0%。 查看模型权重、GitHub 仓库、技术博客和新闻稿。也欢迎在 Twitter 上关注我们，别忘了加入我们 15 万+ 的 ML SubReddit 并订阅我们的 Newsletter。等等！你在 Telegram 上吗？现在你也可以在 Telegram 上加入我们。 需要与我们合作推广你的 GitHub 仓库、Hugging Face 页面、产品发布或网络研讨会等？联系我们 文章《MBZUAI 的 IFM 发布 PAN 2，一个面向物理 AI 的开放 29B 世界模型》首发于 MarkTechPost。