NVIDIA 发布 Cosmos 世界基础模型与开发工具，用于物理 AI 交互仿真

NVIDIA Cosmos 为物理 AI 提供世界基础模型与开发工具，解决传感器适配与可靠部署两大难题。

Cosmos Framework 提供模块化、开放的工具集，覆盖训练、强化学习、优化与推理，支持 Cosmos 3、NVIDIA Alpamayo、GR00T、Qwen、pi0.5 等模型。

Cosmos 3 Nano 仿真配方可生成同步的摄像头视频与 LiDAR 观测，面向自动驾驶、机器人与手术场景，并附带已发布的 checkpoint。

Cosmos NIM 微服务提供加速推理，支持量化、投机解码与 KV-cache 感知路由，在 H200 GPU 上可获得约 2–3 倍加速。

GPU 显存需求因模型和任务而异：Cosmos3-Nano 生成在 BF16 下需 58 GiB，FP8 加 offloading 需 44 GiB。

后续步骤 探索 Cosmos Framework，为你的应用训练、定制和优化模型。 阅读完整技术报告，了解详细方法与结果。 观看 11 月 5 日（周四）的直播，学习如何使用 Cosmos Framework。 由 NVIDIA Nemotron 提供支持。AI 生成内容可能对信息的总结不完整。请核实重要信息。了解更多

从事世界模型的物理 AI 开发者面临两个截然不同的挑战：让模型适配自己的传感器、任务和数据，以及让这些模型可靠地进入应用。

NVIDIA Cosmos 分别应对这两点。Cosmos 是一个面向物理 AI 的世界基础模型与开发工具平台。Cosmos Framework 提供 agent 技能与配方，用于世界模型训练、多模态数据处理、优化与推理。Cosmos NIM 微服务通过应用 API 支持 GPU 加速的服务部署。

本文对两者逐一展开。仿真部分展示如何使用 Cosmos Framework 的推理配方和 agent 技能，从你今天就能运行的已发布 checkpoint 出发，为自动驾驶、机器人和手术场景生成同步的摄像头视频与 LiDAR 观测。部署部分展示如何为你的 GPU 选择合适的 NIM 配置、启动容器、验证就绪状态，并发送第一个推理请求。

Cosmos Framework 是一个开放且完全模块化的框架，用于世界模型训练、模型优化与推理，借助新的 agent 技能支撑完整的模型开发生命周期。它正从 Cosmos 3 扩展到支持 NVIDIA Alpamayo、GR00T、Qwen、pi0.5 以及其他兼容的 Hugging Face 模型。

在 .agents/skills 下加载 setup、inference、post-training 和 troubleshooting 技能。给 agent 一个边界明确的任务： Prompt: Post-train <checkpoint> on <dataset> using <recipe>. Pin all revisions, validate the dataset, and keep training and evaluation episodes separate. Run the smoke test, save the configuration, and stop at <N> GPU-hours. Export and compare against the base model on held-out data using three seeds. Repeat evaluation at a supported lower precision; record quality, peak memory, and latency.

Cosmos Framework 提供后训练与推理配方，覆盖机器人仿真、真实感场景生成、多摄像头驾驶仿真以及手术策略评估。新的 Cosmos 3 Nano 仿真配方与示例 checkpoint 让开发者可以用 agent 可运行的技能来评估我们的示例 checkpoint，并将 Cosmos 3 Nano 适配到自定义传感器、动作空间和数据领域。

这些 checkpoint 支持 PyTorch 和 vLLM-Omni，已在 NVIDIA Hopper 和 Blackwell GPU 上测试。使用配方可选择 GPU 数量、显存配置和推理设置。

两个自动驾驶 checkpoint 都接收 prompt 和 World Scenario Map（WSM）控制量，后者表示车道、物体、道路标线、交通标志和道路边界。联合 RGB–LiDAR 生成还会使用 HD 地图 rangemap 控制量，并支持可选的初始 LiDAR 观测。Prompt 描述天气、光照、一天中的时段和道路状况，并通过前缀提供摄像头支架与视场角上下文。可选的初始摄像头图像提供视觉上下文，引导生成场景的外观。

Cosmos3-Nano-Transfer-Auto 使用双向生成，一次性对整个多视角片段去噪，用于离线合成数据生成。它支持 30 fps 的输入与输出视频，在 480p 或 720p 下最多 400 帧；更长的序列可通过自回归分块生成。修改 prompt 即可把白天行驶变成雨夜，同时保持相同的道路布局和车辆轨迹。利用这些变化，可在不同天气和光照条件下训练与评估感知模型和驾驶模型。

完成 Framework 配置后，从仓库根目录运行下面这些四 GPU 示例。对于 Transfer-Auto，使用已发布的示例配置，其中包含七段同步的 WSM 视频、逐摄像头 caption、首帧 RGB 条件以及 HD 地图 LiDAR 控制量。有关设置、输入准备和输出细节，参见 Transfer-Auto 推理指南。 export COSMOS_TRAINING=0 COSMOS_INTERNAL=0 hf download nvidia/Cosmos3-Nano-Transfer-Auto
--local-dir checkpoints/Cosmos3-Nano-Transfer-Auto AUTO_SAMPLE_ROOT="$PWD/checkpoints/Cosmos3-Nano-Transfer-Auto/assets/sample_data" AUTO_NEGATIVE_PROMPT="$(cat .agents/skills/cosmos3-nano-transfer-auto/inference/assets/negative-prompt.txt)" torchrun --standalone --nproc-per-node=4
-m cosmos_framework.scripts.inference
-i "$AUTO_SAMPLE_ROOT/input-transfer-auto.jsonl"
-o outputs/transfer_auto
--checkpoint-path checkpoints/Cosmos3-Nano-Transfer-Auto
--resolution 720 --num-steps 35
--per-view-negative-prompt "$AUTO_NEGATIVE_PROMPT"
--cp-size 4 --cfgp-size 1
--no-use-torch-compile --no-diffusion-cache

参考运行会产出七段 720p 视频（30 FPS 下 297 帧）和 99 次 LiDAR 扫描。检查 sample_outputs.json 确认成功，检查 lidar.safetensors 确认距离与强度值为有限值，然后验证 WSM 对齐情况以及各摄像头视角与 LiDAR 之间的一致性。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）