speridlabs 发布 Idol：单张图片生成最多百万个 3D 高斯泼溅

Like 416 关注 speridlabs 198 图生3D idol 高斯泼溅 3D 许可证：apache-2.0 模型卡 文件 文件与版本 xet 社区 5 复制到存储桶 示例 快速开始 参数 模型详细信息 基准测试 跨 GPU 表现 Idol 从单张图像生成3D高斯泼溅。 输入一张物体图片，最多输出一百万个3D高斯，包括图片从未展示过的侧面。 Idol将一张物体图片转换为3D高斯泼溅。你可以给它一张渲染图、一张生成的图像或一张照片：它会移除背景、框选物体，并生成最多1,048,576个高斯，以标准3DGS .ply格式输出。它可在消费级GPU上运行，占用7.2 GB显存，运行时间可低于2秒。 示例 Idol将一张物体图片转换为3D高斯泼溅。你可以给它一张渲染图、一张生成的图像或一张照片：它会移除背景、框选物体，并生成最多1,048,576个高斯，包括图片从未展示过的侧面。它可在消费级GPU上运行，占用7.2 GB显存，运行时间可低于2秒。 快速开始

1. 获取图像编码器的访问权限。Idol通过Hugging Face上的两个受限模型读取输入。请使用你的Hugging Face账户接受它们的条款，然后通过hf auth login登录一次（或设置HF_TOKEN）： git clone https://github.com/speridlabs/idol-sdk.git cd idol-sdk pip install -e . # Python 3.10+, PyTorch 2.5+, an NVIDIA GPU with CUDA 没有单独的下载步骤：首次运行时，Idol的权重（约3 GB，来自本仓库）和两个图像编码器会自动下载到Hugging Face缓存中。如果编码器尚不可访问，Idol会在下载任何内容之前停止，并说明缺少什么。 python -m idol.sample --image photo.jpg --mode real python -m idol.sample --image renders/ --mode synthetic --out outputs 对于每张图像，它会写出<name>.ply（可在任何高斯泼溅查看器中打开）、<name>_input.png（模型看到的图像，经过背景移除和裁剪后）以及<name>_camera.json（预测的输入相机参数）。 根据你的输入选择模式。它决定裁剪时在物体周围留出多少空间： from idol import IdolPipeline pipeline = IdolPipeline.from_pretrained("speridlabs/idol") output = pipeline("photo.jpg", mode="real", seed=42, num_gaussians=1_048_576) output.gaussian.save_ply("photo.ply") 参数 参数 默认值 作用 --seed 42 固定它可再次得到相同的物体。 --steps 50 采样步数。更少则更快，但会丢失一些细节。 --cfg_strength 3.0 无分类器引导：物体遵循图像的程度。 --rescale_t 3.0 时间偏移：更高则在整体形状上花费更多步数，更低则专注于精细细节。 --num_gaussians 262144 32,768到1,048,576，为32的倍数。 --dinov3_dtype bf16 fp32以全精度运行DINOv3编码器（多占用1.7 GB内存）。 --weights speridlabs/idol Hugging Face仓库或本地文件夹。 --no_optimize optimized 关闭更快的采样。 在GPU上默认开启更快的采样（约1.7倍，输出质量相同）：去噪器使用torch.compile编译，引导和非引导通道作为一个批次运行，采样时注意力使用cuDNN和TF32矩阵乘法。进程中第一张图像在编译期间会较慢。 模型详细信息 组件 参数量 GPU上的精度 显存中的权重 DiT（去噪器） 370.6M FP16 transformer块；FP32嵌入和归一化 约0.8–1.0 GB 八叉树解码器 50.8M FP16 transformer块；FP32嵌入和归一化 约0.1–0.2 GB 高斯解码器 237.3M FP16 transformer块；FP32嵌入和归一化 约0.5–0.9 GB BiRefNet（背景移除） 220.7M FP16 约0.44 GB DINOv3 ViT-H+/16 840.6M bf16 约1.68 GB FLUX.2 VAE 84.1M bf16（FP32检查点，加载时转换） 约0.17 GB 完整请求 约1.80B 主要为FP16 / bf16，部分FP32 约3.7–4.4 GB权重，7.2 GB峰值 基准测试 Idol、TripoSplat、TRELLIS和LGM，在输入视角（PSNR、SSIM、LPIPS、IoU）和七个新视角（DINOv2、CLIP、清晰度距离）上评分。平均分数，每个模型1 × H100。粗体为每列最佳。

• LGM尽管结果明显模糊，但PSNR最高，因为PSNR对像素误差的平方取平均。 跨 GPU 表现 一张图像生成262,144个高斯耗时3.4秒。50步时的请求时间：8张图像的中位数，每个GPU上使用相同的代码和设置，每台机器一块GPU。