返回资讯中心
外部精选
企业动态
#开源#模型发布

Hugging Face 发布 TRELLIS.2 3D 生成模型微调脚本与容器

来源标题:The Definitive Fine-Tuning Guide for 3D Generation Models

Hugging Face 发布了 TRELLIS.2 3D 生成模型的微调脚本和容器,支持在本地与 Hugging Face Jobs 上运行。用户只需更新数据集到 Hugging Face Hub 并传入少量参数即可使用,也可基于仓库自行调整。文章还介绍了模型架构、LoRA 微调方案及实验结果。

Hugging Face Blog2026/11/12 · 6 天前30 分钟阅读

以下正文由 AI 翻译自 Hugging Face Blog(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

返回文章列表 a]:hidden"> 3D 生成模型终极微调指南 已发布 2026 年 11 月 12 日 在 GitHub 上更新 点赞 1 Suvaditya Mukherjee suvadityamuk 关注 merve merve 关注 :last-child]:mb-0"> 引言 我们想改进什么 我们将使用什么? TRELLIS.2 如何工作 编码输入图像 稀疏结构生成(Sparse Structure Flow) O-Voxel 与结构化潜变量 几何生成(Shape Flow) 材质生成 + 网格创建 规划 哪些组件需要微调 为什么使用 LoRA 你将运行什么 实验概览 操作指南 在 Hugging Face Jobs 上运行 使用 Docker 在本地运行 训练流程内部 结果 留出指标 未来方向 TLDR;在这篇博客中,我们提供了微调脚本和容器,用于在你的 3D 资产上微调 TRELLIS.2 这一流行的 3D 模型,既可以在本地运行,也可以在 Hugging Face Jobs 上运行。如果你对微调感兴趣,可以使用我们的脚本,只需少量参数(假设你已将数据集上传到 Hugging Face Hub),也可以用这个仓库自行调整。如果你想了解更多,我们会讲解脚本的工作原理。开始吧!

引言 3D 生成在机器人、仿真、媒体和娱乐领域有很多用途。在这些领域中,很难让生成的物体遵守严格的规则,也很难标准化模型和数据表示。文件格式有很多,比如 GLB 和 PLY。表示方式也很多,比如神经辐射场(NeRF)和 3D 高斯泼溅(3DGS)。每种方式各有优缺点。 TRELLIS 引入了一种通用的内部表示,称为统一潜变量表示。它的解码器可以将这种表示转换为所需输出格式的 3D 模型。因此,你不必为每种表示格式使用不同的模型。 同一团队随后发布了 TRELLIS.2,改进了模型对 3D 结构的表示。但这两个模型都没有提供一种简便的方式,使其适配特定任务。

我们想改进什么 像 TRELLIS.2 这样的通用模型,可能会在特定应用所看重的细节上出错。例如,用户可能需要家具模型具有准确的几何形状。如果没有针对该任务进行微调,预训练模型生成的几何形状可能不够准确。我们在实验中使用 GSO 的一个子集,其中包含 188 个鞋类物体。在初始测试中,预训练模型通常能生成看起来正确的鞋子,但鞋底不正确。我们测试 LoRA 能否让鞋底更准确。 我们的目标是使用 Google Scanned Objects(GSO)数据集,提升 TRELLIS.2 在特定物体类别上的表现。我们将说明训练期间哪些流程组件需要微调、哪些保持不变。该流程将结构、详细几何和材质分开。因此,我们只微调对任务重要的组件。 选择冻结什么与选择微调什么同样重要。

我们将使用什么? LoRA LoRA 是低秩适应(low-rank adaptation)的缩写,它通过训练小型适配器矩阵来微调模型,同时保持原始权重冻结。这减少了可训练参数的数量,以及其梯度和优化器状态所需的内存。我们使用 Hugging Face 的 PEFT 库来添加和训练这些适配器。更多信息请阅读我们的 LoRA 指南。 Hugging Face Jobs Hugging Face Jobs 在云端硬件上运行容器化工作负载。我们用它进行预处理和训练。如果想使用自己的 GPU,请参阅下方的本地 Docker 命令。开始之前,请确保你已具备: TRELLIS.2 如何工作 在训练之前,我们先看看 TRELLIS.2 如何生成 3D 物体,以及我们将在哪里添加 LoRA 适配器。 TRELLIS.2 有五个主要阶段:移除图像背景、编码图像、预测粗结构、生成详细几何、生成材质。然后流程将结果导出为带纹理的网格。 编码输入图像 首先,BiRefNet 移除输入图像的背景。然后 DINOv3-L 将图像编码为特征 token。生成模型使用这些 token 来引导 3D 物体。 稀疏结构生成(Sparse Structure Flow) 稀疏结构流 DiT 预测物体的粗略形状。它是一个扩散 Transformer(DiT),生成大小为 16³ × 8 的小潜变量。然后变分自编码器(VAE)解码器将此潜变量转换为 64 × 64 × 64 的占用网格。网格中的每个体素表示该位置是否属于物体。体素是三维空间中的像素。我们为此模型添加 LoRA 适配器,因为它的输出引导几何阶段。 O-Voxel 与结构化潜变量 O-Voxel 是 TRELLIS.2 的 3D 格式。它是一个稀疏体素网格。它只保留物体表面上的体素。每个体素保留局部几何,例如网格顶点,以及材质属性。由于格式很小,CPU 可以在几秒内将网格转换为 O-Voxel。GPU 可以在几秒内将 O-Voxel 转换回网格。 结构化稀疏潜变量来自 TRELLIS。它们将 3D 数据保存在稀疏张量中,从而加快计算速度。模型只使用网格中约 10% 的体素,因此不会在空体素上消耗计算资源。因此,形状流 DiT 和纹理流 DiT 是稀疏 Transformer。稀疏结构流 DiT 是稠密 Transformer。 几何生成(Shape Flow) 形状流 DiT 使用占用网格和 DINOv3 特征 token 生成潜变量。然后另一个 VAE 解码器将此潜变量转换为分辨率为 512 × 512 × 512 的 O-Voxel 几何。 我们在此阶段为 DiT 添加 LoRA 适配器,因为它控制物体的形状。 材质生成 + 网格创建

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →