研究提出可物理控制光源的照片重打光方法

我们提出一种照片重打光方法，能够像 CG 流程那样对光源进行显式控制。用户可以往场景中插入不同类型的光源，例如聚光灯、点光源或环境光照。我们在一个包含中级计算机视觉、基于物理的渲染和神经渲染的流程中实现这一点。我们引入一种自监督训练方法，利用可微分渲染，以真实世界照片集合来训练我们的神经渲染器，从而实现真实场景下的泛化。

我们提出一种面向真实场景图像重打光的自监督方法，支持完全可控、基于物理的光照编辑。

我们通过将传统渲染的物理准确性与神经渲染所能实现的照片级真实感相结合来实现这一点。

我们的流程通过单目几何估计和本征分量估计，推断出给定场景的彩色网格表示。

这种表示允许用户在 3D 中定义所需的光照配置。随后，新光照下的场景可以用路径追踪引擎渲染出来。

我们将这一场景的近似渲染结果送入前馈神经渲染器，以预测最终的照片级重打光结果。

我们开发了一个可微分渲染过程，用于重建真实场景的光照，从而使我们的神经渲染器能够在原始图像集合上进行自监督训练。

我们的方法是在将典型 3D 计算机图形工具（如 Blender）中可用的显式物理光照控制引入真实场景重打光方面迈出的重要一步。

作者={Chris Careaga and Yağız Aksoy}， 标题={Physically Controllable Relighting of Photographs}， booktitle={Proc. SIGGRAPH}， 年份={2025}，

本工作所提出的方法受知识产权保护。如需了解许可机会，请联系 SFU Technology Licensing Office <tlo_dir ατ sfu δøτ ca> 和 Yağız Aksoy 博士 <yagiz ατ sfu δøτ ca>。