
无需影棚绿幕:用iPhone和AI完成虚拟制片
来源标题:Virtual Production on an iPhone
虚拟制片可以不再依赖影棚、绿幕和灯光设备,AI能在拍摄后完成演员与背景分离及重新打光。作者用普通手持视频和虚幻引擎免费的City Sample项目,走通了从手机视频到虚拟城市中重新打光镜头的完整流程。在PXLD网页应用中,上传片段并选择场景后,Enter a new world流程即可自动完成处理。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
没有摄影棚,没有绿幕,没有灯光架:从一段手机视频到虚拟城市中的重新打光镜头
虚拟制作过去意味着一个摄影棚:一块绿幕或一面LED墙,一套灯光架来均匀照亮那块屏幕,并以足够平的光线照亮演员以便后期修正他们的光照,还有跟踪标记点、运动控制或带跟踪的摄影机,以及一个合成师团队。核心思路其实比这套装备简单得多:拍摄真实的表演,然后把表演者身后的一切替换成一个虚拟世界,通过一个与真实摄影机运动完全一致的虚拟摄影机来观看。
我在本文中的观点是:你不再需要摄影棚了。它所做的两件事——把演员与背景分离,以及控制打在演员身上的光——如今都可以由AI在事后完成。所以你可以在任何地方拍摄:公园、街道、你的厨房,在碰巧存在的任何光线下,用你口袋里的任何摄影机。
我将从头到尾走一遍整个流程,所用之物不出寻常的手持视频和Unreal Engine免费的City Sample项目。
在PXLD的网页应用中,“Enter a new world”流程会替你完成全部工作:上传片段,选择一个3D世界,它便会跟踪摄影机、把你的镜头放置到世界中、渲染背景和360°视图、对演员进行抠像、合成他们并协调最终结果。在本文中,我把渲染器换成Unreal Engine,这是对同一流程的一处小改动。为了说明每一步为何重要,我还会用天真的方式构建这个镜头,并准确展示它在哪里失败。
这就是我们的目标:左边是一对情侣走过一片枝叶繁茂的公园,拍摄于斑驳的阳光下,看不到任何绿幕;右边是同样的表演,出现在阳光明媚的城市人行道上。摄影棚级和专业虚拟制作级质量,所需不过一段手机视频和PXLD的工具。
绿幕虚拟制作有几个要素。剥去硬件,剩下的就是七个步骤:
所以你只需带来两样东西——素材和虚拟世界——其余由PXLD完成。(在New World中,PXLD还会放置并渲染镜头,即步骤3和4。在本文中,这两步我自己在Unreal中渲染。)
步骤1–6是经典视觉特效。在摄影棚中,绿幕的存在是为了让步骤5变得容易,而灯光架的存在则是因为当时没有好的步骤7。我们逐一来看。
在表演看起来好的任何地方拍摄。没有屏幕要站在前面,不需要让演员与屏幕保持几米距离以避免绿色溢色,也不需要把他们照得平平的。这段片段拍摄于一个公园,处于强烈、斑驳的阳光下:正是合成师通常会恳求你避免的那种光照,因为它已经烘烤进演员身上,无法简单地关掉。
要渲染一个运动正确的背景,我们需要真实摄影机在每一帧中的位姿(位置和朝向),以及它的焦距。
在虚拟制作摄影棚中,这是一个硬件问题。典型设置是把一台小型红外跟踪摄影机固定在电影摄影机上,朝上对准布满逆反射点的天花板。红外发射器照亮这些点,跟踪摄影机看到它们,而由于它们在摄影棚中的位置已经过测量,摄影机的位置和朝向可以实时计算出来。其他设置使用环绕舞台的动捕摄影机阵列,观察摄影机支架上的标记点,再加上镜头上的编码器来报告变焦和对焦。这非常有效,但很昂贵,必须安装和校准,而且只能在那个房间内工作。
你不需要为此使用单独的跟踪工具,也不需要任何跟踪硬件:
PXLD从上传的片段中自动解算摄影机,无需标记点,也无需镜头数据。然后它导出跟踪数据供Unreal、Blender或Nuke使用,随时可以驱动虚拟摄影机。
底层这是运动恢复结构(structure from motion)。当摄影机移动时,场景中的静态部分在图像中移动的量取决于它们的距离,这种视差同时确定了摄影机路径和场景的3D结构。对于虚拟制作来说,单纯的运动恢复结构解算还不够,PXLD的跟踪补充了它缺少的两样东西:
检查一下。最简单的测试是在那个地平面画一个度量网格,并把它投影回素材中。如果跟踪正确,网格会随着摄影机移动而始终贴在人行道上:
接下来,决定镜头发生在虚拟世界中的哪个位置。技术上这是一个刚体变换:一个偏航旋转加上一个平移,把跟踪到的地面放到虚拟场景中真实地面的上方。创意上这是勘景,并且有几个硬性约束:
PXLD从空中渲染构建任何3D世界的俯视图,然后自动搜索满足这些约束的放置位置。因为阳光只是光线,该地图还会预测演员在阳光下和在阴影中的位置,因此它可以挑选他们穿过有趣光线的地方:这里是一条被树影斑驳的人行道。
放置固定后,我们把解算出的跟踪转换为Unreal摄影机,匹配焦距、传感器尺寸和主点,并用Movie Render Queue逐帧渲染空场景。这就是背景板:
现在把演员抠出来并粘贴进去。在摄影棚中,这就是色度键控(chroma keying)登场的地方(下面详述)。我们没有绿幕,所以需要一个能在任何背景下找到人物的模型。在PXLD的New World中,这两步都会自动完成,但先用天真的方式做一遍是有启发性的。获得这种抠像的最快方式是分割模型:SAM 3给出每个人每帧的二值掩码(如果你要求,还会给出其中一人携带的包)。把掩码像素粘贴到背景板上,你就得到了一个合成:
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。