
开发者用 ComfyUI-PlanarTrack 替换电影中唱片封面
来源标题:Bitter lessons – seasonal planar rotations
开发者发布 ComfyUI-PlanarTrack 节点包,可将镜头中平面物体的画面替换为新图像。他用该工具把《和莎莫的500天》唱片店场景里汤姆手中的 Ringo Starr 唱片换成了 Lifetime 的《Hello Bastards》,并匹配了原片调色与颗粒,手指仍保留在封面之前。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
图1. 完成后的3.3秒片段,包含全部三个镜头,无声循环播放。点击可查看带影片原声的mp4文件。 本报告介绍如何将《和莎莫的500天》中一段3.3秒的片段进行编辑,使唱片店场景中Tom手持的唱片从Ringo Starr的《Stop and Smell the Roses》(1981年)替换为Lifetime的《Hello Bastards》(Jade Tree,1995年)。该编辑在封套两面出现的所有位置都进行了替换,对新封面进行了色彩校正以匹配素材,并添加了素材的颗粒感。声音使用影片原声。最终结果为results/record-swap.mp4。 本工作的主要贡献是ComfyUI-PlanarTrack,这是一个位于本目录下的ComfyUI节点包,可在镜头中跟踪平面物体并将新图像合成到其上,且位于持物之手的前方。其余编辑工作使用现有的ComfyUI节点完成,其中分割使用SAM2。 图2. 镜头1,第22帧。上:原始画面,Tom举着Ringo Starr的《Stop and Smell the Roses》。下:结果画面,《Hello Bastards》正面已被跟踪到封套上,并匹配了影片的调色和颗粒。他的手指仍然位于新封面之前。 ComfyUI-PlanarTrack是一个用于平面替换的ComfyUI节点包。它可以在一个镜头中跟踪一个平面物体(如唱片封套、标牌或手机屏幕),并在每一帧中将新图像放置到该物体上。手以及其他从物体前方经过的物体仍然位于新图像之前。合成师通常会在专用的平面跟踪软件(如Mocha)中完成这项工作。ComfyUI的内置节点以及本示例中与其配合使用的节点包可以对物体进行分割,但无法找到其角点或将图像变形到其上,因此本节点包补充了这些步骤。 该节点包是一个Python文件,即ComfyUI-PlanarTrack/init.py,除ComfyUI已安装的依赖外,仅需OpenCV和NumPy。 各节点之间以JSON字符串的形式传递角点,每帧一个条目。每个条目包含四个以帧像素为单位的[x, y]点,顺序为左上、右上、右下、左下。角点可以位于画面之外,这样当封套超出画面边缘时仍能保持其真实形状。任何能写出此格式的节点都可以为合成节点提供输入,手动测量的文件同样可用:本示例的镜头2就使用了手动测量的文件。 flowchart LR frames[/"视频帧"/] --> sam["SAM2:物体掩码<br/>和遮挡物掩码"] art[/"物体自身的印刷图案"/] --> track frames --> track["ArtworkTrack"] sam --> track track -- "角点JSON" --> comp["CompositeIntoQuads"] newart[/"替换图像"/] --> comp frames --> comp sam --> comp comp --> out[/"合成帧"/] Loading 图3. 节点包在一个镜头中的处理流程。SAM2对物体及其前方的手进行掩码;ArtworkTrack在每一帧中找到物体的四个角点;CompositeIntoQuads将替换图像变形到这些角点内,并将其融合到手部之后。 节点 输入 输出 本示例中的使用 ArtworkTrack 帧、物体原始印刷图案、物体掩码和遮挡物掩码、可选的手动设定角点(用于困难帧) 角点JSON以及每帧求解方式的逐帧日志 镜头1和镜头3 CompositeIntoQuads 帧、替换图像、角点JSON、物体掩码和遮挡物掩码、可选的用于起始帧的第二张图像 合成帧和融合掩码 全部三个镜头 PlanarTrack 帧、在一帧上手动设定的四个角点、可选的物体掩码 角点JSON和日志 否 MaskToQuads 物体掩码 角点JSON 否 当你拥有物体印刷图案的清晰图像时,应使用ArtworkTrack进行跟踪。它将印刷图案对齐到每一帧,因此所有四个角点都来自印刷表面,包括被手或画面边缘遮挡的角点。在本素材上,它取代了MaskToQuads,后者将角点拟合到掩码的可见轮廓上,因此必须对隐藏的角点进行猜测:在镜头1中,其右下角与印刷图案的实际位置相差约45像素。第4节介绍ArtworkTrack的锚定、传播和验收三个步骤。 PlanarTrack适用于你没有印刷图案的物体。你在一帧上设定四个角点,它通过SIFT匹配跟踪角点内的纹理,当运动模糊导致匹配点过少时,回退到强度对齐,再回退到掩码轮廓。MaskToQuads是最经济的选择,适用于角点始终可见的物体。 CompositeIntoQuads完成的工作使替换内容融入素材而非浮于其上: 第6节给出每个步骤及其参数。 将ComfyUI-PlanarTrack/复制到ComfyUI的custom_nodes目录中,确保OpenCV位于ComfyUI的Python环境中,然后重启ComfyUI:它仅在启动时加载节点包,因此对节点包的任何修改也需要重启。节点将出现在planar_track分类下。 该节点包假设物体是平面且刚性的。弯曲的封套或曲面屏幕无法适配四角变形。当物体严重失焦以致没有印刷细节可辨时,两种跟踪器都无法锁定,其角点必须从画面中测量,如第5节对镜头2所做的那样。 ComfyUI-PlanarTrack/test_composite.py在合成帧上检查合成节点的融合掩码规则,无需ComfyUI或torch。 路径 说明 ComfyUI-PlanarTrack/ 节点包(init.py)以及在合成帧上测试合成融合掩码的测试文件 workflow/run_swap.py 构建整个工作流,在ComfyUI服务器上排队运行,并下载帧、掩码和角点JSON workflow/keys_s1.json 镜头1第0至9帧的手动设定起始角点 workflow/measure_s2.py、workflow/quads_s2.json 镜头2的角点测量及其输出 art/ 原始封套(正面和背面)以及替换封面(正面和背面) footage/record-swap-src.mp4 剪辑后的79帧源片段及其原始音频 results/ 完成的片段、其无声循环GIF,以及每个镜头的前后对比帧 复现
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。