
flatpoints 将 3D 点云展平为二维图像, pip 可直接安装
来源标题:Show HN: 3D to 2D, point clouds flattening (geometry images)
开源工具 flatpoints 能把任意 3D 点云排列到 n×n 网格上,转为二维图像,从而直接套用 CNN、SVD 等 2D 工具。它实现了 Gu、Gortler 与 Hoppe 2002 年提出的 geometry images 思路,但直接作用于原始点云而非重建网格。用户可通过 pip install flatpoints 安装,内置 bunny、dragon 等示例模型。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
把采样在潜在(未知)曲面上的 3D 点云变成扁平的东西。 ▶️ bunny 🐇 ▶️ dragon🐉 ▶️ elephant 🐘 flatpoints 接收原始点云 (N, 3),将其点排列在 (n, n) 像素的方形网格上: 点附带的任何数据 (N, *C) 随后变成图像 (n, n, *C):xyz 坐标、法线、颜色、特征……整个 2D 工具箱就都能用在点云上了:卷积和 CNN、SVD、网格插值…… 这就是 Gu、Gortler 和 Hoppe(2002)提出的几何图像(geometry images)思想,它将曲面重新网格化到一个完全规则的网格上。flatpoints 则直接把它应用到点云上。 工作原理:见 Method.md。 pip install flatpoints # 核心依赖:numpy、scipy、gridpoints、open3d pip install "flatpoints[viz]" # + matplotlib、Pillow(绘图、动画) pip install "flatpoints[compress]" # + PyWavelets、Pillow(压缩) #或者 pip install "flatpoints[all]" #(全部) 快速开始 取一个原始 3D 点云 (N, 3),把它变成图像。 可用模型:bunny、dragon、elephant、airplane、cow、everest……(fp.datasets()) import flatpoints as fp fp.exemple_flat("bunny") # 打印形状,绘制曲面及其图像 fp.exemple_flat("bunny", save="plots", animate=True) # + 保存 plots/bunny.png 和 plots/animation/bunny.webp 用法 import numpy as np import flatpoints as fp xyz = fp.load("bunny") #原始 (N, 3) 点,位于潜在(未知)曲面上 z = xyz[:, -1] #(N, *C) 与点云相关的任意数据,例如 z 坐标
==== 构建扁平对象 ============
flat = fp.Flat(xyz) # 应用曲面的展平处理
flat = fp.Flat(xyz, mesh=(vertices, triangles)) # 将你的网格作为额外输入(可选)。
==== 使用它:像素和图像 ========
i = 42 #索引为 42 的点(xyz[42]) face, row, col = flat.pixels[i] # face:0 或 1(见 Cut 一节) image_z = flat.to_image(z) # 完整像素图像,(N, *C) 到 (1, n, n, *C) 或 (2, n, n, *C) fig = flat.plot() # 3D 曲面及其图像 fig = flat.imshow(z) # 在图像上绘制任意数据 anim = flat.imshow(z, animate="z.webp") # 动画版本 Cut 为了将曲面正确地映射到正方形,flatpoints 需要先把它切成两个半球(如果需要的话)。半球切割会去除部分(而非全部)拓扑闭合性。残余的闭合性(例如环面,单次切割无法打开)也会通过在每个半球上进一步剪切曲面而自动切开。 可以指定 normal_axis(fp.Flat(points, single_face=..., normal_axis = "x"))来控制沿哪个轴观察曲面。当 single_face = False(两个半球)时,曲面大致沿其横向切开。任何给定的法线轴都能正常工作,但会导致不同的切割。当 single_face = True(开放曲面)时,法线轴仅用于确定图像的方向(哪边朝上、角落在哪里)。 fp.exemple_sampler("bunny", save="plots") # plots/resampling/bunny_resampled.png 从网格采样很容易:在每个三角形上均匀采样。从点云重采样则更难,因为没有可供采样的曲面,只有点。 图像提供了缺失的曲面:to_image(xyz) 将单位正方形映射到点云上。因此可以在单位正方形中采样点,并通过 xyz 图像的双线性插值 (row, col) → xyz 将它们传输到曲面上。 默认情况下,flat.resample 使用超均匀 2D 种子(蓝噪声),因此新点相当均匀地分布在曲面上。如果使用 method = "ot",初始重采样会使用最优传输(Optimal Transport)进一步优化。 sampler = flat.resample(n_points=512, method="ot") # 总共 n 个新点 new = sampler.points # (512, 3) sampler.plot() # 之前 / 之后 说实话:如果你只需要输入点的一个子集,最远点采样(FPS)的均匀程度与 flatpoints 大致相当(fps 的最坏情况空洞略小,而 flatpoints.resample 的 ot 损失略低),这主要是一个示例用例,展示如何使用图像将良好的空间分布等属性从简单的单位正方形传输到任意曲面。 需要 PyWavelets 和 Pillow(pip install "flatpoints[compress]") fp.exemple_compression("bunny", save="plots") # plots/compression/bunny.png 由于相邻像素对应相邻点,xyz 图像是平滑的,而平滑图像压缩效果好。flat.compress 用三种方法之一压缩它们(compressor.py): factor 是相对于 float32(每点 96 位)存储点所节省的存储比例。 comp = flat.compress(factor=0.8) # 节省 80% 的存储,使用最佳方法 comp.method # "dct" comp.code # 实际存储的内容,例如量化后的 DCT 系数和步长 comp.points # (N, 3) 重建点,按输入顺序排列 flat.compress(0.8, method="svd") # 指定方法 comp.save("compressed.jp2") #保存压缩结构 points = fp.Compressor.read("compressed.jp2") #重建的 (N, 3) 点云 代码:MIT,src/flatpoints/rcm.py 除外。 src/flatpoints/rcm.py:garyptchoi/rectangular-conformal-map 的 Python 移植(修改版), Copyright (c) 2015-2024 Gary Pui-Tung Choi,Apache License 2.0,见 LICENSE-rectangular-conformal-map。 src/flatpoints/data/seed.npy(随包发布):来自 Hyperuniform samples 数据库的超均匀点云, MIT 许可证。 示例点云(data/,由 fp.load 下载,不随包发布): 第三方模型,各自遵循其自身条款(部分仅限研究 / 非商业用途),见 data/README.md。 致谢 将曲面存储为方形图像的概念来自几何图像: title = {Geometry Images}, author = {Gu, Xianfeng and Gortler, Steven J. and Hoppe, Hugues}, journal = {ACM Transactions on Graphics (SIGGRAPH)}, volume = {21}, number = {3}, pages = {355--361}, year = {2002}, doi = {10.1145/566654.566589} 这些图像依赖于以下矩形共形映射:
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。