返回资讯中心
外部精选
软件工程
#开发者实时流

Flateau 发布含 2900 万栋日本建筑的数据集

来源标题:29M Japanese Buildings

Flateau 数据集收录了超过 2900 万栋日本建筑,并附有自然灾害风险排名。这些数据源自日本国家开放 3D 城市数据(CityGML 格式),已被转换为空间排序的 Parquet 格式并通过 Cloudflare 托管,便于更快分析且占用磁盘更小。该数据集由 Pacific Spatial Solutions 总裁 Hiroo Imaki 开发,最早发布于几年前,并于今年夏季更新,最旧的数据来自 2020 年。

Hacker News 最新marklit2026/11/12 · 5 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Flateau 数据集包含超过 2900 万栋日本建筑,并附有自然灾害风险排名。这些数据最初来源于日本国家开放 3D 城市数据,以 CityGML 格式分发。Flateau 已将这些文件转换为空间排序的 Parquet 格式,并通过 Cloudflare 托管。这使得数据分析速度更快,磁盘占用也小得多。该数据集几年前首次发布,但此后在夏季进行了更新。以下是 303 个按定居点和年份划分的数据集的边界框。

放大到东京,可以看到一些边界框相互重叠。这些数据集持续更新。截至撰写本文时,最旧的数据集来自 2020 年。由于 Flateau 通过 HTTPS 托管,其内容可以通过 QGIS 的 GeoParquet Downloader 插件精确下载。该插件只会将所需数据——即使来自数 TB 的数据集——下载到本地 Parquet 文件和当前项目中。我在本文中演示了如何使用 OpenStreetMap 数据安装和运行它。

Flateau 项目是 Hiroo Imaki 的工作成果,他是 Pacific Spatial Solutions 的总裁。直到最近,他一直常驻西雅图,主要服务日本客户,但现在常驻冲绳。他此前曾在 NOAA 担任地理空间数据分析师。

在本文中,我将分析 Flateau 更新后的日本建筑轮廓数据集。我使用的是 5.7 GHz AMD Ryzen 9 9950X CPU。它有 16 核 32 线程,1.2 MB L1、16 MB L2 和 64 MB L3 缓存。它配备了水冷散热器,安装在宽敞的全尺寸 Cooler Master HAF 700 机箱中。系统有 96 GB DDR5 内存,频率为 4,800 MT/s,以及第五代 Crucial T700 4 TB NVMe M.2 SSD,读取速度最高可达 12,400 MB/s。SSD 上有散热片以帮助降低温度。这是我的系统 C 盘。系统由 1,200 瓦全模组 Corsair 电源供电,安装在 ASRock X870E Nova 90 主板上。我通过 Microsoft 的 Ubuntu for Windows 在 Windows 11 Pro 上运行 Ubuntu 24 LTS。如果你想知道为什么我不把 Linux 桌面作为主要工作环境,我仍在使用 Nvidia GTX 1080 GPU,它在 Windows 上的驱动支持更好,而且 ArcGIS Pro 只原生支持 Windows。

我将使用 jq 来帮助格式化本文中的数据。 $ sudo apt update $ sudo apt install
jq

我将在本文中使用 DuckDB 及其 H3、JSON、Lindel、Parquet 和 Spatial 扩展。 $ cd ~ $ wget -c https://github.com/duckdb/duckdb/releases/download/v1.5.4/duckdb_cli-linux-amd64.zip $ unzip -j duckdb_cli-linux-amd64.zip $ chmod +x duckdb $ ~/duckdb INSTALL h3 FROM community; INSTALL lindel FROM community; INSTALL json; INSTALL parquet; INSTALL spatial;

我将设置 DuckDB 在每次启动时加载所有已安装的扩展。 $ vi ~/.duckdbrc .timer on .width 180 LOAD h3; LOAD lindel; LOAD json; LOAD parquet; LOAD spatial;

本文中的地图使用 QGIS 4.2.3 版渲染。QGIS 是一个桌面应用程序,可在 Windows、macOS 和 Linux 上运行。近年来该应用越来越受欢迎,全球用户每月约有 2200 万次应用启动。我使用 QGIS 的 HCMGIS 插件为本文添加了来自 Esri 的基于矢量的底图。

以下命令将下载一个 176 KB 的清单文件,包含 303 条记录。这些记录描述了一个区域(通常是一个定居点)和调查年份。 $ wget -O by-city.parquet
https://data.source.coop/pacificspatial/flateau-2-0/flateau-v2-by-city/items.parquet

以下是上述清单文件中按建筑数量排名的前 20 个数据集。 $ ~/duckdb SELECT title FROM 'by-city.parquet' ORDER BY "plateau:building_count" DESC LIMIT 20; ┌─────────────────────┐ │ title │ │ varchar │ ├─────────────────────┤ │ Yokohama Shi 2024 │ │ Nagoya Shi 2022 │ │ Sapporo Shi 2020 │ │ Osaka Shi 2025 │ │ Okayama Shi 2025 │ │ Hamamatsu Shi 2023 │ │ Kyoto Shi 2025 │ │ Saitama Shi 2025 │ │ Sendai Shi 2024 │ │ Niigata Shi 2023 │ │ Hiroshima Shi 2024 │ │ Sakai Shi 2024 │ │ Fukuoka Shi 2024 │ │ Shizuoka Shi 2023 │ │ Toyota Shi 2023 │ │ Himeji Shi 2023 │ │ Fukuyama Shi 2020 │ │ Nagano Shi 2024 │ │ Kitakyushu Shi 2020 │ │ Kawasaki Shi 2022 │ └─────────────────────┘

303 个数据集的 Parquet 格式资产总计略超过 2 GB。 SELECT gb: SUM("file:size") / 1024 ** 3 FROM (SELECT UNNEST(assets, recursive := true) FROM 'by-city.parquet'); ┌────────────────────┐ │ gb │ │ double │ ├────────────────────┤ │ 2.0805980963632464 │ └────────────────────┘

Flateau 中描述了超过 2900 万栋建筑。 SELECT SUM("plateau:building_count") FROM 'by-city.parquet'; 29,290,201

清单中有几个元数据字段。以下是一个示例记录。 $ echo "FROM 'by-city.parquet' ORDER BY "plateau:building_count" DESC LIMIT 1"
| ~/duckdb -json
| jq -S . "assets": { "building_centroid_lod0": { "file:size": 69363985, "href": "https://data.source.coop/pacificspatial/flateau-2-0/flateau-v2-by-city/yokohama-shi-14100/yokohama-shi-14100_building_centroid_lod0.parquet", "proj:code": "EPSG:6668

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →