Flateau 发布含 2900 万栋日本建筑的数据集
来源标题:29M Japanese Buildings
Flateau 数据集收录了超过 2900 万栋日本建筑,并附有自然灾害风险排名。这些数据源自日本国家开放 3D 城市数据(CityGML 格式),已被转换为空间排序的 Parquet 格式并通过 Cloudflare 托管,便于更快分析且占用磁盘更小。该数据集由 Pacific Spatial Solutions 总裁 Hiroo Imaki 开发,最早发布于几年前,并于今年夏季更新,最旧的数据来自 2020 年。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Flateau 数据集包含超过 2900 万栋日本建筑,并附有自然灾害风险排名。这些数据最初来源于日本国家开放 3D 城市数据,以 CityGML 格式分发。Flateau 已将这些文件转换为空间排序的 Parquet 格式,并通过 Cloudflare 托管。这使得数据分析速度更快,磁盘占用也小得多。该数据集几年前首次发布,但此后在夏季进行了更新。以下是 303 个按定居点和年份划分的数据集的边界框。
放大到东京,可以看到一些边界框相互重叠。这些数据集持续更新。截至撰写本文时,最旧的数据集来自 2020 年。由于 Flateau 通过 HTTPS 托管,其内容可以通过 QGIS 的 GeoParquet Downloader 插件精确下载。该插件只会将所需数据——即使来自数 TB 的数据集——下载到本地 Parquet 文件和当前项目中。我在本文中演示了如何使用 OpenStreetMap 数据安装和运行它。
Flateau 项目是 Hiroo Imaki 的工作成果,他是 Pacific Spatial Solutions 的总裁。直到最近,他一直常驻西雅图,主要服务日本客户,但现在常驻冲绳。他此前曾在 NOAA 担任地理空间数据分析师。
在本文中,我将分析 Flateau 更新后的日本建筑轮廓数据集。我使用的是 5.7 GHz AMD Ryzen 9 9950X CPU。它有 16 核 32 线程,1.2 MB L1、16 MB L2 和 64 MB L3 缓存。它配备了水冷散热器,安装在宽敞的全尺寸 Cooler Master HAF 700 机箱中。系统有 96 GB DDR5 内存,频率为 4,800 MT/s,以及第五代 Crucial T700 4 TB NVMe M.2 SSD,读取速度最高可达 12,400 MB/s。SSD 上有散热片以帮助降低温度。这是我的系统 C 盘。系统由 1,200 瓦全模组 Corsair 电源供电,安装在 ASRock X870E Nova 90 主板上。我通过 Microsoft 的 Ubuntu for Windows 在 Windows 11 Pro 上运行 Ubuntu 24 LTS。如果你想知道为什么我不把 Linux 桌面作为主要工作环境,我仍在使用 Nvidia GTX 1080 GPU,它在 Windows 上的驱动支持更好,而且 ArcGIS Pro 只原生支持 Windows。
我将使用 jq 来帮助格式化本文中的数据。
$ sudo apt update
$ sudo apt install
jq
我将在本文中使用 DuckDB 及其 H3、JSON、Lindel、Parquet 和 Spatial 扩展。 $ cd ~ $ wget -c https://github.com/duckdb/duckdb/releases/download/v1.5.4/duckdb_cli-linux-amd64.zip $ unzip -j duckdb_cli-linux-amd64.zip $ chmod +x duckdb $ ~/duckdb INSTALL h3 FROM community; INSTALL lindel FROM community; INSTALL json; INSTALL parquet; INSTALL spatial;
我将设置 DuckDB 在每次启动时加载所有已安装的扩展。 $ vi ~/.duckdbrc .timer on .width 180 LOAD h3; LOAD lindel; LOAD json; LOAD parquet; LOAD spatial;
本文中的地图使用 QGIS 4.2.3 版渲染。QGIS 是一个桌面应用程序,可在 Windows、macOS 和 Linux 上运行。近年来该应用越来越受欢迎,全球用户每月约有 2200 万次应用启动。我使用 QGIS 的 HCMGIS 插件为本文添加了来自 Esri 的基于矢量的底图。
以下命令将下载一个 176 KB 的清单文件,包含 303 条记录。这些记录描述了一个区域(通常是一个定居点)和调查年份。
$ wget -O by-city.parquet
https://data.source.coop/pacificspatial/flateau-2-0/flateau-v2-by-city/items.parquet
以下是上述清单文件中按建筑数量排名的前 20 个数据集。 $ ~/duckdb SELECT title FROM 'by-city.parquet' ORDER BY "plateau:building_count" DESC LIMIT 20; ┌─────────────────────┐ │ title │ │ varchar │ ├─────────────────────┤ │ Yokohama Shi 2024 │ │ Nagoya Shi 2022 │ │ Sapporo Shi 2020 │ │ Osaka Shi 2025 │ │ Okayama Shi 2025 │ │ Hamamatsu Shi 2023 │ │ Kyoto Shi 2025 │ │ Saitama Shi 2025 │ │ Sendai Shi 2024 │ │ Niigata Shi 2023 │ │ Hiroshima Shi 2024 │ │ Sakai Shi 2024 │ │ Fukuoka Shi 2024 │ │ Shizuoka Shi 2023 │ │ Toyota Shi 2023 │ │ Himeji Shi 2023 │ │ Fukuyama Shi 2020 │ │ Nagano Shi 2024 │ │ Kitakyushu Shi 2020 │ │ Kawasaki Shi 2022 │ └─────────────────────┘
303 个数据集的 Parquet 格式资产总计略超过 2 GB。 SELECT gb: SUM("file:size") / 1024 ** 3 FROM (SELECT UNNEST(assets, recursive := true) FROM 'by-city.parquet'); ┌────────────────────┐ │ gb │ │ double │ ├────────────────────┤ │ 2.0805980963632464 │ └────────────────────┘
Flateau 中描述了超过 2900 万栋建筑。 SELECT SUM("plateau:building_count") FROM 'by-city.parquet'; 29,290,201
清单中有几个元数据字段。以下是一个示例记录。
$ echo "FROM 'by-city.parquet'
ORDER BY "plateau:building_count" DESC
LIMIT 1"
| ~/duckdb -json
| jq -S .
"assets": {
"building_centroid_lod0": {
"file:size": 69363985,
"href": "https://data.source.coop/pacificspatial/flateau-2-0/flateau-v2-by-city/yokohama-shi-14100/yokohama-shi-14100_building_centroid_lod0.parquet",
"proj:code": "EPSG:6668
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。