返回资讯中心
外部精选
软件工程
#开发者实时流

Ilya Boyandin 用 DuckDB 打造本地分析工具 SQLRooms

来源标题:Local Analytics Doesn't Need a Database Server

软件工程师 Ilya Boyandin 基于 DuckDB 的 WebAssembly 构建,开发出无需数据库服务器的本地分析工具 SQLRooms,将数据、可视化与 AI 辅助分析整合在用户本机。他在 Flowmap City 项目中首次使用 DuckDB,让应用在浏览器内完成分析查询,数据以 Parquet 文件存于 S3。该方案主打低基础设施成本,并强调用户对数据的本地掌控。

Hacker News 最新acossta2026/11/12 · 5 天前21 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

TL;DR:从交互式地图到图探索,DuckDB 让无需数据库服务器即可分析数据成为可能。Ilya Boyandin 分享了这一思路如何催生 SQLRooms——一套用于构建分析应用的工具包,将数据、可视化和 AI 辅助分析汇集在用户自己的机器上。

数据应当归你所有。它可以存放在你的电脑上,并非一切都必须放在云端。数据可以通过云同步,但何时保留在本地、何时不保留,由你决定。

Ilya Boyandin 是一名软件工程师,也是 SQLRooms、FlowmapBlue 和 Flowmap City 的创造者。他曾在 Unfolded 从事地理空间数据分析工作,这家公司由开源数据可视化项目 deck.gl 和 kepler.gl 背后的团队创立,后来被 Foursquare 收购。

Ilya 最早在 Flowmap City 中使用 DuckDB,这是他的一个副业项目,用于可视化出行流动,至今仍由他维护。

在预算有限的情况下,Ilya 希望让 Flowmap City 易于运维、基础设施需求最小。DuckDB 的 WebAssembly 构建让应用可以直接在用户浏览器中运行分析查询,无需数据库服务器。上传的数据集以 Parquet 文件形式存储在 S3 中。当有人打开一个项目时,应用通过预签名 URL 将数据加载到 DuckDB-Wasm 中。

当用户在 Flowmap City 中平移、缩放或更改筛选条件时,DuckDB-Wasm 会在浏览器中运行 SQL 查询来更新地图。一次交互可能触发多个查询,为当前视口准备数据:

Ilya 解释说:“我们现在可以在浏览器中完成大部分分析和可视化工作。这降低了基础设施要求,而且可能更快,因为查询不需要往返服务器。”

Flowmap City 中大量的数据加载和界面代码在出行分析之外同样有用。Ilya 将这些部分抽取出来,形成 SQLRooms,并作为开源项目持续开发。

SQLRooms 是一套模块化工具包,用于在 React 中构建由 DuckDB 驱动的分析应用。它提供了加载数据、编写 SQL、展示表格、创建可视化以及集成 AI 助手的构建模块。开发者可以将这些模块与自己的组件组合使用。

这些组件在 Room 中协同工作:Room 是一个工作区,包含数据集、分析产物(如保存的查询、图表、地图和文档),以及将它们连接起来的应用状态。SQLRooms 通过共享的 DuckDB 连接处理查询执行,因此开发者可以专注于用户如何探索数据、如何在其基础上继续构建。

DuckDB 可以通过 WebAssembly 直接在浏览器中运行,也可以在桌面应用中原生运行在用户机器上,从而无需远程数据库服务器即可进行数据分析。

Ilya 对本地优先软件的兴趣塑造了这个框架。“数据应当归你所有。它可以存放在你的电脑上,并非一切都必须放在云端。数据可以通过云同步,但何时保留在本地、何时不保留,由你决定。”

在 Foursquare,Ilya 的团队一直在开发 Foursquare Spatial Desktop,这是一款用 SQLRooms 构建的、用于探索地理空间数据的桌面应用。它将 DuckDB 的分析引擎与 kepler.gl 的可视化工具结合在一起。该应用建立在团队使用 kepler.gl 和 Foursquare Studio(其云托管的地理空间分析平台)的经验之上。

Ilya 解释说:“对于这个特定产品,嵌入桌面应用的 DuckDB 堪称完美契合。它让用户可以在本地执行分析工作流。”他说,SQLite 也可以嵌入,但它不是面向列的,也不是为大型数据集上的分析而设计的。

Ilya 补充说,现代笔记本电脑拥有强大的算力,GPU 也非常适合可视化。“我看到人们对将数据和计算保留在用户自己机器上的应用重新产生了兴趣。”

Spatial Desktop 使用 deck.gl 渲染地图,但一次性绘制数百万个要素可能会拖慢速度。该应用通过由 DuckDB 空间扩展驱动的动态瓦片化来解决这个问题。

地图瓦片通常提前准备好以便快速加载。Spatial Desktop 还可以利用本地 DuckDB 数据库,按需从用户自己的数据集生成瓦片,这样用户无需先准备瓦片集就可以开始探索。对于每个请求的瓦片,它会选取附近的要素并随机抽样,以控制密集瓦片的数据量。它还会根据缩放级别简化线和多边形,用户放大时保留更多细节。

下面这个简化查询展示了主要步骤。它假设源几何数据已经是 Web Mercator 坐标(EPSG:3857)。瓦片宽度同时决定了搜索区域周围的小幅缓冲区和约半个像素的简化容差:

WITH tile AS ( SELECT ST_TileEnvelope(z, x, y) AS bounds, (ST_XMax(bounds) - ST_XMin(bounds)) / 256.0 AS meters_per_pixel ), candidates AS ( SELECT f.id, f.geometry, tile.bounds, GREATEST(meters_per_pixel * 0.5, 0.1) AS tolerance FROM features f, tile WHERE ST_Intersects_Extent( f.geometry, ST_Buffer(tile.bounds, meters_per_pixel * 16) ) ), sampled AS ( SELECT * FROM candidates USING SAMPLE reservoir(50000 ROWS) ), encoded AS ( SELECT id, ST_AsMVTGeom( ST_SimplifyPreserveTopology(geometry, tolerance), ST_Extent(bounds) ) AS geom FROM sampled ) SELECT ST_AsMVT(encoded, 'features') AS tile FROM encoded WHERE geom IS NOT NULL;

ST_AsMVTGeom 将简化后的几何数据转换为瓦片坐标并进行裁剪;ST_AsMVT 将它们及其属性打包成 Mapbox Vector Tile(MVT)。生产实现还会处理无效几何数据、过滤掉非常小的线和多边形,并缓存生成的瓦片。

作为 Electron 桌面应用的一部分,本地运行的 HTTP 服务器负责提供地图请求的瓦片。

SQLRooms 还为 Cosmograph 的分析工作区提供支持,这是一款由 Nikita Rokotyan 和 Thor Whalen 开发的基于浏览器的图探索工具。Ilya 帮助将 SQLRooms 集成到该应用中,它可以可视化包含数百万条边的图。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →