返回资讯中心
外部精选
软件工程
#开发者实时流

Tom Nicholas 撰文介绍如何让科学数据档案适配 AI 使用

来源标题:How to make scientific data archives AI-ready

软件工程师 Tom Nicholas 发文探讨科学数据档案如何为 AI 做好准备。文章指出,AI 工具可显著提升科研效率,但其效用受限于可获取的数据量,多数科学数据困在未针对人工访问优化的档案文件中。文章按地球科学、组学、神经科学等学科提供可切换的示例。

Hacker News 最新tomnicholas12026/11/4 · 13 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

2026年10月30日 · 阅读时长18分钟 如何让科学数据档案为AI做好准备 Tom Nicholas 软件工程师 本文会根据你的科学领域进行调整。使用屏幕底部的选择器可在地球科学、组学、神经科学、生物成像和聚变示例之间切换。高亮文本和图表会随你的选择而变化;✦ 按钮可关闭高亮。试着切换一下,看看不同科学领域的数据问题有多么相似! AI工具有望显著提升科学产出效率,但它们对科学的价值受限于能够触达的数据量——无论是用于智能体(agentic)场景,还是用于基础模型训练。 这实在令人遗憾,因为大多数科学数据都被锁在各类数据档案中,这些档案并非为人类访问而优化,更谈不上为智能体或基础模型而设计。 前沿实验室对此心知肚明——Anthropic最近就向多个科学数据档案项目进行了捐赠。 核心问题在于,大多数科学数据都困在文件里。数据以文件形式产生,而现有档案通常只是选择对这些文件进行编目。 遗憾的是,科学家并不关心文件。 相反,当科学家想要与数据交互时(传统上通过智能体,或经由基础模型),他们往往以数据集和查询的形式来表达需求。 (请注意,这种心智中的请求结构早在LLM出现之前就已存在,只不过现在人们真的就是这么输入的。) 数据集才是这里的关键实体:即使用户查询没有明确点名某个数据集,第一步几乎总是要弄清楚哪些数据集包含与查询相关的数据。 构成每个逻辑科学数据集的单个文件(例如GOES-16)是无关紧要的,它们只是实现细节。 一个高效的科研数据档案系统应当能够快速回答的真正问题是:“用户想要的数据究竟在哪里?” 现状是,许多系统向用户呈现大量不透明的文件,缺乏全局结构。 例如,寻找GOES-16数据的用户首先得找到相关的公开NOAA NODD存储桶,但随后会面对30万个不透明的netCDF文件,文件名形如 OR_ABI-L2-CMIPF-M6C13_G16_s20210631520167_e20210631529486_c20210631529564.nc。 用户需要的是快速找到、检索并解码满足其查询的最小数据集。 如何设计一个同时服务于人类和AI用户的系统? 数据需要可访问,这意味着要将其放入某种可扩展、可寻址的存储中。 对象存储非常适合这一点——它能平滑扩展到数百PB,使用简单的键值接口,并支持公开或认证访问。 大多数科学档案已迁移到对象存储,例如NOAA NODD到2023年已在云端提供超过24 PB的数据。 遗憾的是,许多机构采用的是“搬迁式”迁移——即直接把文件从文件系统服务器搬到对象存储,不做其他任何改动或编目。 因此,我们的数据系统应当以某种方式将一个数据集的所有文件在逻辑上归组为单一实体。 我们可以通过对文件内容建立某种索引来实现这一点。 然而,我们的索引不应字面上就是文件名的索引。 大多数科学文件格式(如NetCDF/GRIB/GeoTIFF)包含数据块(chunk),可以通过HTTP范围请求从对象存储中单独获取。 单个压缩块是“最小可用单元”,因为大多数压缩算法不允许只解压块的一部分。 这意味着,要以最高效的方式响应查询,通常希望系统返回块而非整个文件。 对于许多工作负载而言,块与文件之间的这种区别会极大影响查询效率。 例如,从GOES-16中提取磁盘上单一位置的时间序列,如果获取块而非文件,所需抓取的数据量可减少576倍。 NASA采用这种方法,在常见查询上实现了100倍的加速。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →