返回资讯中心
外部精选
软件工程
#开发者实时流

Snowflake 宣布可在其 ML 平台运行英伟达 Kumo 训练图神经网络

来源标题:Nvidia Kumo brings graph neural networks to Snowflake ML

Snowflake 于 10 月 21 日宣布,客户可在 Snowflake ML 上运行英伟达开源包 Kumo,直接在关系数据上训练图神经网络。Kumo 运行于 Container Runtime 上的 Snowflake Notebooks,使用 GPU 计算池训练,并将预测结果写回 Snowflake 表。

Hacker News 最新yanivleven2026/11/11 · 6 天前20 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Snowflake 数据 GPU 计量从你忘记它的那一刻开始

NVIDIA Kumo 将图神经网络引入 Snowflake ML。以下是其底层 GPU 计算池的真实成本,以及决定账单是否与实际工作量匹配的各项设置。

Yaniv Leven 阅读时长 7 分钟 · 6 天前

图机器学习一直伴随着数据物流问题。信号存在于客户与订单、订单与产品、交易与账户之间的连接方式中。而用于从这种结构中进行学习的 GPU 通常位于其他地方,因此团队不得不将表扁平化、导出,然后在数据仓库之外进行训练。

10 月 21 日,Snowflake 宣布客户可以在 Snowflake ML 上运行 NVIDIA Kumo——一个用于在关系数据上训练图神经网络的开源软件包。Kumo 在 Container Runtime 上的 Snowflake Notebooks 中运行,在 GPU 计算池上进行训练,并将预测结果写回 Snowflake 表。Snowflake 的示例通过四个表和几行 Python 代码预测哪些客户将在未来 90 天内再次购买。

建模方面的故事很吸引人,但我想看看账单。GPU 计算是大多数数据团队会不小心让其持续运行的最昂贵资源,而 Snowflake 的 GPU 池有一些默认设置,在你第一次训练运行之前值得了解。

Kumo 本身是开源的,因此 Snowflake 的公告中没有提及许可费用。你需要为其运行的基础设施付费。计算池按实例系列以每小时 Platform Credits 计费。根据服务消费表(2026 年 10 月 15 日生效),第一代 SPCS GPU 实例:

GPU_NV_S(1× NVIDIA A10G,24 GB):0.57 credits/小时 GPU_NV_M(4× NVIDIA A10G,96 GB):2.68 credits/小时 GPU_NV_L(8× NVIDIA A100,320 GB):14.12 credits/小时

GPU 规格来自 Snowflake 的 AWS 实例系列页面。GPU_NV_XS 出现在表中但不在该页面上,因此请在你所在的区域检查 SHOW COMPUTE POOL INSTANCE FAMILIES。更新一代的系列,例如 AWS 上每小时 1.424 credits 的 GPU_L40S_G1_8,会按云平台费率单独列出。

要将 credits 转换为美元:AWS US East 的 On Demand Enterprise Edition 为每 credit $3.00。这样 GPU_NV_S 约为每小时 $1.71,GPU_NV_M 约为 $8.04,GPU_NV_L 约为 $42.36。你的合同费率可能不同,请使用你自己的费率。

更大的 GPU 池会快速消耗 credits,即使它们处于空闲状态

空闲池:没有人计划过的账单项目

最重要的规则在 Snowflake 的 SPCS 成本文档中:计算池在 IDLE、ACTIVE、STOPPING 或 RESIZING 状态下都会收费。只有当池处于 STARTING 或 SUSPENDED 状态时,你才不在计费范围内。一个没有任何任务调度的空闲池仍然会为其持有的每个节点计费。

有三个设置决定这种情况持续多久:

以下是算术。一个 GPU_NV_M 池在 64 小时的周末期间保持运行,约使用 171.5 credits,按每 credit $3.00 计算约为 $515。这还是在没有训练任何东西的情况下。GPU_NV_L 上默认的一小时自动挂起会在每个会话后花费约 14 credits,仅仅是为了等待。

还有第二个计时器。Container Runtime 上的 Notebooks 有一个空闲超时,默认为 1 小时,最长可设置为 72 小时,通过在 CREATE NOTEBOOK 或 ALTER NOTEBOOK 中使用 IDLE_AUTO_SHUTDOWN_TIME_SECONDS 来设置。保持活跃的 notebook 会话会使池保持活跃。Snowflake 自己的建议是在完成后结束会话。

对于专用训练池,我会从这样的配置开始:

CREATE COMPUTE POOL kumo_training_pool MIN_NODES = 1 MAX_NODES = 1 INSTANCE_FAMILY = GPU_NV_M AUTO_RESUME = TRUE INITIALLY_SUSPENDED = TRUE AUTO_SUSPEND_SECS = 300 COMMENT = 'Kumo GNN training';

INITIALLY_SUSPENDED = TRUE 意味着创建时不预置任何节点。AUTO_RESUME 在提交作业时启动池。五分钟的宽限期取代了默认的一小时。有意识地固定 MAX_NODES,只有在证明作业可以扩展时才提高它。

每个账户还会获得一个用于 notebooks、模型服务和 ML 作业的 SYSTEM_COMPUTE_POOL_GPU。在 AWS 上它使用 GPU_NV_S,在 Azure 上它使用 GPU_NV_SM。其默认值为 MIN_NODES=1、MAX_NODES=50、INITIALLY_SUSPENDED=true 和 AUTO_SUSPEND_SECS=600。它在 Google Cloud 以及少数 AWS 和 Azure 区域中不可用。

有两点值得注意。系统池的使用权默认授予 PUBLIC,因此任何角色都可以运行 GPU 工作。而且 MAX_NODES=50 对于一个 GPU 系列来说是很大的余量。对于生产训练工作负载,我会使用专用池,限制谁可以使用它,并为其打上所有者标签。

成本故事的另一半是你通过不移动数据而避免的费用。导出并非免费:AWS US East 数据传输到不同区域为每 TB $20,传输到其他云或互联网为每 TB $90。然后你还要为另一侧的计算和存储付费,以及维护第二份副本的治理工作。

在 Snowflake 内部训练也并非零传输。消费表列出 AWS 上同一区域内的 SPCS 数据传输为每 TB $3.07。Snowflake 每天按当天的 SPCS 传输费用或当天 SPCS 计算费用的 10% 中的较小值来减免 SPCS 数据传输费用。对于大多数训练作业,GPU 小时数将远远超过传输费用。

我没有关于 Kumo 在 Snowflake 上与外部 GPU 集群的已发布、同类对比基准。因此诚实的比较是:出口流量加重复基础设施,对比 GPU credits 加一些 notebook 仓库时间。Container Runtime notebooks 也可能产生仓库计算费用,用于 SQL 单元格和 Snowpark 下推查询。

将数据导出,还是在数据已经所在的地方进行训练

在财务部门之前追踪它

计算池支出显示在 SNOWFLAKE.ACCOUNT_USAGE.SNOWPARK_CONTAINER_SERVICES_HISTORY 中。它报告过去 365 天每个计算池的每小时 credit 使用量,延迟最多三小时。

SELECT compute_pool_name, DATE_TRUNC('day', start_time) AS usage_day, SUM(credits_used) AS credits FROM snowflake.account_usage.snowpark_container_services_history WHERE start_time >= DATEADD('day', -30, CURRENT_TIMESTAMP()) GROUP BY 1, 2 ORDER BY credits DESC;

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →