
Snowflake 宣布可在其 ML 平台运行英伟达 Kumo 训练图神经网络
来源标题:Nvidia Kumo brings graph neural networks to Snowflake ML
Snowflake 于 10 月 21 日宣布,客户可在 Snowflake ML 上运行英伟达开源包 Kumo,直接在关系数据上训练图神经网络。Kumo 运行于 Container Runtime 上的 Snowflake Notebooks,使用 GPU 计算池训练,并将预测结果写回 Snowflake 表。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Snowflake 数据 GPU 计量从你忘记它的那一刻开始
NVIDIA Kumo 将图神经网络引入 Snowflake ML。以下是其底层 GPU 计算池的真实成本,以及决定账单是否与实际工作量匹配的各项设置。
Yaniv Leven 阅读时长 7 分钟 · 6 天前
图机器学习一直伴随着数据物流问题。信号存在于客户与订单、订单与产品、交易与账户之间的连接方式中。而用于从这种结构中进行学习的 GPU 通常位于其他地方,因此团队不得不将表扁平化、导出,然后在数据仓库之外进行训练。
10 月 21 日,Snowflake 宣布客户可以在 Snowflake ML 上运行 NVIDIA Kumo——一个用于在关系数据上训练图神经网络的开源软件包。Kumo 在 Container Runtime 上的 Snowflake Notebooks 中运行,在 GPU 计算池上进行训练,并将预测结果写回 Snowflake 表。Snowflake 的示例通过四个表和几行 Python 代码预测哪些客户将在未来 90 天内再次购买。
建模方面的故事很吸引人,但我想看看账单。GPU 计算是大多数数据团队会不小心让其持续运行的最昂贵资源,而 Snowflake 的 GPU 池有一些默认设置,在你第一次训练运行之前值得了解。
Kumo 本身是开源的,因此 Snowflake 的公告中没有提及许可费用。你需要为其运行的基础设施付费。计算池按实例系列以每小时 Platform Credits 计费。根据服务消费表(2026 年 10 月 15 日生效),第一代 SPCS GPU 实例:
GPU_NV_S(1× NVIDIA A10G,24 GB):0.57 credits/小时 GPU_NV_M(4× NVIDIA A10G,96 GB):2.68 credits/小时 GPU_NV_L(8× NVIDIA A100,320 GB):14.12 credits/小时
GPU 规格来自 Snowflake 的 AWS 实例系列页面。GPU_NV_XS 出现在表中但不在该页面上,因此请在你所在的区域检查 SHOW COMPUTE POOL INSTANCE FAMILIES。更新一代的系列,例如 AWS 上每小时 1.424 credits 的 GPU_L40S_G1_8,会按云平台费率单独列出。
要将 credits 转换为美元:AWS US East 的 On Demand Enterprise Edition 为每 credit $3.00。这样 GPU_NV_S 约为每小时 $1.71,GPU_NV_M 约为 $8.04,GPU_NV_L 约为 $42.36。你的合同费率可能不同,请使用你自己的费率。
更大的 GPU 池会快速消耗 credits,即使它们处于空闲状态
空闲池:没有人计划过的账单项目
最重要的规则在 Snowflake 的 SPCS 成本文档中:计算池在 IDLE、ACTIVE、STOPPING 或 RESIZING 状态下都会收费。只有当池处于 STARTING 或 SUSPENDED 状态时,你才不在计费范围内。一个没有任何任务调度的空闲池仍然会为其持有的每个节点计费。
有三个设置决定这种情况持续多久:
以下是算术。一个 GPU_NV_M 池在 64 小时的周末期间保持运行,约使用 171.5 credits,按每 credit $3.00 计算约为 $515。这还是在没有训练任何东西的情况下。GPU_NV_L 上默认的一小时自动挂起会在每个会话后花费约 14 credits,仅仅是为了等待。
还有第二个计时器。Container Runtime 上的 Notebooks 有一个空闲超时,默认为 1 小时,最长可设置为 72 小时,通过在 CREATE NOTEBOOK 或 ALTER NOTEBOOK 中使用 IDLE_AUTO_SHUTDOWN_TIME_SECONDS 来设置。保持活跃的 notebook 会话会使池保持活跃。Snowflake 自己的建议是在完成后结束会话。
对于专用训练池,我会从这样的配置开始:
CREATE COMPUTE POOL kumo_training_pool MIN_NODES = 1 MAX_NODES = 1 INSTANCE_FAMILY = GPU_NV_M AUTO_RESUME = TRUE INITIALLY_SUSPENDED = TRUE AUTO_SUSPEND_SECS = 300 COMMENT = 'Kumo GNN training';
INITIALLY_SUSPENDED = TRUE 意味着创建时不预置任何节点。AUTO_RESUME 在提交作业时启动池。五分钟的宽限期取代了默认的一小时。有意识地固定 MAX_NODES,只有在证明作业可以扩展时才提高它。
每个账户还会获得一个用于 notebooks、模型服务和 ML 作业的 SYSTEM_COMPUTE_POOL_GPU。在 AWS 上它使用 GPU_NV_S,在 Azure 上它使用 GPU_NV_SM。其默认值为 MIN_NODES=1、MAX_NODES=50、INITIALLY_SUSPENDED=true 和 AUTO_SUSPEND_SECS=600。它在 Google Cloud 以及少数 AWS 和 Azure 区域中不可用。
有两点值得注意。系统池的使用权默认授予 PUBLIC,因此任何角色都可以运行 GPU 工作。而且 MAX_NODES=50 对于一个 GPU 系列来说是很大的余量。对于生产训练工作负载,我会使用专用池,限制谁可以使用它,并为其打上所有者标签。
成本故事的另一半是你通过不移动数据而避免的费用。导出并非免费:AWS US East 数据传输到不同区域为每 TB $20,传输到其他云或互联网为每 TB $90。然后你还要为另一侧的计算和存储付费,以及维护第二份副本的治理工作。
在 Snowflake 内部训练也并非零传输。消费表列出 AWS 上同一区域内的 SPCS 数据传输为每 TB $3.07。Snowflake 每天按当天的 SPCS 传输费用或当天 SPCS 计算费用的 10% 中的较小值来减免 SPCS 数据传输费用。对于大多数训练作业,GPU 小时数将远远超过传输费用。
我没有关于 Kumo 在 Snowflake 上与外部 GPU 集群的已发布、同类对比基准。因此诚实的比较是:出口流量加重复基础设施,对比 GPU credits 加一些 notebook 仓库时间。Container Runtime notebooks 也可能产生仓库计算费用,用于 SQL 单元格和 Snowpark 下推查询。
将数据导出,还是在数据已经所在的地方进行训练
在财务部门之前追踪它
计算池支出显示在 SNOWFLAKE.ACCOUNT_USAGE.SNOWPARK_CONTAINER_SERVICES_HISTORY 中。它报告过去 365 天每个计算池的每小时 credit 使用量,延迟最多三小时。
SELECT compute_pool_name, DATE_TRUNC('day', start_time) AS usage_day, SUM(credits_used) AS credits FROM snowflake.account_usage.snowpark_container_services_history WHERE start_time >= DATEADD('day', -30, CURRENT_TIMESTAMP()) GROUP BY 1, 2 ORDER BY credits DESC;
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。