返回资讯中心
外部精选
软件工程
#开发者实时流

Snowflake Adaptive Compute 正式可用,仓库按查询计费取代固定规格

来源标题:How to use snowflake adaptive compute

Snowflake 的 Adaptive Compute 已在 Enterprise Edition 的多个 AWS、Azure 和 GCP 区域正式可用。使用自适应仓库后,用户不再需要管理仓库规模、多集群设置、查询加速服务和挂起/恢复,任务会被路由到账户专属的共享池。计费方式也从固定仓库占用改为按查询计费。

Hacker News 最新yanivleven2026/11/12 · 5 天前17 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

数据 数据工程 Seemoredata Snowflake Adaptive Compute 改变了你设定规模的方式,也改变了计费方式 Adaptive Warehouse 抛弃了固定规模和空闲小时数的思路,改用基于查询的 credit 模型。在切换 WAREHOUSE_TYPE 之前该衡量什么,以及什么时候该让 Gen2 保持原样。 Yaniv Leven 6 分钟阅读· 1 小时前

Warehouse 的合理规模设定一直是一种妥协。按最重的查询来设定规模,小查询就多花了钱;按平均值来设定,重查询就会溢出或排队。多集群和 Query Acceleration Service 只是把缺口暂时糊上,直到有人忘了在夜间挂起一个 warehouse。

Snowflake 的 Adaptive Warehouse 从另一个角度切入这个问题。Adaptive Compute 已在多个 AWS、Azure 和 GCP 区域的 Enterprise Edition 上正式可用。使用 adaptive warehouse 后,你不再管理规模、多集群设置、Query Acceleration 和挂起/恢复——整个模型聚焦于查询,而不是 warehouse。Snowflake 把作业路由到专属于你账户的共享池,并按基于查询的模型计费,而不是按固定的 warehouse 占用。最后这一点才是 FinOps 层面的变化。

使用 adaptive warehouse 后,你不再管理规模、多集群设置、Query Acceleration 和挂起/恢复——整个模型聚焦于查询,而不是 warehouse。

传统 warehouse 有四个旋钮:规模、集群数、query acceleration 和自动挂起。Adaptive 则有两个旋钮:最大查询性能级别和查询吞吐量倍数。

在转换之前先测量候选 warehouse 转换只需一条语句,且无需停机:ALTER WAREHOUSE my_warehouse SET WAREHOUSE_TYPE = 'ADAPTIVE'。Snowflake 会根据旧的规模、MAX_CLUSTER_COUNT、QAS 缩放因子和代际推导出初始的性能和吞吐量设置。你也可以用同样的方式转回去。在动手切换任何东西之前,先为你打算转换的 warehouse 建立基线。

在动手切换任何东西之前,先为你打算转换的 warehouse 建立基线。

SELECT DATE_TRUNC('day', start_time) AS day, warehouse_size, COUNT(*) AS queries, SUM(total_elapsed_time) / 1000 / 3600 AS elapsed_hours, SUM(queued_overload_time) / 1000 / 3600 AS queued_hours, SUM(bytes_spilled_to_remote_storage) / POWER(1024, 3) AS gb_remote_spill, APPROX_PERCENTILE(total_elapsed_time, 0.95) / 1000 AS p95_seconds FROM snowflake.account_usage.query_history WHERE warehouse_name = 'ANALYTICS_WH' AND start_time >= DATEADD('day', -14, CURRENT_TIMESTAMP()) AND UPPER(execution_status) = 'SUCCESS' GROUP BY 1, 2 ORDER BY 1, 2;

那里的每一列都在文档化的 QUERY_HISTORY schema 中。把它与同一个 warehouse 来自 WAREHOUSE_METERING_HISTORY 的每日 credits 配对使用。你要寻找三个信号,说明 Adaptive 是个合适的候选:规模差异大(小查询和大查询共用一个 warehouse)、存在明显的排队或溢出、以及该 warehouse 主要是为突发性 BI 或 ETL 而保持运行,而不是稳定的 HTAP。

你要寻找三个信号,说明 Adaptive 是个合适的候选:规模差异大(小查询和大查询共用一个 warehouse)、存在明显的排队或溢出、以及该 warehouse 主要是为突发性 BI 或 ETL 而保持运行,而不是稳定的 HTAP。

QUERY_METERING_HISTORY 是 Snowflake 中用于追踪 Adaptive Warehouse 每次查询的 credit 用量和计算成本的具体视图。该视图最多有一小时的延迟,每个运行中的查询在每个计量小时可能产生一行。一个已完成查询的 credits 是这些行中 CREDITS_USED 的总和:

WITH per_query AS ( SELECT query_id, query_parameterized_hash, SUM(credits_used) AS credits, MIN(query_start_time) AS query_start_time, MAX(query_end_time) AS query_end_time FROM snowflake.account_usage.query_metering_history WHERE warehouse_name = 'ANALYTICS_WH' AND query_metering_hour >= DATEADD('day', -7, CURRENT_TIMESTAMP()) AND query_end_time IS NOT NULL GROUP BY 1, 2 ) SELECT query_parameterized_hash, COUNT() AS runs, SUM(credits) AS credits, SUM(credits) / NULLIF(COUNT(), 0) AS credits_per_run, AVG(DATEDIFF('millisecond', query_start_time, query_end_time)) AS avg_ms FROM per_query GROUP BY 1 ORDER BY credits DESC LIMIT 25;

将每次运行的 credits 和 p95 延迟与两周的基线进行比较。如果转换后少数几个 hash 主导了 credits,就为该 warehouse 调低 MAX_QUERY_PERFORMANCE_LEVEL 或 QUERY_THROUGHPUT_MULTIPLIER,或者拆分工作负载。看到排队时就调高吞吐量;更担心支出飙升时就调低;把预算和资源监控作为硬性上限。

单个 warehouse 的前后对比:每日 credits、p95 延迟、排队小时数,以及排名靠前的查询模式的每次运行 credits。

Adaptive 在什么情况下有帮助,什么情况下没有 Adaptive Warehouse 适合以下场景:

Seemore 的定位 Adaptive warehouse 的自动资源管理已在 Smartpulse 中提供 beta 版。如果你坚持手动操作,我们也会在 Adaptive 转换前为一个 warehouse 的 credits、排队和溢出建立基线,然后在转换后按查询模式追踪 credits,这样你就能看到新的旋钮是否真的改变了账单——所以这不是盲目地切换 WAREHOUSE_TYPE。

Adaptive Compute 并不会消除 warehouse 成本。它把计费单位从一个闲置着的固定规模,变成每个查询所使用的资源,并用两个旋钮取代了四个运维旋钮。先建立基线,转换一个 warehouse,读取 QUERY_METERING_HISTORY,然后再决定是否继续推进。

Adaptive Compute 还会计费 Snowflake warehouse credits 吗? 是的。用量在 usage 账单上以 virtual warehouse credits 的形式报告为 COMPUTE。新的一点是,每个查询的成本取决于它使用的计算和软件资源。

什么取代了 warehouse 规模和自动挂起? MAX_QUERY_PERFORMANCE_LEVEL 设定每个查询的性能上限(默认 XLARGE)。QUERY_THROUGHPUT_MULTIPLIER 限制并发工作量(默认 2;0 表示不限制)。预算和资源监控仍然管控总支出。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →