返回资讯中心
外部精选
软件工程
#开发者实时流

Databricks自动化任务跑在交互式集群上会推高成本

来源标题:The Cost of Running Databricks Jobs on All-Purpose Compute

Databricks的交互式集群适合人工开发调试,但自动化任务若沿用同一集群会为闲置容量付费。原文指出,当笔记本改为每天定时运行却仍挂在全用途集群上时,开发者所需的额外容量和空闲时间仍被计费,导致成本上升。

Hacker News 最新atharvashah2026/11/13 · 4 天前29 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

在专为有人值守场景搭建的基础设施上运行自动化工作负载,Databricks 交互式集群的计算成本会变得很高。

交互式计算让开发者无需每次等待集群启动,就能开发和测试代码。但当这段代码变成定时任务、却仍运行在同一个开发集群上时,成本就可能上升。

数据科学家运行一个 notebook 单元格、查看结果、修改某个特征、再次运行。在两次命令之间,他们可能会阅读输出,或与同事讨论。让集群保持运行,可以更方便地从中断处继续。

平台团队通常会为这类工作配置共享开发环境:允许额外的容量、让多人访问,并把关闭超时设置得足够长,以容纳休息时间。

几周后,这个 notebook 已经准备好每天早晨 6 点运行。有人添加了调度,但仍将它挂载在同一个 all-purpose 集群上。此时任务运行时,已经没人在操作这个 notebook 了。但它可能仍在为开发阶段有用的额外容量和空闲时间付费。

图 1. 运行中的 all-purpose 集群会在命令之间的间隙产生费用。

开发过程包含停顿:人们查看结果、调试代码、决定下一步尝试什么。一个在这些停顿期间保持可用的共享集群,能帮助团队快速恢复工作。定时批处理任务则有不同的要求:可靠完成、满足截止时间,并避免不必要的计算成本。

对于大多数受支持的任务工作负载,Databricks 推荐使用 serverless 计算。对于 classic 计算,它推荐 Jobs compute,后者会在运行完成后终止。All-purpose 计算会根据其不活动设置关闭,并且可能与其他用户共享。对于定时任务,选择 all-purpose 还是 Jobs compute,决定了运行结束时计费是否停止。例外情况包括迭代测试,以及启动延迟影响较大的频繁短任务。更多信息请参阅 Databricks 关于 Jobs compute 的指南。

图 2. 开发受益于快速重跑。定时批处理任务通常可以在完成后释放计算资源。

当一个 notebook 变成定时任务时,应连同代码一起重新审视其计算选择。

Databricks Unit(DBU)是平台使用量的计量单位。比较 DBU 费率有帮助,但仅凭费率无法告诉你某个工作负载的实际成本。使用 classic all-purpose 计算时,关闭前的空闲时间仍会产生 DBU 和云实例费用。更多信息请参阅 Databricks 成本优化:降低账单的 6 个杠杆。

一个集群可能一天中只有一小部分时间在运行命令,其余时间人们在查看结果、参加会议或在别处工作。在积极开发期间,保持其可用可能是值得的。而定时任务则几乎没有理由在两次执行之间让同一环境持续运行。

使用更小的工作节点可以降低每运行小时的费用。将定时工作负载迁移到运行结束后即停止的计算资源上,也能减少你付费的小时数。在断定集群规模是主要问题之前,请先检查这两点。

自动终止会在配置的不活动时间后关闭 classic 计算。Databricks 在其跟踪的命令完成后即认为它处于不活动状态。可配置的超时范围为 10 到 10,000 分钟。更多信息请参阅自动终止文档。

设想一个 60 分钟的超时。五分钟的命令分别在 9:00、9:50、10:40 和 11:30 开始。每次都在集群不活动满一小时之前到达,使其整个上午持续运行。

图 3. 短命令可以让集群持续运行数小时而不超过其不活动超时。

更短的超时能减少空闲时间,但会让用户更频繁地重启计算。应根据团队的工作方式选择超时,并审视定时任务是否仍需要该共享环境。

在开发期间,all-purpose 集群为人们留出空间来检查中间结果、调试 join、尝试不同方法。一旦 notebook 按调度运行,这些需求可能已经改变。除非有人明确修改,任务配置可能仍指向该开发集群。

图 4. 定时任务可能保留开发期间使用的同一个 all-purpose 集群。

在生产部署流程中加入计算资源审查环节。确认所选计算资源符合任务的调度、启动要求和依赖关系。

Databricks 提供了一条系统表查询,用于识别运行在 all-purpose 计算上的任务。它为平台团队提供了一个实用的起点,用来找出需要审查的工作负载。更多信息请参阅 Jobs 系统表参考。

Serverless notebook 减少了配置和管理基础设施的需要。自动化工作负载仍然需要合适的性能模式。Databricks 提供两种 serverless 性能模式:

性能优化模式:保持热容量可用,以减少启动延迟。

标准模式:适合能够容忍约四到六分钟启动时间的批处理任务和管道。Databricks 表示其成本可比性能优化模式低最多 70%。标准模式适用于 Lakeflow 任务和管道,但不适用于 notebook。

该节省幅度是公布的最大值,因此请比较你的工作负载的成本和完成时间。参阅 serverless 性能模式指南。

同时检查兼容性。Serverless notebook 和任务不支持 R 或 Spark RDD API,使用 Spark Connect,并且不提供 classic Spark UI。某些工作负载将需要修改代码或使用 classic 计算。更多信息请参阅 Databricks Serverless 与 Classic 计算对比。

根据工作负载的需求来选择:交互式开发、定时批处理、SQL 查询,或仅在 classic 计算上才可用的能力。

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →