返回资讯中心
外部精选
云计算
#容器平台#AI Infrastructure#Kubernetes#Observability#sponsor-aws-marketplace

亚马逊云科技推出 CloudWatch 加速计算洞察功能,解决 GPU 成本可见性难题

来源标题:Expensive accelerators, no workload-level visibility: Introducing Amazon CloudWatch accelerated compute insights

亚马逊云科技发布 Amazon CloudWatch accelerated compute insights,帮助平台团队看清共享集群中 GPU 等加速器的使用情况和成本浪费。该功能针对的是加速器账单已成为基础设施预算最大支出项之一、但多数组织对 GPU 运行缺乏可见性的问题。原文未披露该功能的具体定价和上线时间。

The New StackSabari Sawant2026/11/11 · 6 天前30 分钟阅读

以下正文由 AI 翻译自 The New Stack(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

加速器的账单已成为基础设施预算中最大的支出项之一。GPU 已成为现代计算中最昂贵的资源,然而大多数组织在运营它们时几乎没有任何可见性。一个训练集群可能运行数天,花费数百万美元。大多数组织将加速器跨团队池化在共享集群上,以保持其利用率。但在这些共享环境中,平台团队无法回答一些基本问题:哪个团队在使用哪些加速器?推理工作负载是否在高效地生成 token?资金浪费在哪里?

当工作负载性能下降时(加速器故障、节点热节流),团队往往要等到运行崩溃或账单到来时才发现。定位原因所需的设备级信号(请求追踪、内核日志、加速器自身的内存指标)没有被收集或关联起来。在无法将问题隔离到单个加速器的情况下,团队只能退而求其次,重启整个实例,为了处理一个 GPU 上的故障而牺牲七个健康的 GPU,而且往往还要等待稀缺的容量才能拿回实例。

“GPU 已成为现代计算中最昂贵的资源,然而大多数组织在运营它们时几乎没有任何可见性。”

加速器可观测性将这些盲区转化为答案。它能告诉你谁在使用你的加速器、它们是否健康、浪费让你付出了多少成本,一路深入到单个设备。这样,你只需修复一个有问题的 GPU 而不是八个,将加速器预算花在真正的工作上,而不是闲置容量上。

Amazon CloudWatch accelerated compute insights 是在 KubeCon North America 2026 上发布的一项新能力,它为你整个集群中的每个加速器提供统一的运维视图。它向平台团队和 AI 团队展示谁在跨 Amazon Elastic Kubernetes Service(Amazon EKS)使用他们的 GPU 和 AWS AI Accelerators 容量。在本文中,我们介绍 accelerated compute insights 的功能、它在 Amazon EKS 上的工作原理,以及如何开始使用。

accelerated compute insights 的功能

Accelerated compute insights 为你整个集群中的每个加速器提供统一的运维视图。它展示每个加速器的使用方式,在故障和瓶颈发生时进行检测,估算每个问题的成本影响,并将这些发现与解决问题的操作关联起来。

“Accelerated compute insights 将加速器遥测、工作负载边界和定价数据整合在一起,这种组合是只能看到指标的监控工具无法复制的。”

在 Amazon EKS 上,它支持 NVIDIA GPU 以及 NVIDIA GPU、AWS Trainium 和 AWS Inferentia。来自 NVIDIA GPU 和 Inferentia 的指标被归一化为统一 schema,并呈现在单一的 Accelerator Health 视图中,因此运行混合集群的团队可以在一个地方管理所有加速器类型。

带 Kubernetes 上下文的集群可见性

EKS 集群中的每个加速器都丰富了 Kubernetes 元数据:pod、namespace、node、node group 和自定义标签(团队、应用)。你可以查看整个集群中按团队和工作负载划分的利用率。

Accelerated Compute Insights 自动检测 MIG(Multi-Instance GPU)分区的 GPU,并显示每个 MIG 实例的利用率和内存,以及使用它的 pod。它还通过读取设备标签来识别其他分区方案,包括 Kubernetes DRA(dynamic Resource allocation)和时间切片。无需任何配置。

成本浪费识别

Accelerated compute insights 将实时加速器遥测与工作负载边界事件和 AWS 定价数据关联起来,以呈现三类可回收的浪费:

  • 规格调整机会:工作负载运行在比任务所需更强大的实例上。
  • 训练效率差距:tensor core(MFU)利用率相对于该工作负载自身的历史基线偏低,表明任务没有从硬件中获得全部价值。
  • 推理低于硬件容量:端点服务的请求数少于硬件支持的数量,基于客户发出的吞吐量与设备利用率的相关性判断。

对于每项发现,accelerated compute insights 会识别具体负责的工作负载或节点,帮助用户进行故障排查和优化。这之所以可行,是因为 accelerated compute insights 将加速器遥测、工作负载边界和定价数据整合在一起,这种组合是只能看到指标的监控工具无法复制的。

注意:CloudWatch accelerated compute insights 是一个运维工具,不是计费或成本分摊工具。成本数字是估算值,旨在指导运维决策。如需权威的成本和使用量核算,请继续使用 AWS Cost Explorer 和 AWS Cost and Usage Report。

设备级修复

当推理工作负载出现性能下降或 token 生成效率低下时,accelerated compute insights 帮助识别 GPU 瓶颈、低效的加速器利用率和潜在的资源浪费。通过自动收集并关联推理性能指标、请求追踪、日志和加速器遥测,它提供对工作负载性能和 GPU 效率的端到端可见性。借助 AI 驱动的洞察和故障排查能力,客户可以快速识别根因、优化 token 吞吐量、降低推理延迟,并在不中断健康工作负载的情况下提高加速器利用率。

“它区分了需要采取不同操作的故障模式。默认情况下,agent 会呈现一个具体的、有证据支持的操作计划供你批准。”

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →