NVIDIA 开源 NVKE 和 NVKR,支持在 GPU 裸金属服务器上运行托管 Kubernetes
来源标题:NVIDIA Open-Sources NVKE and NVKR for Managed Kubernetes on GPU Infrastructure
NVIDIA 以 Apache 2.0 协议开源了 NVIDIA Kubernetes Engine(NVKE)和 NVIDIA Kubernetes Recipes(NVKR),两者均处于公开预览阶段。它们让 AI 工厂可在自有 GPU 裸金属服务器上运行托管 Kubernetes 服务:NVKE 提供管理面,NVKR 负责构建集群依赖的 OS 镜像、容器镜像和软件包。节点镜像支持 amd64 和 arm64。
以下正文由 AI 翻译自 MarkTechPost(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
NVIDIA 发布了 2 个用于在 GPU 基础设施上运行托管 Kubernetes 的开源项目:NVIDIA Kubernetes Engine(NVKE)和 NVIDIA Kubernetes Recipes(NVKR)。两者近期均作为 NVIDIA DSX AI Factory Platform 的组件公布。NVKE 是托管 Kubernetes 服务的控制平面。NVKR 负责构建这些集群所依赖的操作系统镜像、容器镜像和软件包。两者均以 Apache 2.0 许可发布,处于公开预览阶段。
概要
- 规模 / 占用:管理集群需要 3 台 CPU 服务器,每个工作负载控制平面需要 3 台 CPU 服务器,外加一组 GPU 工作节点。本地评估需要 6 个 CPU、12 GiB 内存、100 GiB 磁盘,无需 GPU。
- 运行环境:通过 NVIDIA Infra Controller(NICo)供应的自有 NVIDIA GPU 裸金属服务器。节点镜像可为 amd64 和 arm64 构建。
- 性能:未公布吞吐量或供应时间基准。质量信号来自认证,而非速度。
- 最佳之处:Certified Kubernetes AI Platform 和 Certified Kubernetes Installer,已在 Kubernetes 1.36 上通过一致性测试。
- 最差之处:安装后,NVKE API 在 30080 端口以明文 HTTP 提供服务且认证关闭,并且没有管理平面升级或备份流程。
- 总结:最好的一点:面向 GPU 云的开源、可认证、上游 Kubernetes。最差的一点:预览级的安全与生命周期缺口;尚不适用于生产环境。
什么是 NVIDIA Kubernetes Engine(NVKE)?
NVKE 是一款开源软件,AI 工厂安装它即可在自有 NVIDIA GPU 基础设施上运行托管 Kubernetes 服务。该仓库称其为“Kubernetes 集群的自托管工厂”,而非发行版。它在管理集群上暴露 REST API 和控制器。客户获得标准集群并使用 kubectl。运维人员通过 NVKE API 或 nvkectl CLI 管理它们。 NVKE 使用上游 Kubernetes、kubeadm 和 Cluster API。它用 Go 编写,运行时并不依赖 NVKR。
NVIDIA Kubernetes Recipes(NVKR)做什么?
NVKR 是一个带有声明式 Definition 的构建系统。它为 amd64 和 arm64 生成可执行文件、容器镜像、Helm chart 和节点镜像。“Recipe”定义了经过验证的软件版本与 GPU 代际组合。托管工作流会将签名、SBOM 和来源信息附加到固定摘要的 OCI 引用上。NVKR 也可为其他 Kubernetes 管理系统构建工件。
NVKE 架构如何工作?
NVIDIA 技术博客的讲解描述了 5 个阶段:
- 引导:nvkectl bootstrap site 在引导主机上启动一个临时的单节点 kind 集群。
- 管理集群:NVKE 向 NICo 申请 3 台服务器,NICo 用节点镜像启动它们。随后临时集群被删除。
- 机器供应:NICo 处理裸金属生命周期。CAPNICo 作为 Cluster API provider,将 NICo 与 NVKE 连接起来。
- 发布集:运维人员发布机器镜像、集群发布和节点池发布。客户按名称选择发布。
- 工作负载集群:每个客户集群都有自己的控制平面、etcd 和节点池。NVKE 安装 OVN-Kubernetes 和 NodeLocal DNSCache。 节点必须先出示经过认证的 SPIFFE 身份,才能获得加入凭据。README 称 SPIRE 为此使用 TPM。支持按集群的 etcd 加密。基于 OpenTelemetry 的 Helm chart 通过 OTLP 导出日志、指标和追踪。 在工作负载集群内部,接入了 3 个配套项目:用于 GPU 运行时的 AI Cluster Runtime(AICR)、用于节点软件包的 NodeWright,以及用于故障修复自动化的 NVSentinel。
NVKE 与 Gardener 和 Kamaji 相比如何?
NVKE + NVKR(NVIDIA)Gardener(SAP)Kamaji(Clastix) 定位托管 Kubernetes 管理平面加构件构建器Kubernetes 集群即服务托管控制平面管理器 控制平面模型每集群专用:自有控制平面、etcd、节点池以 Pod 形式运行在 seed 集群中以 Pod 形式运行;可使用共享 Datastore 目标基础设施通过 NICo 的 NVIDIA GPU 裸金属AWS、Azure、GCP、OpenStack、Alicloud(一致性表);可扩展与 Cluster API provider 配合使用 许可证Apache 2.0Apache 2.0Apache 2.0 一致性Certified Kubernetes AI Platform 和 Installer;已在 1.36 上测试认证至 v1.35被描述为符合 CNCF 规范 节点身份基于 TPM 的 SPIFFE/SPIRE 认证未披露未披露 签名构建流水线有(NVKR:签名、SBOM、来源信息)未披露未披露 成熟度公开预览,不适用于生产自称生产就绪未披露
谁在采用 NVKE 和 NVKR?
NVIDIA 云合作伙伴 Firmus 和 SK Telecom 正在将这两个项目集成到 AI 工厂中。Mirantis、Rafay、Spectro Cloud、OpenNebula Systems 和 vCluster 正在为托管 Kubernetes 产品添加组件。Netris 正在为其网络自动化启用 NVKE。
如何试用 NVKE?
本地快速入门可在 1 台 Linux 主机或虚拟机上运行,支持 amd64 或 arm64。它需要至少 6 个 CPU、12 GiB 可用内存、100 GiB 可用磁盘、Docker 和虚拟 TPM 支持。无需 GPU 或 NVIDIA 账户。实际安装需要已注册容量的 NICo 部署、带 KVM 的构建主机、HTTP 服务器和 registry。 NVKR 尚无合格的 Release。
要点
- NVKE 管理集群;NVKR 构建并签名它们运行的内容。
- 两者均为 Apache 2.0,处于公开预览,不适用于生产环境。
- 已在 Kubernetes 1.36 上通过一致性测试,具备 TPM 认证的节点身份。
- 默认 API 为 30080 端口上的 HTTP,认证关闭。
- 本地评估需要 6 个 CPU、12 GiB 内存,无需 GPU。 查看 NVKE 仓库、NVKR 仓库、文档和技术博客。你可以通过我们的 GPULeaderboard.com chrome 扩展在此查看部署选项和规格。 另外,欢迎在 Twitter 上关注我们,别忘了加入我们 150k+ 的 ML SubReddit 并订阅我们的 Newsletter。等等!你在 Telegram 上吗?现在你也可以在 Telegram 上加入我们。 需要与我们合作推广你的 GitHub 仓库或 Hugging Face 页面或产品发布或网络研讨会等?联系我们
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。