微软开源DACS：数据加载停滞率从14%降至0.1%

新闻 2025年11月5日 2分钟阅读 借助开源的云存储分布式加速器，加速推理和训练中的数据访问 作者：Maneesh Sah，查看该作者的全部文章；Vipul Modi，查看该作者的全部文章 收听本文 / 1x 分享 链接已复制到剪贴板！ 标签 Azure Kubernetes Service GitHub Helm 内容类型 新闻 主题 AI + 机器学习 云 微软正在开源云存储分布式加速器（DACS）：一个面向 AI 工作负载的缓存系统。它利用 Kubernetes 集群中 GPU 节点上的本地 NVMe 或 SSD 存储，将数据拉近到 GPU 附近，同时 Azure Blob Storage 仍然是持久化的真实数据源。

DACS 简介 DACS 是 Kubernetes 原生且集群本地的。受支持的客户端请求读取某个制品的 blob 分块。如果该 blob 分块已被缓存，DACS 就直接从缓存存储中返回；如果未命中，客户端则从 Azure Blob Storage 读取，并填充缓存以供后续读取。这一读取路径适用于大型、不可变或带版本的制品，包括模型权重、数据集和检查点快照。

这项技术正在为微软内部的大规模 AI 工作负载提供支撑。开源让其他人可以审视其设计、在自己的环境中试用，并帮助塑造后续的发展方向。它还为社区提供了一个共同的起点来解决重复数据读取的问题，而不必让每个团队各自构建自己的缓存。

训练场景：在一次大规模音频训练评估中，从热缓存读取减少了长尾数据集加载延迟，并帮助一个此前不稳定的工作负载完成了一次训练运行。停滞至少五秒的数据集加载操作占比从 14% 降至 0.1%。

推理场景：在启动时，AI 推理作业会将模型权重加载到加速器内存中。当多个作业同时启动时，每个作业都可能从 Azure Blob Storage 获取相同的权重，从而增加网络流量、触发限流，并在加速器空闲等待时拖延启动。像 DACS 这样的分布式缓存让读取方可以复用已经拉入 Kubernetes 集群的模型权重，从而减少加速器在首个推理请求之前等待模型加载的时间。

这些例子说明了我们为何要分享 DACS：帮助团队减少等待数据的时间，把更多时间用在推进工作上。目标很简单：减少重复读取，而不取代所有 AI 工作负载的持久化存储。

首个版本包括缓存服务器、原生 C/C++ 客户端，以及 Python 和 Rust 客户端封装。还包括用于部署的 Helm charts 和 Kubernetes controller、以太网和 InfiniBand 传输、健康探针以及 Prometheus 指标。当前的存储集成使用 Azure Blob Storage；其他存储提供商是未来贡献的机会。

从一个可信的 Kubernetes 集群开始，其中包含具备本地 NVMe 或 SSD 存储的合格节点，然后使用 DACS 客户端进行集成。该版本不隔离互不信任的租户。有关兼容性、配置和部署指南，请查阅仓库的 README。

访问 DACS 仓库：https://github.com/Azure/dacs 从 README、Helm charts 和部署示例开始，包括静态扩展和节点感知扩展。选择一个存在重复制品读取的工作负载。在启用 DACS 前后，对比其数据加载延迟以及训练或服务行为。记录缓存是冷还是热。分享你的配置和发现，以便他人复现。

未来可能的方向包括与 Azure Kubernetes Service 和 BlobFuse 集成、更多框架集成，以及对更多存储提供商的支持。这些方向仍在考虑中，首个版本尚不提供。

用一个会重复读取大型制品的工作负载试用 DACS，并在 GitHub 仓库中分享你的测量结果、反馈和问题。社区在框架集成、存储后端、客户端和文档方面的贡献可以帮助塑造未来的版本。

DACS 是 Azure AI Platform 与 Azure Storage 合作的成果。我们感谢参与其中的工程师、评审人员和早期采用者。

企业副总裁兼杰出工程师，AI 基础设施，云 + AI 事业部