DVC：帮助开发可复现机器学习项目的命令行工具与VS Code扩展

网站 • 文档 • 博客 • 教程 • 相关技术 • DVC 工作原理 • VS Code 扩展 • 安装 • 贡献 • 社区与支持 Data Version Control（简称 DVC）是一个命令行工具兼 VS Code 扩展，帮助你开发可复现的机器学习项目： 完整的命令列表请参阅我们的命令参考文档。 常见的 CLI 工作流程包括： 我们建议你阅读入门文档，以便更好地理解 DVC 的功能以及它如何适配你的使用场景。 要描述 DVC 的主要特性，最贴切的类比是： Git 照常用于存储代码并进行版本管理（包括作为数据占位符的 DVC 元文件）。 DVC 将数据和模型文件无缝地存储在 Git 之外的缓存中，同时保持与它们位于仓库中几乎一致的用户体验。 为了共享和备份数据缓存，DVC 支持多种远程存储平台——任意云存储（S3、Azure、Google Cloud 等）或本地网络存储（例如通过 SSH）。 DVC 流水线（计算图）将代码和数据连接在一起。 它们指定了生成模型所需的所有步骤：包括代码、数据、要运行的命令等输入依赖，以及需要保存的输出信息。 最后同样重要的是，DVC 实验版本管理让你能够准备并运行大量实验。 实验结果可以基于超参数和指标进行筛选和比较，并通过多种图表进行可视化。 如果想直接在 VS Code IDE 中以 GUI 方式使用 DVC，请从 Marketplace 安装 DVC 扩展。 该扩展目前提供实验跟踪和数据管理功能，更多功能（如数据流水线支持等）即将推出！ 安装 DVC 有多种方式：在 VS Code 中安装；使用 snap、choco、brew、conda、pip；或使用特定操作系统的安装包。 完整说明请见此处。 snap install dvc --classic 这对应最新的正式发布版本。 添加 --beta 可获取最新的候选发布版本，添加 --edge 可获取最新的 main 分支版本。 brew install dvc Anaconda（任意平台） conda install -c conda-forge mamba # 安装速度比 conda 快得多 mamba install -c conda-forge dvc 根据你计划用于保存和共享数据的远程存储类型，你可能需要安装可选依赖：dvc-s3、dvc-azure、dvc-gdrive、dvc-gs、dvc-oss、dvc-ssh。 pip install dvc 根据你计划用于保存和共享数据的远程存储类型，你可能需要指定其中一个可选依赖：s3、gs、azure、oss、ssh。或者用 all 将它们全部包含。 命令应如下所示：pip install 'dvc[s3]'（在这种情况下，boto3 等 AWS S3 依赖会被自动安装）。 pip install "dvc @ git+https://github.com/treeverse/dvc" 安装包（特定平台） 提供适用于 Linux、Windows 和 Mac 的自包含安装包。 最新版本的安装包可在 GitHub releases 页面找到。 sudo wget https://dvc.org/deb/dvc.list -O /etc/apt/sources.list.d/dvc.list wget -qO - https://dvc.org/deb/iterative.asc | sudo apt-key add - sudo apt update sudo apt install dvc Fedora / CentOS（rpm） sudo wget https://dvc.org/rpm/dvc.repo -O /etc/yum.repos.d/dvc.repo sudo rpm --import https://dvc.org/rpm/iterative.asc sudo yum update sudo yum install dvc 贡献 欢迎贡献！ 更多详情请参阅我们的贡献指南。 感谢所有贡献者！ Twitter 论坛 Discord 聊天 电子邮件 邮件列表 版权 本项目在 Apache 许可证 2.0 版下分发（见项目根目录下的 LICENSE 文件）。 向本项目提交 pull request，即表示你同意将你的贡献以 Apache 许可证 2.0 版授权给本项目。 Iterative, DVC: Data Version Control - Git for Data & Models (2020) DOI:10.5281/zenodo.012345. Barrak, A., Eghan, E.E. and Adams, B. On the Co-evolution of ML Pipelines and Source Code - Empirical Study of DVC Projects , in Proceedings of the 28th IEEE International Conference on Software Analysis, Evolution, and Reengineering, SANER 2021. Hawaii, USA.