DGX Model Manager：在DGX Spark上自托管部署本地大模型的开源工具

DGXMM 是一个自托管的 Web 应用，用于在 NVIDIA DGX Spark（GB10，128 GB 统一内存）或类似的单 GPU Linux 机器上运行本地 LLM（参见支持的硬件）。它把磁盘上的模型部署为 vLLM 或 llama.cpp 容器，每次启动前都会检查模型能否与当前已运行的所有内容一起装进内存，并通过一个带虚拟密钥、兼容 OpenAI 的 LiteLLM 端点统一对外服务。一个可选的小型本地决策模型会提供建议（例如启动为什么失败、该用哪个配置、引擎、解析器或 draft 模型、某个部署是否健康、何时可以休眠），但始终在 DGXMM 自身规则之后给出，并且未经你确认绝不会执行。它以单个容器运行，一条命令即可安装。文档：https://nikghodki.github.io/dgxmodelmanager/

内存安全的部署：每次部署都会先对照统一内存预算进行预览；当模型装不下时，DGXMM 会给出方案，在你确认之前不会执行任何操作。

支持 vLLM 和 llama.cpp，可切换和重新配置并自动回滚，引擎逐个启动。

所有部署共用一个 LiteLLM 端点，带虚拟密钥（使用你的 LiteLLM 或内置的一个）。

按需模型：模型可以在收到第一个请求时启动，并在空闲几分钟后再次停止，从而在内存紧张时腾出空间或排队。它通过 DGXMM 的 Docker 网络经由 LiteLLM 工作，因此新部署默认始终在线，除非你主动选择按需模式（当 LiteLLM 已配置时，部署向导会预选该模式）。参见按需模型。

一个可选的决策模型，为 16 项建议功能提供支持，包括来自后台检查的洞察、根据流量提出的调度建议，以及命令面板中的 ⌘K Ask。

可观测性与管理：实时指标、调优建议、基准测试、进程列表、管理员和查看者角色以及审计日志。参见全部功能和截图。

在带 NVIDIA GPU 的 Linux 上，需要 Docker（含 Compose 插件）和 NVIDIA runtime（要求）：

git clone https://github.com/nikghodki/dgxmodelmanager.git && cd dgxmodelmanager && ./install.sh

打开它打印出的 URL，用打印的密码以 admin 身份登录。添加 --with-litellm 可获得内置的 LiteLLM 端点，--with-decider 可启用决策模型，--dry-run 可先查看它将执行什么操作。接下来：安装选项、首次登录和升级。

在 2026-10-18 之前克隆的？仓库历史已被重写，因此 ./install.sh upgrade 会拒绝快进较旧的克隆。先用 git fetch && git reset --hard origin/main 迁移一次，然后运行 ./install.sh（你的 .env、config.yaml、secrets/ 和 data/ 保持原样；参见历史重写之前的克隆）。

章节 涵盖内容 快速开始 功能、要求和支持的硬件、安装、首次登录、升级、卸载 用户指南 逐页介绍 UI：仪表盘、模型与目录、部署、部署实例、洞察、调度、⌘K、决策模型、LiteLLM、进程、用户、设置 架构 组件、请求与数据流、内存预算、部署器、决策模型、任务引擎、调度运行器、数据模型、前端 配置 每一项设置及其默认值 运维 备份、日志、管理员命令行、故障排查 安全 威胁模型、加固、安全策略 评估 决策模型的 16 项功能在真实数据上的测量结果 本站点由 docs/ 构建（参见 docs/README.md）。

DGXMM 挂载了 Docker socket，以便启动引擎容器：拥有该 socket 的访问权限等同于拥有宿主机上的 root 权限，因此只应把 admin 角色授予你愿意信任其拥有 root 权限的人，并让 UI 远离公网。参见安全概览。

报告漏洞：请不要开公开 issue。请按照 SECURITY.md 中所述使用 GitHub 的私密漏洞报告，其中也列出了适用范围。

欢迎通过 issue 提交 bug 报告和功能请求：表单会询问复现问题所需的信息（版本、宿主机和 GPU、./install.sh status、日志）。开发环境搭建、测试套件和代码结构见 CONTRIBUTING.md；变更日志见 CHANGELOG.md。