
Daptin 新增 LLM Router 功能,可通过统一账号管理多模型访问
来源标题:Daptin Plus an LLM Router
Daptin 现在支持运行自建 LLM Router,可连接不同 LLM 提供商并按用户和群组开放模型访问。每个账号可设置请求上限、token 配额和支出预算,提供商、模型、路由、套餐及用量记录均可通过 Daptin 的资源 API 查看和修改。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
代码
Issues16(16)
Pull requests11(11)
Discussions
Actions
Wiki
Security and quality28(28)
Insights
更多条目
LLM Router 操作指引
跳转到底部
github-actions[bot] 于 2026年11月14日 编辑了此页面
·
1 个修订版本
Daptin 负责处理用户、权限、数据和 API。现在,你还可以用它来运行自己的 LLM 路由器。连接不同的 LLM 提供商,对外暴露你想要提供的模型,并让用户通过他们在你的应用中使用的同一套账户和组来访问这些模型。每个账户都可以有一个套餐,其中包含请求限制、token 额度和支出预算。提供商、模型、路由、套餐和使用记录都可以通过 Daptin 的资源 API 来访问,因此你可以随时查看和修改配置。
让 Daptin 运行起来:用持久化存储启动一个 Docker 容器,并确认服务器已就绪。
设置身份认证:创建第一个账户,登录,认领管理员权限,并获取我们用于配置的 token。
连接我们的第一个模型:配置一个 OpenRouter 凭证,创建一个提供商,并通过一个名为 assistant 的模型对外暴露 GPT。这会引入路由背后的三个资源:providers、models 和 deployments。
创建一个普通用户:创建一个用户账户和一个组,授予该组调用 assistant 的权限,并确认访客仍然被拒绝。我们还会撤销访问权限并再次尝试请求。
添加一个回退方案:将 Gemini 连接到同一个公开模型名,然后禁用主部署,观察回退方案如何处理请求。
尝试流式传输:分别以流式和非流式方式执行同一个请求,以便观察响应有何不同。
保存一次对话:对话续接:保留一个响应并从其 ID 继续,由 Daptin 为我们加载先前的对话。
向 LLM 发送图片:启用图片输入,并发送一个同时包含文本和图片 URL 的请求。
为用户配置预算:创建一个套餐,将其成员资格分配给该账户,配置模型价格,并检查记录的使用情况。还要测试耗尽限制,并确认 Daptin 会拒绝下一个请求。
设置运维限制:配置容量限制和基于 IP 的 HTTP 速率保护,并说明这些限制与用户套餐有何不同。
在本操作指引中,我们将使用 curl(不过所有配置也都可以通过内置的 Web 仪表盘完成),并沿途给出实际响应和检查。你可以在本地的 daptin 实例上从上到下跟随每一处配置变更。
响应示例只展示该步骤相关的字段。展开“完整响应”可查看完整响应。全文中的 JWT 均以占位符代替;请从你的登录响应中复制你自己的 token。
docker pull daptin/daptin:latest
创建一个 Docker 卷,用于持久化我们将用于本地设置的 sqlite 数据库(生产环境建议使用 postgres)
docker volume create daptin-router-data
docker run -d
--name daptin-router
--restart unless-stopped
-p 127.0.0.1:6336:8080
-v daptin-router-data:/var/lib/daptin
-e DAPTIN_DB_TYPE=sqlite3
-e DAPTIN_DB_CONNECTION_STRING=/var/lib/daptin/daptin.db
-e DAPTIN_DISABLE_SMTP=true
daptin/daptin:latest
Docker 日志应会给出类似以下内容
INFO[2026-11-13 06:51:48] Our admin is [No one]
INFO[2026-11-13 06:51:48] Listening at: [:8080]
完整启动日志摘录
. (为简洁起见已截断)
.
.
INFO[2026-11-13 06:51:48] [/live/contact/:referenceId/content/yjs] YJS websocket endpoint for contact[content]
INFO[2026-11-13 06:51:48] Listening websocket server at ... /live
WARN[2026-11-13 06:51:48] Failed to execute query 789: SELECT u.email FROM user_account_user_account_id_has_usergroup_usergroup_id AS uu LEFT JOIN user_account AS u ON (uu.user_account_id = u.id) WHERE (uu.usergroup_id = ?) ORDER BY uu.created_at ASC LIMIT ? == [2 1]
WARN[2026-11-13 06:51:48] Failed to scan user group id from the result 830: sql: no rows in result set
INFO[2026-11-13 06:51:48] Our admin is [No one]
INFO[2026-11-13 06:51:48] [ProcessId=1] Listening at port: :8080
INFO[2026-11-13 06:51:48] [198] No config value set for [enable_https]: sql: no rows in result set
INFO[2026-11-13 06:51:48] [198] No config value set for [http.read_header_timeout_seconds]: sql: no rows in result set
INFO[2026-11-13 06:51:48] [198] No config value set for [http.idle_timeout_seconds]: sql: no rows in result set
INFO[2026-11-13 06:51:48] HTTPS is disabled
INFO[2026-11-13 06:51:48] Listening at: [:8080]
你也可以调用 /ready 端点,通过 API 检查服务器是否已启动并准备好处理请求。
创建你的账户
先注册并设置管理员账户:
curl http://localhost:6336/action/user_account/signup
-H 'Content-Type: application/json'
-d '{
"attributes": {
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。