
开源项目发布 Resilient AI Worker Kit:基于 Redis 与 BullMQ 的 AI 任务队列,支持模型故障切换和预算熔断
来源标题:Show HN: Resilient AI Worker Queue with Redis, BullMQ, and Budget Kill Switches
开发者发布 Resilient AI Worker Kit,一个基于 Redis 和 BullMQ 的高吞吐、容错 AI 代理队列生产模板。它支持在 OpenAI 出错或超时时自动切换到 Anthropic、Groq、Ollama 等备用模型,并通过 Redis 实时追踪 token 消耗,在触及预算上限前强制终止任务。内置死信队列、带抖动的指数退避重试和并发限制,并提供结构化日志以接入 Datadog、Grafana Loki 或 CloudWatch。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
为高吞吐、容错的 AI agent 队列提供一个经过生产环境检验的模板,支持自动模型故障转移、指数退避和 token 预算熔断开关。
大多数 AI worker 队列在生产环境中失败,原因在于:
Resilient AI Worker Kit 开箱即用地解决了这些问题。
🔄 多提供商故障转移路由:在出错或超时时,自动将请求从主模型(OpenAI)切换到备用模型(Anthropic、Groq、Ollama)。
🛑 基于 Redis 的预算熔断开关:实时跟踪 token 消耗,在超出每日/每月支出限额之前强制停止任务。
📬 BullMQ + Redis 工作流:内置死信队列、带抖动的指数退避重试和并发限制。
📊 结构化日志:可直接接入 Datadog、Grafana Loki 或 CloudWatch。
🚀 快速开始
-
安装 git clone https://github.com/your-org/resilient-ai-worker-kit.git cd resilient-ai-worker-kit npm install
-
环境配置 cp .env.example .env
-
运行流水线 npm run dev
🏗️ 架构
flowchart LR A[Client Request] --> B[BullMQ Job Queue] B --> C[Budget Pre-Check] C -- Exceeds Budget --> D[Reject / Kill Switch] C -- Within Budget --> E[Resilient Router] E -- Primary 429/500 --> F[Fallback Model] E -- Primary Success --> G[Worker Output] F --> G G --> H[Record Atomic Token Usage] Loading
📄 许可证与商业访问
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。