返回资讯中心
外部精选
软件工程
#开发者实时流

开源项目发布 Resilient AI Worker Kit:基于 Redis 与 BullMQ 的 AI 任务队列,支持模型故障切换和预算熔断

来源标题:Show HN: Resilient AI Worker Queue with Redis, BullMQ, and Budget Kill Switches

开发者发布 Resilient AI Worker Kit,一个基于 Redis 和 BullMQ 的高吞吐、容错 AI 代理队列生产模板。它支持在 OpenAI 出错或超时时自动切换到 Anthropic、Groq、Ollama 等备用模型,并通过 Redis 实时追踪 token 消耗,在触及预算上限前强制终止任务。内置死信队列、带抖动的指数退避重试和并发限制,并提供结构化日志以接入 Datadog、Grafana Loki 或 CloudWatch。

Hacker News 最新sidsri12342026/11/5 · 12 天前3 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

为高吞吐、容错的 AI agent 队列提供一个经过生产环境检验的模板,支持自动模型故障转移、指数退避和 token 预算熔断开关。

大多数 AI worker 队列在生产环境中失败,原因在于:

Resilient AI Worker Kit 开箱即用地解决了这些问题。

🔄 多提供商故障转移路由:在出错或超时时,自动将请求从主模型(OpenAI)切换到备用模型(Anthropic、Groq、Ollama)。

🛑 基于 Redis 的预算熔断开关:实时跟踪 token 消耗,在超出每日/每月支出限额之前强制停止任务。

📬 BullMQ + Redis 工作流:内置死信队列、带抖动的指数退避重试和并发限制。

📊 结构化日志:可直接接入 Datadog、Grafana Loki 或 CloudWatch。

🚀 快速开始

  1. 安装 git clone https://github.com/your-org/resilient-ai-worker-kit.git cd resilient-ai-worker-kit npm install

  2. 环境配置 cp .env.example .env

  3. 运行流水线 npm run dev

🏗️ 架构

flowchart LR A[Client Request] --> B[BullMQ Job Queue] B --> C[Budget Pre-Check] C -- Exceeds Budget --> D[Reject / Kill Switch] C -- Within Budget --> E[Resilient Router] E -- Primary 429/500 --> F[Fallback Model] E -- Primary Success --> G[Worker Output] F --> G G --> H[Record Atomic Token Usage] Loading

📄 许可证与商业访问

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →