Sentinel AI Gateway 发布：开源 LLM 防火墙，可逆脱敏 PII 并做 FinOps 路由
来源标题：Open-source LLM Firewall with reversible PII scrubbing and FinOps routing
Sentinel AI Gateway 是一个开源、超低延迟的 LLM 代理，部署在企业内部微服务与 OpenAI、Anthropic、AWS Bedrock 等外部模型之间，解决数据泄露与 API 成本失控两大问题。它可剥离邮箱、信用卡号、SSN 和 API 密钥等敏感信息并本地加密存储，响应时再还原；同时按复杂度将请求路由到本地 Llama-3 8B 或云端 GPT-4o、Claude，并支持语义缓存。
以下正文由 AI 翻译自 Hacker News 最新（原文版权归原站所有），可能存在偏差，重要内容请以原文为准。
企业级 LLM 防火墙、零信任 PII 清洗器与 FinOps 路由引擎
Sentinel AI Gateway 是一款轻量级、超低延迟的代理，专为采用生成式 AI 的企业而设计。它位于企业内部微服务/员工与外部 LLM 提供商（OpenAI、Anthropic、AWS Bedrock）之间，解决企业 AI 面临的两大障碍：数据泄露（DLP）和 API 成本失控（FinOps）。
graph LR A[内部应用 / 员工] -->|包含敏感信息的原始 Prompt| B(Sentinel Gateway) subgraph 零信任企业边界 B --> C{PII 与敏感信息清洗器} C -->|本地保管 PII| D[(加密内存保险库)] C -->|已脱敏 Prompt| E{语义缓存与 FinOps 路由器} end E -->|缓存命中：成本 $0| B E -->|低复杂度| F[本地 Llama-3 8B] E -->|高复杂度| G[云端 GPT-4o / Claude] F --> D G --> D D -->|将 PII 还原到响应中| A Loading 💼 商业价值与 ROI（为什么选择 Sentinel？） 企业挑战 传统做法 Sentinel AI Gateway 的做法 业务影响 数据隐私（GDPR、HIPAA、SOC2） 完全禁止 AI，或依赖法律保密协议 自动可逆令牌化：在离开网络之前剥离邮箱、信用卡号、SSN 和 API key。 对第三方模型提供商 0% PII 泄露。 API 账单失控 对开发者实施严格限流 语义缓存与智能路由：将简单任务路由到廉价的本地模型，并缓存重复查询。 每月 LLM 推理支出最多降低 45%。 供应商锁定 在 50+ 个微服务中重写 SDK 统一的 OpenAI 兼容端点：通过一个配置文件切换提供商。 在 AI 供应商之间迁移的速度提升 10 倍。 ⚡ 快速开始（Docker） 在 30 秒内完成网关部署： git clone https://github.com/67spp/sentinel-ai-gateway.git cd sentinel-ai-gateway docker build -t sentinel-gateway . docker run -p 8000:8000 sentinel-gateway 启动后，可在 http://localhost:8000/docs 浏览交互式 Swagger UI 文档。
- 出站请求（来自你的开发者）：
curl -X POST "http://localhost:8000/v1/chat/completions"
-H "Content-Type: application/json"
-d '{ "prompt": "Send invoice to ceo@enterprise.com using card 4532-1111-2222-3333
正文由 探How 从来源站点 RSS 同步，内容未经改写；遇到排版缺失或需要图片、视频时请以原文为准。