
Langfuse 发布开源 Rust AI Gateway,追踪每次 LLM 调用
来源标题:Show HN: Langfuse AI Gateway, open source rust gateway to trace every LLM call
Langfuse 推出 AI Gateway 测试版,一个用 Rust 编写的开源网关,用于追踪每一次 LLM 调用。该产品源于社区强烈需求,定位为可扩展、可靠且安全的网关方案,代码已在 GitHub 开源。Langfuse 此前以 agent 可观测性与评测工具闻名。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
大家好,我是 Max、Marc 和 Clemens,Langfuse 的联合创始人。Langfuse 是一个用于 agent、可观测性与评估的开源工具(https://github.com/langfuse/langfuse)。距离我们上一次在 2023 年 8 月发布 Show HN(https://news.ycombinator.com/item?id=37310070)已经过去一段时间了——过去几年我们一直忙于构建和完善 tracing 与评估相关功能,也很幸运地围绕它打造出了一家成功的公司和开源项目。今天,我们很高兴展示 Langfuse AI Gateway 的 beta 版本:https://github.com/langfuse/langfuse/tree/main/ai-gateway。你可能会问,为什么我们的第二个产品是一个 AI Gateway:这是社区呼声最高的需求之一,也是我们观察到的常见集成模式。我们希望像过去几年做 tracing/评估那样,为网关这一使用场景提供一个可扩展、可靠且安全的解决方案。另外,我们最近也吸纳了几位优秀的新成员,敬请期待我们更多更大的投入。
我们现有的可观测性 SDK 只能看到你插桩过的代码。而一家公司的模型流量中,有相当一部分跑在无法或难以插桩的代码里:比如 Pi、Claude Code、Codex 这类 coding agent,内部工具、脚本等等。第三方网关早已是将 trace 发送到 Langfuse 的流行方式,我们很高兴现在能原生提供一个。
你只需修改 base URL 和 API key。Langfuse AI Gateway 会用 provider key 转发原始请求,而这个 key 无需在团队内部分发。目前,它不做 API 之间的转换,响应会原样转发。这是有意为之,目的是保证网关用户的稳定性,因为例如 OpenAI responses 与 Anthropic messages 之间的转换并不完美,可能会在你的 agent 中引发不易察觉的故障。
如果你传入 traceparent header,这次调用就会落在你已有的 Langfuse trace 中。
你可以这样试用:先 docker compose 启动 langfuse,然后访问 http://localhost:3000 --git clone https://github.com/langfuse/langfuse.git cd langfuse docker compose up
在 Cloud 版本上,每次调用都会成为一个 Langfuse generation,记录 tokens、成本、延迟和首 token 时间。如果你选择开启,prompt 和输出也会被记录。如果你是自托管,你也可以选择什么都不追踪,甚至连 metadata 都不记录。
一些细节:
- 用 Rust 编写。无状态、无数据库;只与 Langfuse 平台和各 provider 通信。
- Docker 镜像 22MB。开启 tracing 时中位开销低于 3ms,2 vCPU 上可支持 1,000+ 并发流。
- MIT 许可。可用 Docker Compose 或 Helm 自托管,也可使用我们的 Cloud 版本。
- 你的 provider key 和合同归你。我们不转售 tokens。
下一步计划?
- 按 key、用户、团队设置预算上限
- 自定义模型别名和 fallback
- Guardrails
- PII 脱敏
- SCIM 用户同步
我们会一直在线,期待大家的提问和评论。
评论 URL: https://news.ycombinator.com/item?id=50484682 Points: 2
Comments: 0
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。