返回资讯中心
外部精选
软件工程
#开发者实时流

Langfuse 发布开源 Rust AI Gateway,追踪每次 LLM 调用

来源标题:Show HN: Langfuse AI Gateway, open source rust gateway to trace every LLM call

Langfuse 推出 AI Gateway 测试版,一个用 Rust 编写的开源网关,用于追踪每一次 LLM 调用。该产品源于社区强烈需求,定位为可扩展、可靠且安全的网关方案,代码已在 GitHub 开源。Langfuse 此前以 agent 可观测性与评测工具闻名。

Hacker News 最新clemo_ra2026/11/13 · 4 天前7 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

大家好,我是 Max、Marc 和 Clemens,Langfuse 的联合创始人。Langfuse 是一个用于 agent、可观测性与评估的开源工具(https://github.com/langfuse/langfuse)。距离我们上一次在 2023 年 8 月发布 Show HN(https://news.ycombinator.com/item?id=37310070)已经过去一段时间了——过去几年我们一直忙于构建和完善 tracing 与评估相关功能,也很幸运地围绕它打造出了一家成功的公司和开源项目。今天,我们很高兴展示 Langfuse AI Gateway 的 beta 版本:https://github.com/langfuse/langfuse/tree/main/ai-gateway。你可能会问,为什么我们的第二个产品是一个 AI Gateway:这是社区呼声最高的需求之一,也是我们观察到的常见集成模式。我们希望像过去几年做 tracing/评估那样,为网关这一使用场景提供一个可扩展、可靠且安全的解决方案。另外,我们最近也吸纳了几位优秀的新成员,敬请期待我们更多更大的投入。

我们现有的可观测性 SDK 只能看到你插桩过的代码。而一家公司的模型流量中,有相当一部分跑在无法或难以插桩的代码里:比如 Pi、Claude Code、Codex 这类 coding agent,内部工具、脚本等等。第三方网关早已是将 trace 发送到 Langfuse 的流行方式,我们很高兴现在能原生提供一个。

你只需修改 base URL 和 API key。Langfuse AI Gateway 会用 provider key 转发原始请求,而这个 key 无需在团队内部分发。目前,它不做 API 之间的转换,响应会原样转发。这是有意为之,目的是保证网关用户的稳定性,因为例如 OpenAI responses 与 Anthropic messages 之间的转换并不完美,可能会在你的 agent 中引发不易察觉的故障。

如果你传入 traceparent header,这次调用就会落在你已有的 Langfuse trace 中。

你可以这样试用:先 docker compose 启动 langfuse,然后访问 http://localhost:3000 --git clone https://github.com/langfuse/langfuse.git cd langfuse docker compose up

在 Cloud 版本上,每次调用都会成为一个 Langfuse generation,记录 tokens、成本、延迟和首 token 时间。如果你选择开启,prompt 和输出也会被记录。如果你是自托管,你也可以选择什么都不追踪,甚至连 metadata 都不记录。

一些细节:

  • 用 Rust 编写。无状态、无数据库;只与 Langfuse 平台和各 provider 通信。
  • Docker 镜像 22MB。开启 tracing 时中位开销低于 3ms,2 vCPU 上可支持 1,000+ 并发流。
  • MIT 许可。可用 Docker Compose 或 Helm 自托管,也可使用我们的 Cloud 版本。
  • 你的 provider key 和合同归你。我们不转售 tokens。

下一步计划?

  • 按 key、用户、团队设置预算上限
  • 自定义模型别名和 fallback
  • Guardrails
  • PII 脱敏
  • SCIM 用户同步

我们会一直在线,期待大家的提问和评论。

评论 URL: https://news.ycombinator.com/item?id=50484682 Points: 2

Comments: 0

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →