
Spanlight 开源 LLM 可观测性平台,数据存储于单一 Postgres 数据库
来源标题:Show HN: Spanlight – open-source LLM observability platform
Spanlight 是一个开源 LLM 应用可观测性平台,全部数据只用一个 Postgres 存储。它记录提示词与补全、延迟、首 token 时间、token 数、成本和错误,并按 trace 和用户会话分组;支持通过 Python/TypeScript SDK、任意 OpenTelemetry 导出器(经 OTLP/HTTP)或修改 base_url 接入内置网关发送数据。平台提供 trace 探索、逐步对比和对话回放,单条输入输出上限 1 MB,成本则依据带版本的价格表核对账单。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
为 LLM 应用提供开源可观测性,只需一个 Postgres。 在线演示 · 文档 · 功能 · 快速开始 · 工作原理 · 讨论区 Spanlight 记录你的应用发起的每一次 LLM 调用:prompt 与 completion、延迟、首 token 时间、token 数、成本与错误,并按 trace 和用户会话分组。你可以用 Python 或 TypeScript SDK 发送 trace,也可以用任意 OpenTelemetry exporter 通过 OTLP/HTTP 发送,或者把 base_url 改成内置网关即可。追踪之外还有更多:审计每次调用的成本,与供应商账单核对,查清调用失败的原因,每天早上回顾昨天的流量。 想在安装前先看看?在线演示跑在真实的 Claude 调用上,每月预算很小。 Trace 浏览器与会话。按名称或按发给模型和模型返回的内容搜索 trace,查看包含 agent、tool 和 model 步骤的 span 瀑布图,逐步对比两条 trace,以聊天形式回放多轮对话,并显示每轮的成本和延迟。输入和输出各保留最多 1 MB,因此很长的 RAG 上下文也能保持可读。 可审计的成本。价格来自一张带版本的表,涵盖缓存写入、长 prompt 档位、batch、flex 和 priority 费率,以及联网搜索费用。每次调用都有逐项成本明细。无法得知的成本会显示为 unknown 并附上原因,绝不会显示为 $0。 与账单核对。连接 Anthropic 或 OpenAI 的 admin key,或上传 CSV,Spanlight 每天会把追踪到的支出与供应商账单进行比对。 归因与预算。为 trace 打上最多 32 组元数据(客户、功能、团队),并按取值查看支出、调用次数和错误。预算可以按项目、网关 key、用户、模型、元数据对或 trace 名称对支出发出告警或进行拦截。 Doctor 与供应商健康状态。十五个确定性检测器会标记已知的故障模式(重试风暴、忽略 Retry-After、输出被截断、工具循环、成本和延迟突增等),每个都附带证据和建议的修复方法。供应商健康状态能把供应商故障或限流与你自己的 bug 区分开,并同时展示供应商状态页面上的事件。 面向 OpenAI 和 Anthropic 的网关。Gemini 和 Bedrock 可通过其 OpenAI 兼容端点使用,在你为其模型添加价格之前成本显示为未知。官方 SDK 可以原样对接,包括流式和工具调用。它提供密封的供应商凭据、带重试和回退的路由、按 key 的速率限制、精确匹配缓存,以及一个可在非生产 key 上注入真实供应商故障的 Integration Lab。 Prompt、eval 与每日回顾。带标签的版本化 prompt、playground、对任意已记录调用的精确回放、数据集、带通过率 95% 置信区间的实验,以及每晚生成一份值得阅读的 trace 队列。LLM 评审会展示其与你的评审员之间的一致性(κ、F1、混淆矩阵)。 原生支持 OpenTelemetry。POST /v1/otlp/traces(基于 HTTP 的 OTLP,支持 JSON 或 protobuf;gRPC 通过 OpenTelemetry Collector)可读取 GenAI 约定(gen_ai.*,LiteLLM 也会写入)、OpenInference、OpenLLMetry(Traceloop)和 Vercel AI SDK,并在嵌套 span 之间只计一次用量。录制的 fixture 覆盖 LangChain、LangGraph、LlamaIndex、Pydantic AI 和 OpenAI Agents SDK。Python SDK 已发布在 PyPI;面向 Node.js 的 TypeScript SDK 位于 sdks/typescript/(其 npm 发布任务已就绪;在首次发布前请从 tarball 安装)。 为团队打造,设计上保护隐私。组织、项目、角色、限定范围的 API key 和审计日志。Postgres 行级安全隔离每个项目的数据,密钥在存储前会从 payload 中脱敏。 自托管,仅需一个数据库。Postgres 是唯一的数据存储,任务队列也不例外。核心采用 MIT 许可。 说明 Spanlight 尚未发布 1.0。当前服务器版本为 0.8.1(更新日志),PyPI 上的 Python SDK 为 0.3.0。 前置要求 Docker 及 Compose v2 SDK 需要 Python 3.10 或更新版本 你自己的应用中有一个 OpenAI 或 Anthropic API key
- 启动 Spanlight git clone https://github.com/dheerajkarwasra/spanlight.git cd spanlight cp deploy/.env.example deploy/.env # 填写 POSTGRES_PASSWORD、APP_DB_PASSWORD 和 SECRET_KEY docker compose -f deploy/compose.yaml --env-file deploy/.env up -d 这会拉取 deploy/.env 中指定的已发布镜像(SPANLIGHT_IMAGE 和 SPANLIGHT_WEB_IMAGE)。若要从当前检出构建,请注释掉这两行并加上 --build。 打开 http://localhost:8080,创建账户,并按安装向导创建项目和 API key。 用 python3 -c "import secrets; print(secrets.token_urlsafe(32))" 生成每个密钥。若要部署到线上,请参阅部署到 Railway。 安装 SDK 时加上对应供应商的 extra(anthropic 或 openai): pip install "spanlight[anthropic]" import spanlight from anthropic import Anthropic spanlight.init(api_key="spl_live_…", host="http://localhost:8080") client = spanlight.wrap_anthropic(Anthropic()) def answer(question: str) -> str: reply = client.messages.create( model="claude-haiku-5-5", max_tokens=300, messages=[{"role": "user
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。