LEANOX.AI 开放早期访问，自动优化 LLM 缓存以降低费用

默认情况下，服务商对你已经发送过的上下文仍按完整输入价格收费。把所有内容都缓存起来也不是解决办法：缓存写入和存储本身就有成本，而很少重复的内容永远无法收回这笔成本。LEANOX.AI 会识别哪些内容真正会被复用，只缓存这些内容，其余内容保持原样。 启用缓存并不等于获得折扣。LEANOX.AI 会持续针对你的流量和其中流动的内容进行优化，让更多请求符合缓存条件，并在你的 prompt 变化时仍然保持符合条件。最终得到的缓存能持续降低你的账单，而不是偶尔降一次。 缓存规则因服务商而异，因模型而异，并且会随着服务商发布新版本而在不通知的情况下发生变化。我们替你跟踪这些变化，你无需自己操心。你的仪表盘会显示精确的 token 数量和每个服务商节省的金额，因此节省是有据可查的数字，而不是一句声称。 创建一个账户，并启用你使用的服务商。 添加你的服务商凭证。你保留自己的账户，以及与每个服务商之间的计费关系。你的密钥会被加密，之后不会再被显示或记录。 把你的 SDK 的 base URL 指向 LEANOX.AI，并发送你的 LEANOX.AI 密钥。整个集成就完成了。 LEANOX.AI 可将重复 token 的成本降低最多 90%。 完整的缓存控制，折扣会可靠地作用于重复上下文。 对重复上下文进行可靠、持久的缓存。同时适用于 Gemini API 和 Google Cloud / Vertex 配置。 OpenAI 会自动缓存，效果因模型代次而异。我们按模型进行测量，并报告真实结果。 我们通过路由来获取可用的节省，并为你提供完整的使用量和支出报告。 登录、启用服务商、复制密钥、修改 base URL。大多数团队十分钟内就能完成。