
RightNow AI 向所有开发者开放其 GPU 内核优化栈
来源标题:Own your AI, at full speed
GPU 内核实验室 RightNow AI 宣布将其原本只提供给前沿实验室的 GPU 优化栈向所有开发者开放,让用户以更高速度运行自有 AI。其服务价格从每百万输入 token 0.05 美元起,并支持自动 prompt 缓存、实时公布缓存命中率。Revolut 已将 2000 名工程师从 Claude Code 和 Codex 迁至运行在专用 GPU 上的 GLM 5.3,AI 编程账单削减约 90%。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
嵌入 https://www.rightnowai.co#ai#generative_ai#infrastructure#machine_learning 简而言之:我们是一家 GPU kernel 实验室。顶尖的前沿实验室都在使用我们的优化工具,从他们的 GPU 中挖掘出更多性能。现在,我们把同一套技术栈开放给所有人,让你拥有自己的 AI,并以全速运行它。 大多数服务商都是租用 GPU、运行同一套现成的 serving 栈,所以它们的速度和价格都一样。而 GPU kernel 是我们自己写的。我们服务的每一个模型都针对硬件做了深度优化,因此每块 GPU 都能完成更多工作。 价格从每 100 万输入 token 0.05 美元起。Prompt 缓存自动生效,每个模型的实时缓存命中率都公布在我们的定价页面上。 你不应该以某个封闭实验室自行选定的速度和价格,向他们租用智能。如今开源模型已经足够好。我们让它们足够快。 已经有人这么做了。Revolut 把 2,000 名工程师从 Claude Code 和 Codex 迁移到运行在专用 GPU 上的 GLM 5.3,将其 AI 编程账单削减了约 90%。 他们为此组建了一支基础设施团队,并花了数月时间调优。而使用 RightNow,你在第一天就能以全速获得同样的模型。 如果你每月在推理上的花费超过 1,000 美元,把你最重的工作负载发给我们。我们会在一天内完成迁移,并把速度和账单并排展示给你看。 如果你自己训练模型,请联系我们。我们会把它优化到 kernel 层面,并为你提供服务。 如果你认识某个在开源模型上运行缓慢或花费过高的团队,帮我们做个引荐就是你能为我们做的最好的事。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。