开发者用 TypeSafe AI 的 Jev 决策模型构建会议跑题检测工具

试试这里的 Offtrackometer 演示（无需注册即可免费使用 5 分钟，如果你愿意慷慨解囊，5 英镑可购买 500 分钟） 今年 9 月，TypeSafe AI 发布了决策模型 Jev。和很多人一样，我对它的营销宣传持怀疑态度。我很难想到有什么具体的项目可以用它来做，而传统自回归 LLM 却做不到。不过我确实有一个想法，已经在脑子里盘桓了好几年：一个能在你开会跑题时冲你大喊的工具（这是我常犯的毛病 :/）。 我之前其实用 Gemini Flash 尝试过类似的东西，但那次尝试相当不可靠，反应也不够灵敏。也许我本可以解决这些问题，但肯定要费很大功夫。 传统的自回归 LLM 一次生成一个 token 的响应，产出的文本往往可以塞进 JSON。而像 Jev 这样的决策模型输出受到的限制要大得多：你给它一些上下文和问题，并定义答案类型（选项、分数，或者带点古早味的概率）。 你可以问某个支持工单该由哪个团队处理、某个事故有多严重，或者某个陈述是否属实。你在请求中定义选项/标准。得到的是可靠、快速且廉价的分类响应。 我基本上就是把这件事交给[插入你最喜欢的模型/工具链]一次性完成，当时我正忙着别的事，几分钟后回来就看到了一个能用的演示。让我印象深刻的是，我不仅得到了一个能用的演示，而且 Jev 的表现也相当出色。 从最初那个演示到这个版本，仍然经历了一些改动和抉择：如何转录音频、用哪个模型、发送多少上下文，以及如何防止云服务账单在万一这条帖子在 Hacker News 上火了的情况下爆炸。 在转录方面，我用了 Chrome 的端上语音识别，并以 Moonshine Medium Streaming 作为后备——这是一个英语转录模型，通过 WebAssembly 下载并在浏览器本地运行。我发现性能较低的设备可能难以跟上实时转录。我也试过转录 API，虽然它表现不错，但我认为相比这些本地模型，额外的成本不值得。 至于我部署的决策模型，我选择了 Clef-flash，主要是因为我本来就在 Cloudflare 上部署，而且它是他们平台上提供的两个决策模型中较便宜的那个。 随着转录内容的变化，应用会把最近的讨论、会议目标以及稍早一些的上下文打包在一起，然后向 Cloudflare 上的 Clef-flash 询问我们是否跑偏了。敏感模式大约看最近十秒的讲话，并在每次响应后至少等三秒再问。均衡模式大约看三十秒，至少等十秒。模型返回一个 0 到 1 之间的值，应用会对其进行平滑处理，并以百分比形式显示，用来推动指针。 目标 为下一个版本选择功能。 较早的上下文 先修复登录 bug。 最近的讲话 “Anthropic 能为办公室冰箱写一部宪法吗？” 最近的讨论是否偏离了目标？ "answers": { "off_track": { "noul": 0.92 推动指针 将 0–1 的响应显示为百分比。对后续更新进行平滑处理。 curl --request POST
"https://api bla bla bla bla"
--data-binary @- <<'JSON' "model": "clef-flash