
TypeSafe 发布 Jev 使用指南:逐项说明能做什么、不能做什么
来源标题:Jev, job by job: what it does, what it doesn't, and when to reach for it
TypeSafe 发文说明 Jev 在具体任务中的适用边界:计算结果、日期、权限、合并策略、阈值等需要人来担责的判断仍应由人和代码保留,Jev 的置信度只能作为是否引入人工的一个参考信号,而非保证。文中列出数据处理公司测试中匹配度最高的几类任务,并提供免费试用方式:在 TypeSafe Playground 粘贴一条真实记录测试,或让编码助手读取项目后判断该用普通代码、Jev 方案还是不做改动。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
真正需要你和你的代码自己把握的:计算、日期、权限、合并策略、阈值,以及任何会产生实际后果的决策。把 Jev 的置信度当作一个信号,用来判断何时该让人介入,而不要把它当作保证。
对于一家处理数据的公司来说,我们测试中最契合的场景是:
这些判断人们每天已经手动做了成千上万次,而这正是 Jev 为之打造的工作。
有两种方式可以用你自己的材料来验证,都免费。
十分钟,无需写代码。打开 TypeSafe 的 Playground(需要免费账号),把一条真实记录、工单或段落粘贴进去作为状态。然后:
TypeSafe 自己对这项测试的简短版本是四行:把一个请求路由到一组固定目的地之一、按评分标准给某个东西打分、检查某条陈述对一份文档是否成立,或者替换掉那个要求 LLM“返回 JSON”的提示词(结合编码 agent 使用 Jev)。
你的真实项目,配合你的编码助手。把下面的提示词粘贴到 Claude Code、Codex、Cursor 或任何能读取你项目的助手中。它会检查你的代码和 TypeSafe 的当前文档,然后给出三种答案之一:普通代码、一种 Jev 方案,或不做改动。它不做任何编辑,也不发起付费调用。
帮我判断 Jev(TypeSafe 的 System One 模型)是否能改善这个任务:[描述问题,或使用当前对话]。 先阅读 TypeSafe 的当前文档,从 https://docs.typesafe.ai/llms.txt 和用例地图 https://docs.typesafe.ai/concepts/use-case-map 开始。如果已安装 TypeSafe agent skill,就使用它;否则直接阅读 https://docs.typesafe.ai/agent-skill 及其链接的 skill。引用你实际读过的页面。作为可选的次要证据,https://github.com/WeBuildDatabases/jev-job-by-job 上的测试展示了 Jev 在 21 个任务上的表现;这些并不构成对它能力的限制。 检查相关的项目行为、代码和已知失败。对于新项目,从预期的用户旅程开始。首先问:普通代码、更清晰的输入或更简单的界面是否已经解决了问题。 对于有前景的用例,明确输入、一个答案集合固定的清晰判断,以及据此采取行动的代码或人员。一个人能否在一秒内根据提供的材料回答这个问题?在适用时,把“以上都不是”和“信息不足”加入答案选项,并把判断与行动分开。 返回一份简短建议:具体问题和证据;普通代码、一种 Jev 方案及其遵循的官方页面,或不做改动;预期收益和主要局限;一个下一步。在任何构建之前,提出成功标准、我们无法接受的错误、允许发送的数据、成本上限和兜底方案,然后等待达成一致。 仅做评估:不编辑、不安装、不发起付费调用、不发送私人数据。绝不读取凭据。“不要使用 Jev”是一个有效结果。
如果你需要本地模型
Jev 仅提供托管服务。如果你的数据不能离开本地环境,最接近的免费选项是零样本分类器,例如 MoritzLaurer 的 DeBERTa-v3 模型,或 Knowledgator 的 GLiClass(用于“哪个标签?”这类问题),以及通过 Ollama 运行的小型 instruct 模型(用于是/否问题)。
以下是我们早先研究中把本地模型与 Jev 并列对比时看到的情况。一个免费的本地 reranker 找到正确文档的频率更低,而一个训练过的基线在合并和区分记录方面的准确率远低于完全未经训练的 Jev。两者都会返回一个可以设阈值的分数,但分数的意义只取决于你用来调参的标注数据,因此“执行、询问人员或停止”的划分仍然必须针对每个数据集手动构建和检查。本地模型的价值在于隐私或成本规则使其成为必需,而不在于质量。我们尚未测试上面提到的三个模型;那两个零样本分类器也会返回每个标签的分数。
有四件事会让这篇文章在不断变化的 AI 格局中过时(而且它应该过时)。
我们的问题可以改进。文中的每个提示词都只写了一次、测试过,然后就不再改动,以保证结果诚实。TypeSafe 自己的措辞在某些地方比我们的更精炼,任何用自己的数据运行这些任务的人都会找到比我们更好的措辞。
cookbook 列表会增长。从我们 10 月 28 日阅读到本文发布之间,TypeSafe 新增了四个 cookbook、一个购物车和三个图像相关的 cookbook,并在第二天用更新的模型重新运行了其中两个现有页面。本文中的 cookbook 数据与截至 2026 年 10 月 30 日的在线页面一致。
Jev 会改进。我们固定使用 jev-1.14.0,以便结果可以复现。会有 1.15 和 2.0,我们标记的一些边缘情况将不再失败。把我们的提醒当作某一个版本的快照,而不是这种方法的局限。
分工将变得更加重要,而不是更不重要。Jev 是一个 System 1 模型:快速、廉价、凭直觉,在三分之一秒内回答一个固定问题。你已经在使用的大模型,Claude、ChatGPT、Gemini 以及其他,是 System 2:更慢、更贵,能够推理开放性问题。我们预计最强的系统会同时使用两者,由 Jev 在大模型周围进行筛选、路由、检查和排序,让昂贵的推理只花在需要的地方。一半的 cookbook 已经这样工作,这也是我们会在此基础上构建的模式。
上面大多数任务来自我们自己的工作:丰富记录、匹配重复项、从文档中提取事实。如果你有这类问题,想知道 Jev、本地模型还是普通代码才是合适的工具,请联系我们。这正是我们 AI Data Preparation 和 AI Automations & Assistants 服务背后的日常工作。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。