返回资讯中心
外部精选
软件工程
#开发者实时流

Jev 推出基于嵌入向量的决策模型 API

来源标题:Vector Decision Models Typed decisions over embeddings you have

Jev 发布 Decisions API,可在冻结的嵌入模型之上训练小型 choice head 来做类型化决策。该 head 默认使用全部样本训练,通过交叉验证选择配置,单机几秒到几分钟即可完成拟合并随服务保存重载。系统还提供针对集合的最近邻检索、异常检测与分布偏移检验等能力。

Hacker News 最新shanselman2026/11/10 · 8 天前13 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

默认情况下,choice head 会在每个提供的示例上训练;显式划分会保留用于选择和报告的记录行。它们通过交叉验证来选择设置,当相关示例必须保持在一起时按 group_id 分组。每个 head 在一台机器上几秒到几分钟即可完成拟合,随服务一起保存和重新加载,并回答你其余代码已经在发送的同一类问题。reader 保持冻结;只有 head 被训练。参见 family cookbook、linear family cookbook、numeric family cookbook 和 outcome API。

  • 作用于集合。找到最近的带标签参考,发现集合中的异常项,检验总体是否发生偏移,或对索引的每一行流式提出同一个问题。

你会反复看到几个词:reader 是冻结的嵌入模型;profile 固定 reader、其 revision 和向量格式;head 是把向量和问题变成答案的小模型;Noul 是 Decisions API 对是/否问题的称呼。

Jev 评估请求中提供的内容和上下文。Venn 让你的应用通过历史案例、自定义 predictor 和集合操作来保留并复用其决策背后的表示。其小型本地决策层也提供了运行较大开源决策模型的替代方案。EmbeddingGemma 2 的纯文本 reader 约有 2.7 亿参数;图像和音频塔仅在需要时加载。

当有用的类别描述和条目内容能承载答案时,从 Jev 开始。当你有有用的带标签历史、需要自己的 predictor,或预期对同一嵌入集合反复做决策时,从 Venn 开始。阅读 Venn and Jev: when to use which 了解权衡、示例和结果。

观看对比,其中包含历史结果、归档约定和自定义 predictor 的示例。

Venn 是研究预览版。概率未跨任务校准,“none of these”选项是信号而非过滤器:一个跑题的问题仍可能以高置信度落在某个列出的选项上。在依据概率行动之前,请阅读 limitations。

Linux 或 Windows 上的 Python 3.12。CPU 工作流也可在 ARM64 上运行,包括 WSL 下的 Ubuntu 和原生 Windows;参见 platform setup。

git clone https://github.com/markrussinovich/venn-vdm.git venn cd venn python3.12 -m venv .venv && source .venv/bin/activate python -m pip install torch --index-url https://download.pytorch.org/whl/cpu # CPU-only PyTorch; omit for CUDA python -m pip install .

一分钟试用# venn quickstart 在 CPU 上运行,不下载任何内容。它注册一个小型历史支持工单及其结果的存储,然后将新工单路由到相似工单表现最佳的团队: venn quickstart "answer": "account

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →