
Mjolnir 对比测试 Jev、Gemini 与 OpenAI 模型后选用 GLiDE
来源标题:Comparing Jev, Gemini, and OpenAI decision models
Mjolnir 为 GitHub 事件相关性分类任务对比 Jev、Gemini Decisions 和 OpenAI 模型,最终选用 Fastino Labs 的 GLiDE。GLiDE 在该场景下效果最好且成本最低,权重近似开源,年收入超 1000 万美元需另签商业协议。此前 Mjolnir 最初使用 Jev,Google 发布 Gemini Decisions 后启动评测。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
让 Mjolnir 让你的 agent 更聪明的方式之一,是向它们推送相关的 github 事件,使它们始终了解团队其他成员的动态。
其中一些可以确定性地完成:你自己 issue 或 PR 上的活动(此处从上往下第二条)始终被视为相关。但如果队友开了一个与你正在做的事相关的 issue 或 PR 呢?我们也希望把这些呈现出来。
对于无法通过程序分类的事件,Mjolnir 使用一个分类器来判断相关性。(开箱即用地通过 SlopCop 托管的代理免费提供,面向希望数据完全私密的用户,一个本地规模的“几乎与 GLiDE 一样好”的模型即将推出。)我们最初用的是 Jev,因为它先存在,但当 Google 发布 Gemini Decisions 后,我决定做一次对比评测,看看能否做得更好。
我们最终为这次修订选择了 Fastino Labs 的 GLiDE。额外的好处是,它不仅在我们的用例中给出了最好的结果,也是最便宜的选项之一:
它还是半开放权重。(如果年收入超过 1000 万美元,商业使用需要单独协议。)
GLiDE 唯一真正的缺点是它是测试中第二慢的服务;这正是 Gemini 和 OpenAI 最擅长的领域。我猜,能随时调用世界上一些顶尖的推理速度专家、并拥有庞大的硬件规模,还是有点价值的!
我让 Fable 通读了我们的评测 notebook,提炼出可推广的经验:
如果你没有时间或数据做一次正规的评测,Jev 是个不错的起点:便宜、聪明、速度也还算合理。只是要知道,根据你的领域和优先级,你很可能可以做得更好,就像编码模型一样。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。