返回资讯中心
外部精选
软件工程
#开发者实时流

HN 讨论:AI 工程师如何升级生产环境中的大模型

来源标题:Ask HN: How do you upgrade the models you run in production?

一位 D 轮公司的 AI 工程师在 Hacker News 发帖,询问同行如何升级生产环境中的大模型。他提到公司通常等到 OpenAI 弃用模型才更换,而提前切换本可省钱并改善产品。他还问及如何验证新模型没有退步、是否曾改用更小或开源模型,以及哪些任务其实用分类器或规则就能完成。

Hacker News 最新amirbraham2026/11/13 · 4 天前3 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

你好!我是一家D轮公司的AI工程师。我们几乎在所有场景里都用LLM:客户回复、分类、路由、聚类等等。虽然我的大部分精力都放在开发新功能、为它们写eval以及监控生产质量上,但我还是忍不住去寻找改进现有做法。其中之一就是模型升级。看起来我们总是把模型一直用到OpenAI决定弃用为止,而谁都知道,早点切换本可以省钱、做出更好的产品。另一个相关的问题是过度依赖LLM来做所有事情,而其实一个更简单的分类器就够了。 所以我有几个问题想请教同为AI工程师的各位——

  • 你上一次切换模型是什么时候,触发原因是什么?
  • 你是怎么确认新模型没有退化的?eval套件、回放真实流量、抽查,还是直接上线?
  • 你有没有把某个任务迁移到更小的模型上?开源模型呢?是什么促使你这么做的?
  • 有没有什么你跑在LLM上的任务,其实分类器或纯规则就能处理? 评论链接:https://news.ycombinator.com/item?id=50482881 点数:1 评论数:0

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →