
本地AI能否像Dr Pepper一样找到自己的细分市场
来源标题:Would Local AI Become the Dr.Pepper?
本地AI不必超越前沿模型,也能像Dr Pepper靠独特口味立足一样,通过满足特定需求获得持久位置。Dr Pepper已超越Pepsi成为美国销量第二的汽水,其成功在于保留核心辨识度同时降低新用户尝试门槛。AI推理成本下降可能推高总需求(杰文斯悖论),部分任务可转向注重隐私、速度和本地控制的边缘设备。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
Dr Pepper 已超过 Pepsi,成为美国销量第二的汽水。它由药剂师 Charles Alderton 于 1885 年在德克萨斯州用混合水果糖浆调配而成。它是最古老的美国软饮料品牌,凭借独特口味开辟出了自己的市场空间。KDP(Keurig Dr Pepper)在保留核心辨识度的同时,让新顾客更容易接受它。它们无需超越竞争对手,只需找到自己的细分市场便能持续立足。本地 AI 也一样,只要契合特定需求,就能赢得长久的位置,而不必非得超越前沿模型。
把模型参数规模扩大到 100 万亿,就能实现 AGI 吗?也许只在 benchmark 上成立。
公开的人类制造训练数据是有限的(RIP Wikipedia)。
粗略来说,算力翻倍并不意味着智能翻倍。我们可能投入多得多的算力,换来的提升却相对有限。
随着 AI 推理成本下降,我们可能会用得更多,从而推高总算力需求,这与 Jevons 悖论一致。其中一部分工作可能会转移到边缘设备上,在那里隐私、速度和本地控制更重要。即便是由前沿模型驱动的系统,在任务和设备允许时,也可以选择本地模型。
每个用户都是独特的,他们与大语言模型的关系在其日常技术栈的各个部分也各不相同。现在比以往任何时候都更需要开始思考「本地模型适配」。云服务器模式之所以被采用,是因为当时智能稀缺,需要靠它来扩展分发。如果智能变得充裕,那么每个节点都是智能服务器,只在需要时才联系中央枢纽。
可能受益的应用包括:
Router——用本地模型做两阶段路由,等确定性解析器完成第一步校验后,由 LLM 在第二步提供帮助。
个人知识管理——与你的日常日志、日记以及其他只需少量智能就能受益的内容进行交互。
听写——语音转文字,本地低延迟,可从边缘推理中受益。
Friedrich Hayek 是一位经济学家,以阐释市场如何协调数百万人各自掌握的知识而闻名。
知识问题——个体知识存在于边缘。没有任何单一设备掌握完整图景。因此,我的设备之间的智能协同至关重要,但如果这个模型由我自己掌控会更好。我可以对它做 RL,针对自己的用例进行爬山优化。
价格携带信息包——你可以调整花在边缘和前沿上的投入比例。在通常的世界里,价格上涨传递的是稀缺信号。
竞争发现解决方案——把日常工具与本地托管的模型结合起来、离线工作,可以带来隐私与性能恰到好处融合的非凡用户体验。Google AI Edge Foresight 就是一个很好的例子,Fluid voice 这类本地听写应用、用于路由的 LiteLLM,都是这一领域有趣的案例。
只有你自己才知道自己这套技术栈的口味,才能发现属于你自己的、经得起时间考验且仍能持续增值的 AI 推理「Dr Pepper」。
如果你想试用本地托管的模型,可以试试 Ollama;想探索自我生成的 harness,可以试试 DSH 的 creator mode。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。