返回资讯中心
外部精选
软件工程
#开发者实时流

测试显示Qwen 4 Max单任务成本反超GPT-6 Sol一倍

来源标题:The model with the lower price per token cost me twice as much per task

在七项任务测试中,单价更低的Qwen 4 Max实际每任务成本约为GPT-6 Sol的两倍多。两者均通过全部93项检查,但Qwen 4 Max输出约22100个token、耗时415秒,而GPT-6 Sol仅输出约4350个token、耗时189秒。按标价计算,Qwen 4 Max成本约0.21美元,GPT-6 Sol约0.09美元。

Hacker News 最新lewislucas882026/11/17 · 今天9 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

这周,我用两个语言模型跑了同样的七个任务。两个模型都通过了所有检查。输出价格不到另一个一半的那个模型,最终每任务成本却高出一倍多。

这两个模型是 Qwen 4 Max(输入每百万 token 1.50 美元,输出 4.50 美元)和 GPT-6 Sol(输入 2 美元,输出 10 美元)。我本以为 Qwen 的账单会更低。事实并非如此,原因很简单,我有点不好意思自己之前一直没有测量它。

披露:我在 apimodels.app 工作,这是一个转售这些模型访问权限的 API 网关,我在那里进行了测试。下面的数字是 token 计数和标价,所以你可以在任何端点上复现它们。

七个任务,每个都设有一个在我花钱之前写好的评分器,总共 93 项检查:

两个模型都使用默认思考设置,流式输出,每个任务运行一次。

Qwen 4 Max GPT-6 Sol 检查通过 93 / 93 93 / 93 总时间 415 秒 189 秒 输出 token 约 22,100 约 4,350 成本 约 0.21 美元 约 0.09 美元

同样的分数。五倍的输出 token。

计数谜题最能说明问题。两个模型都答对了全部三道题。GPT-6 Sol 思考了大约一分钟,产出了不到 800 个输出 token。Qwen 4 Max 思考了超过三分钟,产出了 10,801 个输出 token,其中 10,777 个是思考。答案只有 24 个 token 长。

思考 token 按输出费率计费。因此,决定账单的量是一个模型完成任务需要花费多少 token,而没有任何价格表展示这一点。

Artificial Analysis 在更大规模上发布了同样的结果:运行他们的完整索引,Qwen 4 Max 生成了 1.27 亿个输出 token,而 GPT-6 Sol 是 6500 万。

长提示。GPT-6 Sol 一旦请求超过 272,000 个 token,就会对整个请求重新定价:输入 4 美元,输出 15 美元。不是对超出部分,而是整个请求。Qwen 4 Max 在其百万 token 窗口内收取相同的费率。

def qwen4_max(inp, out): return (inp * 1.50 + out * 4.50) / 1_000_000 def gpt6_sol(inp, out): p_in, p_out = (4.00, 15.00) if inp > 272_000 else (2.00, 10.00) return (inp * p_in + out * p_out) / 1_000_000

input tokens, Qwen output, Sol output

for inp, out_q, out_s in [(10_000, 3_000, 600), (200_000, 5_000, 1_000), (300_000, 5_000, 1_000)]: print(inp, round(qwen4_max(inp, out_q), 4), round(gpt6_sol(inp, out_s), 4)) 10000 0.0285 0.026 200000 0.3225 0.41 300000 0.4725 1.215

我故意给两个模型设置了不同的输出数量,五比一,因为这就是我测量到的结果。即便如此,一旦输入很大,输入费率就会占主导,Qwen 4 Max 领先,而超过 272K 后,领先优势超过一倍。

关闭思考。Qwen 4 Max 允许每个请求禁用思考。这样输出就只有答案,4.50 美元的费率才名副其实。我还没有在关闭思考的情况下重新运行那 93 项检查,所以我无法告诉你它对准确率有什么影响。

按任务类型为每个请求记录三件事:prompt_tokens、completion_tokens 和 cost。真正重要的比较是每任务美元成本,而获得它的方法是将你真实请求的一小批分别通过每个模型运行。

如果你也这样做,有两个细节。使用流式输出时,只有传入 stream_options={"include_usage": True} 才能获得用量,而且它出现在最后一个 chunk 中,该 chunk 的 choices 列表为空。另外,completion_tokens 已经包含了思考 token,所以不要重复计算。

七个日常难度的任务,每个运行一次。这不能说明长而困难的任务的情况,在那类任务上两个模型的正确率可能根本不相上下。成本使用的是标价;如果你支付的是其他价格,请把你自己的费率代入计算器。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →