返回资讯中心
外部精选
软件工程
#开发者实时流

Open Kernel Challenge结束首轮,GPU内核优化加速Muse Spark Open推理

来源标题:Open Kernel Challenge: reports from the top

Open Kernel Challenge首轮GPU内核优化比赛结束,约2000人参与,目标是为Meta的Muse Spark Open提速。参赛者将GPU内核优化至原版2倍速度,仍仅排约500名。总奖金10万美元的完整模型服务轮持续至11月19日。

Hacker News 最新jakozaur2026/11/10 · 7 天前14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

下载 PNG 我参加了 Open Kernel Challenge,这是一场让 Meta 的 Muse Spark Open 运行得更快的竞赛,奖金总额 10 万美元。我的 GPU kernel 比原始版本快 2 倍,最终排名大约在第 500 名。于是我联系了前 50 名选手,向最优秀的人学习技巧。 这项挑战由 Paradigm 联合 Meta 和 Andromeda 举办;Daniel Gross 将其宣布为“一场 10 万美元的挑战赛,看谁能把 Muse Spark 跑得最快”。在两周时间里,大约 2000 人重写了 Muse Spark Open 推理背后的 GPU kernel,并以 SGLang 作为计时基准。这是 kernel 轮。第二轮是整模型 serving,10 万美元奖金归属这一轮,持续到 11 月 19 日。 我周末的幼稚做法是一边在 Pinnacles 徒步,一边对着 Claude Code 用 Opus 5.5 大吼大叫。我花了 150 美元,通过 Vast.ai 租了一台 H200,外加我的 Claude Max 20x 和 ChatGPT Team Premium 套餐的每周额度。我把所有凭证扔到日本的一台机器上,然后听天由命。第一个周末结束后,我最高排到第 22 名,如果投入更多算力和 token,我本可以爬得更高。 显然,很多人都取得了比我更好的加速效果。 截至 11 月 5 日 kernel 轮结束时排行榜。主办方仍在审核提交,因此排名可能变动。 在 decode 层,整个前 50 名都落在 9% 的差距之内。所以在 kernel 轮的最后一天,11 月 4 日,我请前 50 名分享他们的配置。十二人回复了他们的 agent、模型、GPU 和花费;随着榜单变动,其中几人在之后跌出了前 50。 大部分自付账单是 GPU,因为 token 来自包月套餐(Claude Max 20x、ChatGPT Pro、500 美元的 Codex 套餐),价格远低于 API 费率。Shishir Pai 的模型用量按 API 成本计算约为 6.8 万美元。 我估算了大致 GPU 成本以及与冠军的差距。 更大花费对结果的影响比我以为的要小。仔细一看,我才是那个冤大头:在 Vast.ai 上每小时 4 美元租一台 H200,或者 8 美元租两台,而可抢占的 Nebius spot 实例经常不到每小时 1 美元就能拿到。Modal 和 Daytona 提供更细粒度的按秒计费,能再榨出更多,因为 agent 大部分时间在思考、规划和写代码,只在测试时才需要 GPU。 一些人报告说 NVIDIA Nsight profiling 帮助很大,但它的 kernel profiler——Nsight Compute——需要 GPU 性能计数器。只有部分平台完全支持这些计数器,比如 Nebius、AWS 和 Google Cloud;其他平台如某些 Lium 机器只部分支持。RunPod 和 Vast.ai 这样的容器平台则屏蔽了它们。 4Nebius3RunPod2Lium2Modal2Daytona6Other4Nebius3RunPod2Lium2Modal2Daytona6Other Agent 背后的智能 几乎所有人都用了 Anthropic 和 OpenAI 的前沿模型。没有人跑在 Fable 5.1 上:唯一尝试它的参赛者因为成本和速度放弃了它。 36123612Claude only Claude and OpenAI models OpenAI only Not stated Harness 34143414Claude Code Custom Codex Not stated 即使使用现成的 harness,大多数报告也描述了多个 agent 协同工作:子 agent、小型并行团队或评审模型委员会。 距离第 1 名最近的四个回复中(落后 4% 到 6%),有三个运行自定义 harness;第四个没有说明。自定义确实有优势,但定制 Claude Code/Codex 也能让你走得很远。 下次我会租一台可抢占的 Nebius H200,所有工作都在上面做并推送到 git,这样可以在别处恢复。我会安装 Nsight 以及我能找到的所有其他性能工具,并抓取 agent 能用的所有知识。与其每个问题一个 agent,我会让一个角色分明的 Claude Code swarm、加上 Codex 作为一个子 agent,集中攻一个问题,然后切换问题。我会叠加几个按席位计费的套餐,让 token 永不枯竭,并让整个竞赛期间持续运行,从手机上查看进度。 Agent 将在硬件选择上产生巨大影响。许多公司标准化在 NVIDIA 上,因为把 kernel 移植到另一款芯片需要稀缺而昂贵的专家。训练护城河可能还在,但推理护城河会缩小。挑战者在速度(d-Matrix、Cerebras)或价格(AMD、Google TPU、AWS Trainium)上竞争。最大的实验室已经在使用多种芯片:在其 S-1 中,Anthropic 表示 Claude 原生运行在 Trainium、TPU、NVIDIA GPU 和 AMD GPU 上,甚至训练也是如此。 这场竞赛产生的是一个排名,而不仅仅是几个集群。人类在如何分配资源、组织工作以及有时否决 agent 方面发挥了差异作用。 尽管 agent 产出了更优的结果,但它们的大量代码很难合并回 SGLang:主办方表示许多参赛作品超过 1 万行,并且针对每个测试的 shape 都有单独的变体。Agent 显然在一个定义明确、易于衡量的目标上成功了,但人类在平衡权衡方面仍有优势。那些在 RL 中难以学到的东西,比如长期可维护性,仍然是 LLM 的盲区。它通常伴随着不清晰的奖励函数:你如何给一个架构的可维护性打分? Agent 加速运行 AI 的软件,听起来像递归自我改进(RSI)。对我来说,这感觉像 2005 年的自动驾驶。一年前没有一辆车完成 DARPA Grand Challenge;那一年有五辆完成了。自那以后,完全自动驾驶总是“还有几年”。二十一年后,绝大多数汽车仍然有司机。AI 的进步可以同时极其快又极其慢。预测 S 曲线很难。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →