返回资讯中心
外部精选
软件工程
#开发者实时流

Flapping Airplanes 融资十亿美元,展示边玩 Doom 边做前向传播的 megakernel 框架

来源标题:Make this forward pass as fast as possible

Flapping Airplanes 融资十亿美元,部分原因是其演示的 megakernel 框架能高效完成前向与反向传播,同时还能运行 Doom。Hyperstition 也推出了可为多种模型生成高性能 kernel 的 Hyperkernel。这些进展引发讨论:当 agent 能直接优化底层细节时,是否还需要 ML 编译器;TVM 团队认为仍需一个精简稳定的编译器基础来提供共享抽象。

Hacker News 最新matt_d2026/11/10 · 8 天前14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

Flapping Airplanes刚融了十亿美元,部分原因是他们展示了一个megakernel框架,能够高效地完成前向和反向传播,同时(出于某种原因)还能玩Doom1。另一边,Hyperstition搞了个他们称之为Hyperkernel的东西,能为各种模型生成高性能kernel。让模型跑得更快,这本来就是ML编译器一直在做的事,而这一波热闹不禁让人想问:我们到底还需不需要ML编译器了,还是说可以直接让agent去优化?

搞TVM的那帮人也一直在琢磨这个问题:

如果agent自己能搞定底层细节,我们还需要在它们和硬件之间夹一层编译器吗?

我们相信答案是肯定的,但理由不太一样。与其要求agent在每次kernel开发的迭代中都重新发明IR和编译器基础设施,不如提供一个最小化、稳定的ML编译器底座,为整个社区提供共享的抽象和可复用的工具,同时让agent自由探索自己的优化策略。

他们论证的核心是:kernel优化是一个搜索和迭代的过程。token和工具调用都要花钱花时间。所以你要优化这个搜索过程,避免卡在局部最优,还要提供验证生成方案正确性的手段。他们为内存访问、同步之类的东西建了检查器,并用Lean形式化了IR,以实现低成本的验证:

在这种未来里,我们可能不再需要一个真正去编译什么东西的编译器,但我们仍然需要编译器基础设施来理解和验证程序。一个共享的IR可以作为分析、验证以及agent构建新工具的基础。

Together新推出的Together Compiler(TKCC)用来构建优化后的推理kernel。但他们在中间表示的问题上得出了相当不同的结论:

传统IR的表达能力有限。我们曾假设IR能帮助agent理解复杂的推理代码库——这些代码库包含多条代码路径和kernel启动机制。当直接提供源码时,我们确实观察到agent会花大约20%的时间去读引擎文件,以理解引擎代码中相关的代码路径和kernel调用。但我们也发现,不受限制的源码访问能解锁更高的性能上限。即使是我们精心增强过的Inductor IR,表达能力也不足以支持某些优化。

不过他们仍然关注验证和缩小搜索空间的需求。他们构建的东西很大程度上是一个经验测量框架,对执行kernel分了不同层级,以消除前向传播中的波动,并提供热切换以支持快速迭代。他们还通过为并行策略开发自定义成本模型来缩小搜索范围,在进入分层测试环境之前先用分析法剔除选项:

我们提出了一个成本模型,利用分析估算和分层测量对前k个并行配置进行排序,测量范围从理论硬件能力一直到实测的计算、内存和通信性能。这让TKCC能在投入昂贵的agent优化之前先识别出有前景的配置。

所以与其说编译器要消失了,不如说它正在被拆解。在检查和调查变得更便宜、更自动化的世界里,很多传统编译器技术变得没那么有用了。

在今年Triton大会上,来自OpenAI2的Neil Dhar讲了他们如何用Codex做大规模的代码修改,目标是去掉Triton编译器中的启发式规则和隐式语义。这类技术非常适合在广泛的代码范围内取得改进,但它们会让代码变得不可预测:一个小改动可能对结果产生巨大影响,因为它触发了不同的编译pass。

Neil举的一个例子是移除自动FMA。Triton之前会模式匹配一个乘法后跟一个加法,然后替换成一条融合乘加指令。但是!这会改变kernel的数值行为,因为FMA会省去中间舍入。他们移除了这个pass,在所有用到它的kernel源码里手动插入FMA调用3。这让搜索空间更平滑、更容易导航(虽然可能更大了)。

TVM的TIRx是一个赌注:从头开始能让他们构建一个更利于搜索和验证的编译器栈——他们刻意不应用基于启发式的优化,但提供了很多扩展点,让agent可以在上面迭代新能力。OpenAI的Gluon和Meta的TLX方向上类似:它们在现有编译器核心之上增加底层扩展点。Together则认为,提供正确的工具比押注单一工具链来引导搜索和验证更重要。

编译器过去帮用户把事情做快,但现在它们需要让搜索变快,这俩不是一回事。不过我不太敢宣布谁是赢家,这个领域是和agent本身共同演化的。有一个特别清晰的例子:Together提到了一些在帮助他们的agent方面完全没用的东西——读起来几乎就是六个月前4的agent最佳实践清单。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →