返回资讯中心
外部精选
软件工程
#开发者实时流

微软研究院AI Frontiers子组织宣告结束

来源标题:The End of AI Frontiers

微软研究院AI Frontiers子组织已结束运作。该组织2023年ChatGPT发布后在MSR内部成立,约50人,旨在以更组织化的方式开展研究,曾面临算力瓶颈等挑战。

Hacker News 最新gmays2026/11/6 · 11 天前14 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

2023年ChatGPT发布之后,我很清楚地意识到,要想成功,研究必须比微软研究院(Microsoft Research)内部通常的做法更有组织性。其他研究团队投入的支持和专注度之大,使得即便一个人提出了聪明的想法,也很可能来得太晚、缺乏说服力——因为一个人无法足够快地推进,而一个人能搭建的基线也不够强,不足以真正证明一个想法值得起飞。另外几个人也有类似的想法,于是我们组织起来,在MSR内部创建了AI Frontiers这个子机构。

在AI Frontiers,我们积极尝试组织连贯的研究工作。这算不上精确的“自上而下”或“自下而上”,而更多是处在混乱的中间地带。当然存在分歧,解决分歧有时相当有挑战性。算力可用性也常常是严重的瓶颈。但总体而言,我大致认为这个组织在开创性工作上取得了成功,尤其是考虑到AIF规模很小(约50人),并且相对于我们之前能做到的事情而言。AIF的很多工作是在弄清楚如何让agent运转起来,例如Autogen编排框架和Fara计算机使用agent。不过在纽约,我们几个人有兴趣开发新的基础能力,比如能够实现外推的Next Latent目标、创造优化/改进版Muon的Dion3,或者通过递归高效地让模型功能大幅增强的Full Bandwidth Transformer。

我们也积极尝试与MSR其他部门分享。例如,AIF决定开发一个默认对全体微软研究院共享的monorepo。在这个monorepo里,就有我上个月在COLM主题演讲中谈到的、经过验证具备能力的edge scale预训练代码库。这看起来可能是个小细节,但创建一个结构良好的模型创建流水线所需的投入是巨大的,而我知道至少有4个团队在尝试开发模型构建流水线(另外3个不在MSR内部公开的repo里)。

9月初,我们被重组进了Microsoft AI。表面上看这说得通,因为把两个不同的AI组织放在一起会创造更好地集中力量的机会,而且AIF在一些地方领先于MAI,当然反之亦然(MAI规模大得多)。但实际上存在重大问题,因为MAI中前Inflection领导层的理念与我们不兼容。那里的核心理念是scaling,并且 aggressively 不做研究。这可能会让一些人震惊,他们自然认为做出更好模型的方式是通过研究,但有大量证据表明,就预测质量而言更大的模型就是更好的模型,而从商业角度看,规模回报远比研究回报更可预测。在一个只做scaling的环境里,主要精力自然放在获取/制作/精炼数据上,这与我们当时在做的事情相去甚远。除了关注点不兼容之外,还有大量证据表明他们并不真的想要我们。

发现自己身处这种境地很难受。我认为只关注scaling既方向错误又不好玩。这是一种可以理解的失败模式——scaling很直接,人们常常会短视地完全采纳多个相互竞争的理想(比如创新和规模)中的一个、放弃另一个,从而放弃两者之间的权衡。但研究回报是真实且显著的。例如,Bytedance的实验表明,Full Bandwidth Transformer的一个变体可能堪比两倍大小的模型,这意味着在同等能力下可显著节省训练和推理成本。算一算——考虑到行业投资已接近一万亿美元,把训练和推理成本减半值多少钱?

于是我尽可能妥善地安置了我的人,然后离开了。我很幸运,世界上还有许多其他人能够看到研究和创新的价值,而这正是我内在的兴趣中心。其他每一位AIF创始领导团队成员似乎都得出了类似的结论。

这确实留下一个问题:为什么不回MSR?我和一些人聊过,但无法摆脱两个严重障碍。第一,我就是不习惯待在一家我所做的研究没有通往实际应用路径的公司。我在MAI时无法让创新进入应用(甚至无法被认真考虑),所以从MSR取得成功的前景似乎很小。第二,我担心MSR的基本约定已经破裂:做好工作,好事就会发生。据我所知,我们做了好工作,却被未经同意地重组掉了。不幸的是,如果MSR领导层不培养出有效组织起来应对当下形势的意愿,我也不会惊讶于这种事继续发生。

所以AI Frontiers结束了。很遗憾,明年不会有与那里的人合作的实习机会了——我曾在许多场合享受与实习生共事。也祝愿我留下的人们一切顺利。不难想象,未来的微软如果掌权者能多一点智慧,会再次对研究变得有吸引力。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →