三年前布局,今年爆火丨西湖大学成立新中心
1993年出生于山东的于开丞,身上有一种反差感:他将自己描述为“阳光开朗的热情大男孩”,但在技术上,他有一点儿“叛逆”。
以下正文同步自 量子位,版权归原站所有,已转换为易读排版。
1993年出生于山东的于开丞,身上有一种反差感:他将自己描述为“阳光开朗的热情大男孩”,但在技术上,他有一点儿“叛逆”。
2012年他参加高考,分数够上清华北大,最后填了香港大学。以港大一级荣誉工学学士毕业后,于开丞赴瑞士洛桑联邦理工学院直博,主攻自动机器学习。博士毕业后,他先后在英特尔智慧系统实验室,Abacus.AI,阿里巴巴达摩院从事相关领域的研究工作。
在达摩院,于开丞主要做自动驾驶的相关研究。在此过程中,他逐步意识到传统训练方法的局限。传统自动驾驶技术本质上是“死记硬背”,高度依赖训练数据集,“题库”里见过的场景,模型能够处理,遇到罕见的突发状况,就很容易出错。
2023年,他离开阿里加入西湖大学,组建自主智能实验室AutoLab,开始世界模型方向的研究。今年很火热的世界模型,在当时还属于偏冷门的概念。
面对自动驾驶长尾场景训练的难题,当时领域内主要有两条解决思路。第一条,生成合成数据,制造出罕见场景样本,然后喂给模型做训练;第二条,从根源上让模型学会触类旁通,具备推演未知场景的能力。当然,后者难度更高。
初入西湖大学,于开丞及团队优先选择难度相对低的第一条路线做探索,生成极端场景的视频以训练自动驾驶模型。这条路很快做出了成绩,2024年他们拿下ECCV自动驾驶赛道的世界冠军,得分远超第二名。
在和一家国内一线车企深度部署的过程中,于开丞和团队开始怀疑这条路线的根基。既然模型已经能生成逼真的数据,说明它已经在一定程度上理解了这个世界。那么,继续渲染像素究竟是为了什么?
2024年底,AutoLab转向新的技术路线,提出“概念世界模型”——也就是不再生成像素,而是在抽象的数学隐空间中建立物理概念的表征。于开丞说,这时候模型需要像人一样,把复杂场景拆解成有限的概念,再重新组合这些概念,进而“理解”训练数据中从未完整出现过的新场景。
换言之,“概念世界模型”将复杂的物理环境、物体属性、空间关系及动作后果,拆解为可复用的物理概念,如空间关系、材质特性、接触状态等。遇到全新场景时,模型无需重新学习整个场景,而是将已有概念在隐空间中重新组合进行推演。
研究进入到2025年,团队开始在实验中观察到,当概念拆解与关联机制建立后,模型在复杂任务上的成功率较传统模仿学习与强化学习基线显著提升,同时保持了较低的预测成本。
这是一种隐式世界模型的技术路线,AutoLab也成为国内少数完成初步验证的团队之一,这些研究进展也为后续孵化公司做了铺垫。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。