时隔十年，AI大牛署名新论文

训练时又加入Best-of-Many监督。模型一次生成多组候选，先找出与真实轨迹最接近的一组，再用同一个赢家索引监督动作流和场景流。

这样可以避免所有候选被同一条真值轨迹拉向相似结果，也能保持一条轨迹和它对应的未来场景始终配对。

其次是计算成本。多视角视频如果按每种候选完整展开，模式数量和预测时间一增加，计算量会迅速上升。

作者提出了MM-Tokens，将多摄像头、多时间帧的视觉特征压缩为面向规划的紧凑表示。

MM-Tokens不承担RGB图像重建，也不需要恢复完整BEV。有限的Token预算主要保留与未来演化和驾驶规划相关的信息。

从论文给出的注意力可视化来看，MM-Tokens关注的信息主要集中在道路结构、路口、前车以及周围交通参与者等区域。

模型由此无需为几十种候选分别生成完整的高清未来视频，内部保留的是一组面向规划的紧凑未来场景表征。

第三项是场景与动作如何共同演化，以及多组候选如何筛选。MM-Future使用了modality-aware Transformer同时处理动作流和场景流。