返回资讯中心
外部精选
ai-models
#大模型#国内动态#资讯#AI

Jeff Dean李飞飞最新对谈:全是RSI非共识

李飞飞:回顾你的职业经历,你们四个人在Google和整个领域做了很多工作。就把那一天当作一个历史节点,某种意义上是生成模型时代的起点。

量子位听雨2026/11/7 · 8 天前1 分钟阅读中文

以下正文同步自 量子位,版权归原站所有,已转换为易读排版。

李飞飞:回顾你的职业经历,你们四个人在Google和整个领域做了很多工作。就把那一天当作一个历史节点,某种意义上是生成模型时代的起点。

过去差不多9年里,哪些技术时刻对你最重要?也请坦率地说说,哪些预测对了,哪些预测错了?

Jeff Dean:有几件事情比较突出。我们做的许多工作都带来了重要改进,就像前面那张幻灯片列出的内容。

Transformer是处理这些问题更高效的模型架构。保存此前的状态,再通过注意力机制访问它们,这个想法很有价值。

早期的方法则是每一步更新一个较小的向量,并遗忘此前的状态。相比早期LSTM一类模型,Transformer可以用更少的计算学到更多东西。

然后是Oriol、Geoff Hinton和我做的蒸馏工作。它在2016年被NeurIPS拒绝,评语说不太可能产生什么影响。

〔注:这里指Geoffrey Hinton、Oriol Vinyals和Jeff Dean合著的《Distilling the Knowledge in a Neural Network》(《神经网络中的知识蒸馏》)〕

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →