外部精选
ai-models
#大模型#国内动态#资讯#AIJeff Dean李飞飞最新对谈:全是RSI非共识
李飞飞:回顾你的职业经历,你们四个人在Google和整个领域做了很多工作。就把那一天当作一个历史节点,某种意义上是生成模型时代的起点。
量子位听雨2026/11/7 · 8 天前1 分钟阅读中文
以下正文同步自 量子位,版权归原站所有,已转换为易读排版。
李飞飞:回顾你的职业经历,你们四个人在Google和整个领域做了很多工作。就把那一天当作一个历史节点,某种意义上是生成模型时代的起点。
过去差不多9年里,哪些技术时刻对你最重要?也请坦率地说说,哪些预测对了,哪些预测错了?
Jeff Dean:有几件事情比较突出。我们做的许多工作都带来了重要改进,就像前面那张幻灯片列出的内容。
Transformer是处理这些问题更高效的模型架构。保存此前的状态,再通过注意力机制访问它们,这个想法很有价值。
早期的方法则是每一步更新一个较小的向量,并遗忘此前的状态。相比早期LSTM一类模型,Transformer可以用更少的计算学到更多东西。
然后是Oriol、Geoff Hinton和我做的蒸馏工作。它在2016年被NeurIPS拒绝,评语说不太可能产生什么影响。
〔注:这里指Geoffrey Hinton、Oriol Vinyals和Jeff Dean合著的《Distilling the Knowledge in a Neural Network》(《神经网络中的知识蒸馏》)〕
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。