
Semantic Scholar 发布 arXiv 浏览量最高论文榜单
来源标题:List of most viewed papers on ArXiv
Semantic Scholar 整理了一份基于 arXiv 引用的最受欢迎论文合集,展示哪些研究最受研究者关注。榜单中包括提出 Transformer 架构的论文《Attention Is All You Need》,该模型完全基于注意力机制,在 WMT 2014 英德翻译任务上取得 28.4 BLEU,比现有最佳结果(含集成模型)高出 2 BLEU 以上。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
欢迎来到 Semantic Scholar 精选的热门论文合集,这些论文通过 arXiv 推荐筛选而来,为你提供关于研究者真正关注什么的宝贵洞察。这些论文在研究界引起了广泛共鸣,也因在 arXiv 上的热度而获得了可信度——arXiv 是学术内容的可靠来源。 如果你有任何反馈或建议,请联系我们。 主流的序列转换模型基于复杂的循环或卷积神经网络,采用编码器-解码器结构。性能最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种全新的简单网络架构——Transformer,它完全基于注意力机制,彻底摒弃了循环和卷积。在两个机器翻译任务上的实验表明,这些模型在质量上更优,同时更具并行性,训练所需时间也显著减少。我们的模型在 WMT 2014 英德翻译任务上达到 28.4 BLEU,比现有最佳结果(包括集成模型)高出超过 2 BLEU。在 WMT 2014 英法翻译任务上,我们的模型在 8 块 GPU 上训练 3.5 天后,建立了新的单模型最优 BLEU 分数 41.8,训练成本仅为文献中最佳模型的一小部分。我们还将 Transformer 成功应用于英语成分句法分析(分别使用大规模和有限训练数据),表明它能很好地泛化到其他任务。 我们提出了一种全新的简单网络架构——Transformer,它完全基于注意力机制,彻底摒弃了循环和卷积,并通过成功应用于大规模和有限训练数据下的英语成分句法分析,表明它能很好地泛化到其他任务。 我们报告了 GPT-4 的开发情况。GPT-4 是一个大规模多模态模型,可以接受图像和文本输入并产生文本输出。尽管在许多真实世界场景中不如人类能干,但 GPT-4 在各种专业和学术基准上表现出人类水平的表现,包括在模拟律师考试中取得约前 10% 考生的分数。GPT-4 是一个基于 Transformer 的模型,经过预训练来预测文档中的下一个 token。训练后的对齐过程提高了事实性和遵循期望行为方面的表现。该项目的核心组成部分是开发在各种规模下行为可预测的基础设施和优化方法。这使我们能够根据计算量不超过 GPT-4 的 1/1,000 的模型,准确预测 GPT-4 性能的某些方面。 尽管 Transformer 架构已成为自然语言处理任务的事实标准,但其在计算机视觉中的应用仍然有限。在视觉领域,注意力要么与卷积网络结合使用,要么用于替换卷积网络的某些组件,同时保持其整体结构不变。我们表明,这种对 CNN 的依赖并非必要,直接将纯 Transformer 应用于图像块序列就能在图像分类任务上表现优异。当在大量数据上预训练并迁移到多个中型或小型图像识别基准(ImageNet、CIFAR-100、VTAB 等)时,Vision Transformer(ViT)相比最先进的卷积网络取得了优异的结果,同时训练所需的计算资源大幅减少。 相比最先进的卷积网络,Vision Transformer(ViT)取得了优异的结果,同时训练所需的计算资源大幅减少。 我们提出了一种基于生成对抗网络(GAN)的房间脉冲响应生成器,用于生成逼真的合成房间脉冲响应。我们提出的生成器可以通过参数化控制真实世界房间脉冲响应中捕获的声学特征来创建合成房间脉冲响应。我们基于 GAN 的房间脉冲响应生成器(IR-GAN)能够改善训练期间未知环境中的远场自动语音识别。我们通过将合成的房间脉冲响应与干净的 LibriSpeech 数据集增强,创建了远场语音训练集。我们在使用 BUT ReverbDB 和 AIR 数据集中的真实脉冲响应创建的真实世界 LibriSpeech 测试集上评估了房间脉冲响应的质量。此外,我们将合成数据与使用声学模拟器生成的合成脉冲响应相结合,这种组合可以在远场语音识别基准上将词错误率降低多达 14.3%。 基于 GAN 的房间脉冲响应生成器(IR-GAN)能够改善训练期间未知环境中的远场自动语音识别,并可以在远场语音识别基准上将词错误率降低多达 14.3%。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。