大学生用单张RTX 3090 Ti开发地形生成算法,论文被SIGGRAPH 2026接收
来源标题:Writing a Siggraph Paper from Scratch
一名大学生在2024年9月启动业余项目Terrain Diffusion,期间提出无限扩散生成算法InfiniteDiffusion,论文于2025年12月发布预印本后投稿SIGGRAPH 2026并被接收。该项目使用一张RTX 3090 Ti显卡完成,作者期间还搬至加州并入职Walmart。论文衍生出的Minecraft模组被AsianHalfSquat展示,观看量超百万,预印本也登上HackerNews首页。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
2024年9月,大学最后一年,我开始做一个叫“Terrain Diffusion”的副业项目。目标是做一个学习式程序化地形生成器,能几乎无缝地接入任何游戏引擎。当时我手头只有一块RTX 3090 Ti,是那年夏天在沃尔玛实习赚的钱买的。做这个项目的过程中,我开发出了InfiniteDiffusion,一种用扩散模型做无限生成的新算法[5]。之后我继续推进这项工作,贯穿了大学最后一年、搬到加州、以及在沃尔玛做全职SWE的整个过程。2025年12月,我在ArXiv上发布了第一版预印本;1月投稿到SIGGRAPH 2026,后来被接收了。
令我高兴的是,这篇论文反响非常好!我把Terrain Diffusion做成了一个Minecraft模组,AsianHalfSquat做了展示,观众超过一百万。论文在Twitter上的发布也火到了我能期望的程度,同样接近百万浏览。不久之后,Two Minute Papers也介绍了这篇论文。预印本还上了HackerNews首页。
这篇论文是我大约十年机器学习自学的成果,不过直到很晚,发表才成为我的目标。我不打算把这写成一篇SIGGRAPH(或任何会议)投稿教程,因为我不觉得自己在这个话题上是什么专家。我只想分享自己的经历,让你在决定走我这条路时,对可能遇到的情况有个更清楚的预期。我也会分享我是怎么学到这些东西的,因为学习方法上我确实有一套流程,而且已经证明相当有效。
Terrain Diffusion,运行在Minecraft中。 章节 我13岁开始编程,大约一年时间里积累了一个不算大的作品集,主要是简单的Java和C#应用。这些都不算特别厉害,但整个学习和构建的过程让我觉得很充实。随着技能提升,专精的吸引力越来越大——做出真正让自己骄傲的东西,不只是为了过程,也为了结果。我喜欢数学,所以特别感兴趣的是能把编程和数学结合起来的项目,同时用上两种能力。图形学就是这样一个领域,接下来一年我花了不少时间学C++和各种图形库。
在另一个平行宇宙里,我可能会全力投入渲染,但差不多这个时候StyleGAN出来了[8],能从无到有生成照片级真实的图像,这让我大为震撼。粗略读了一遍论文,我发现很多内容出乎意料地直观,不过有大量术语我从没听过,所以整体图景还是够不着。尽管如此,我对这项技术怎么用有无数想法(包括做地形生成器!),于是决定学怎么用它。
一开始我跟着TensorFlow教程学,但很快就发现这条路走不通。照着步骤我能做完,可一旦要自己独立应用这些知识,我就完全不知道该怎么办(公平地说,这可能只是TensorFlow v1设计得离谱地令人困惑)。我意识到自己欠了“前置知识的债”——教程教我怎么把层拼起来,但不知道这些层到底代表什么,那些知识基本没用。于是我整理了一份学习计划,从我认为可能有用的所有数学开始,最后以“A Super Harsh Guide to Machine Learning”收尾,那份指南看起来挺全面。最终清单如下:
我每天投入大约1到2小时来完成这个计划,目标是每天约10页。微积分和线性代数花了大约1.5年,剩下的部分又花了一年。数学教材我基本没怎么做完整习题,而是读题、在脑子里想解法。我发现只要对自己诚实,这样通常很容易判断自己到底懂没懂。
教材读完后,我花了1到2年读ArXiv上的各种论文,主要聚焦计算机视觉。这时候我发现最有效的策略是:找到自己感兴趣方向的最先进工作,然后顺着参考文献递归地去找,要么是直接的前置工作,要么是有用的工作。我觉得“相关工作”部分特别有帮助,因为它们通常会覆盖之前的SOTA,还常常按技术分类,给你一条方便顺着走的链。任何对实现至关重要的方法,或者我在其他论文里频繁看到的方法,我也会再去详细读一读。与此同时,我开始学代码那一侧的东西;一旦理解了教材,学库就几乎变得轻而易举——学习曲线主要只是适应Python,而我本来最熟悉Java和C++这类静态类型语言。
对我执行的这个计划,我几乎没有什么后悔的;对今天想学基础知识的人,我觉得也不需要做太多修改。即使ML领域指数级增长,基础知识基本没变。话虽如此,深度学习那本书的第三部分你基本可以跳过,那时间大概更适合用来学那本书成书太早、没来得及覆盖的东西,比如transformers和扩散模型。扩散模型的历史尤其复杂,但好在有一本很棒的(免费)教材[10]讲这个主题,如果你感兴趣,我强烈推荐。至于transformers,从Attention Is All You Need[18]以来,核心基本没变,除了一些进展,几天就能补上1。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。