返回资讯中心
外部精选
软件工程
#开发者实时流

两人实验室花约2万美元训练出文本到图像模型,权重以Apache 2.0开源

来源标题:Show HN: A decent text-to-image model trained for ~$20K (Apache 2.0 Weights)

一个两人的实验室以约2万美元成本训练出一款文本到图像模型,并以Apache 2.0协议公开模型权重。该团队称其采用免VAE的像素空间扩散方法,收敛速度比此前的潜空间扩散模型快11倍。他们原本的目标是降低生成视频模型的推理成本,以便用于动画创作工具。

Hacker News 最新schopra9092026/11/4 · 13 天前5 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我哥哥和我经营着一家两人的实验室,从零开始训练自己的生成式视频模型。最终目标是打造一套创作工具,让任何人都能更轻松地制作动画。如今的视频模型太慢、太贵,而且缺少足够的控制能力。创作是一个反复迭代的过程。你做出来,再调整,然后变得更好。在我们看来,这些模型目前还无法用于讲故事。今年早些时候,我们着手构建 Linum v3(我们的下一代视频模型)时,首要目标是大幅降低推理的成本门槛。如果我们的模型又快又便宜,那就是通往实用创作工具的第一步(也是众多步骤中的第一步)。通常,你会看到“潜扩散模型”。VAE(变分自编码器)把输入数据压缩到一个更小的“潜空间”中,扩散模型则学习在这个子空间内生成内容。过去几个月,我们一直在发表关于高效像素空间扩散模型的研究。这些研究抛弃了 VAE,让扩散模型学习一个专门为其具体任务优化的潜空间。这有三个好处: 1)简化架构(无需两阶段模型训练) 2)更快收敛(相比我们的潜扩散对应模型,收敛速度快 11 倍) 3)更便宜的推理(在注意力上下文窗口中更激进地减少 token,减少量达 4 倍,而质量没有明显损失)上个月,我们通过比通常的一次性实验更长时间地训练一个文生图模型,对我们的最新架构(Pyramid-JiT)进行了压力测试。具体来说,我们花了约 2 万美元在 6.6 亿个样本上训练了它。结果的质量让我们感到惊讶,所以我们想把它作为开放权重发布给社区(Apache 2.0)。研究本身已经公开,在我们的网站上。对我们来说,这是迈向更便宜视频模型的一大块垫脚石,因为几乎所有视频模型都是从图像模型起步的。我们喜欢说,这些模型必须先学会名词,才能学会动词。

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →