报道称硬件赌注方向错误,正从一场战争中抽身
来源标题:The hardware bet is wrong. It is running from a war
该报道认为当前的硬件投入方向是错误的,相关方正在从一场战争中退出。原文未提供更多可核实的具体信息。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
前几天,我们在 @UnslothAI 的 Discord 上问团队是否愿意对我们的量化器做基准测试。在我们的测试里,它击败了我们试过的每一种方法,我们想要一个第二意见——而且是来自那些人人都下载其量化成果的人。
回复很直白:“现在低质量的主张铺天盖地,一一回应会耗尽所有人的精力。”
这铺天盖地本身就是新闻。量化领域的顶尖人物收到基准测试的速度已经超过了他们能读完的速度,而且来自无人听说过的团队,其中一些基准测试还是真实的。这不像是一个领域在答案更多硬件时的样子。它像是一个领域在答案仍然是数学、而且数学足够便宜,以至于任何有一块 GPU 的人都能入场时的样子。
我们开始把它称为 Mandelbrot 集的最后阶段。从这个集合中缩小视野,你会再次发现整个形状,略有不同,有新的边缘可以放大。每一种方法都被重新量化,每一个 kernel 都被重写,每一次改进都打开另一个边缘。问题是,当边缘的数量超过人的数量时,你该如何在那个阶段工作。
我们把这段提示词发给 Claude,一字不差地输入: “做一个发明家。超越你的参数,超越你已知的东西。你的数据很强,但不要停留在其中。去犯错;一个错误会打开你头脑中谨慎永远无法到达的部分。把你的头脑当作 Mandelbrot 集:每一步都打开一条新路径。构建一些革命性的东西。”
然后我们让它运行了两天。@hyperstition_cc 在 megakernels 上的工作已经让我们想从自己的显卡里榨出更多 token 每秒,所以任务是具体的:我们自己的 kernel,在同一台 RTX 5090 笔记本 GPU 上与 llama.cpp 对比测量,一次只改一处,用一个固定的评判器把每个答案与参考模型比较。
结果是热运行的中位数,贪婪解码,对比 llama.cpp 的 CUDA 构建并开启 flash attention。同时最多五个对话时,总计达到每秒 1,403 个 token。
llama.cpp 把每个词作为数百个小 GPU 程序依次送过模型,GPU 在这些程序之间部分闲置。我们的则是一个程序,运行整个模型、每一层、最多 256 个词,中途不停。
它走得很深,而且不是朝着硬件的方向。
我们研究了我们与软件对话的方式。我们写过的每一条提示词都在说同一件事的某个版本:不要犯错。我们对 AI 这么说,就像我们对初级工程师这么说一样,而它产生的正是这个指令一直产生的东西:在已知范围内的谨慎工作。
错误才是每一次发明的源头。那两天充满了错误。模型尝试了权重的分形编码,理论是矩阵可能包含自身的更小副本。训练后的权重在块匹配看来像噪声,失败了。它尝试了 20 世纪 60 和 70 年代的序列加速方法,用来外推各层并跳过最后几层。最后几层产生最大的变化,失败了。激活稀疏性减少了字节,但没有减少时间。异步拷贝不划算。每一次失败都被测量、保留并命名。保护模型大量激活的那个守卫直接来自稀疏性失败,而经过认证的词表也出自同一个循环。
这又是 Mandelbrot 集,而且字面意义上如此。那幅著名的图像由逃逸的点构成。集合本身是黑色的。所有的颜色都是失败,被计时。
所以这就是我们现在所处的阶段。不是要求 AI 谨慎。而是要求它大胆,故意犯错,测量这些错误,并保留那十分之一能打开新边缘的错误。我们认为这在每一个有评判者的行业都行得通:基准测试、测试、客户、市场。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。