
开发者用纯CSS在网页上运行GPT-2模型
来源标题:Implementing GPT-2 in CSS
开发者仅用CSS和可变字体文件,在网页上实现了GPT-2模型的推理运行,未使用JavaScript或WASM。该模型含约1.24亿参数,推理速度约为每token 15秒。作者表示整个过程经历了数百次实验和数小时试错。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
用CSS实现GPT-2
一段穿越网页奇技淫巧蛮荒西部的旅程。
TL;DR:我让GPT-2在网页上跑起来了,只用了CSS(有趣的是,还用了一堆可变字体文件)。这个模型包含约1.24亿参数,推理速度大约15秒/token(运气好的时候)。你可以在这里试试!
这个冒险的起因很平常,我在时间线上看到了一条推文: CMake差不多算是一门编程语言了。把这个类别拉伸到最极端:最离谱的“编程”语言是什么?CSS。
我给自己设定的唯一真正限制是:不能用任何JavaScript/WASM做推理,也不能用其他任何语言(我确实用Python提前写好了样式表,但这不算作弊,因为打开页面时这些代码根本不运行)。
下面是我们如何在不借助图灵完备语言的情况下,接收你输入的文本并计算出后续单词的粗略概述:
走到这一步经历了数百次实验和数小时的反复试错,但我想带你走一遍我们如何生成单个token,以及其中涉及的CSS数学和可变字体做矩阵乘法的各种技巧。
我遇到的第一个问题是:CSS到底能不能完成神经网络所需的算术运算(以及非线性操作),更不用说transformer了?
结果发现,现代CSS已经相当接近图灵完备,而且还有一些非常有趣的特性。我已经大致熟悉了calc(),它让我们可以在样式表中做加减乘除,CSS还允许我们定义变量并像这样引用: :root { --a: 0.5; --b: 2; } .neuron { --out: calc(var(--a) * var(--b)); } /* 1 */
那个calc()本身就是浏览器帮我们算的乘法,这意味着我们至少理论上可以把神经网络中的任意加权和写成一个长长的calc()表达式。
为了测试这一点,我构建了一个微型transformer,词表只有7个字符,权重随机,因为此时我只关心它能不能吐出token。
CSS没有任何数组原语,所以我不得不把每个权重直接写进样式表(好吧,我让一个Python脚本写的)。查询向量中的单个数字大概长这样: --generation-0-q-2-0: calc( 0 /* bias */
- (var(--generation-0-ln1-2-value-0)) * -0.01020212
- (var(--generation-0-ln1-2-value-1)) * -0.03555801 /* … through value-11 */ );
这个微型模型的其余部分相当简单。对于LayerNorm,我们可以用calc()求均值,剩下的交给pow()和sqrt();对于注意力中的softmax,我们可以先用max()减去最大分数,再用exp()对每个值做指数运算。
然而,在我实现softmax之后,页面每一步都显示了全部7个字符,就好像我们的模型根本没有预测出特定的下一个token。
当我逐个检查变量时,发现样式表中4,509个变量里只有前265个被赋了值。嗯,奇怪。
直觉上,你会以为变量是把值存在内存里,需要时再取出来。错了!
当你写var(--variable-name)时,浏览器的样式引擎实际上是在复制该变量对应的整个表达式,如果那个表达式里嵌套了变量,它还会递归展开:
这个过程中从来没有一个数字被真正注册下来,是不是很奇怪?过不了多久,你就会得到一条巨大的操作链,远远超出页面的处理能力。
幸运的是,CSS有一个解决办法,就是用@property at-rule注册每个变量。一旦变量有了声明的类型,浏览器就会计算一次并保留实际的数值: syntax: "<number>"; inherits: true; initial-value: 0; :root { --variable-name: calc(2 * 3); /* stored as the number 6, not the text "calc(2 * 3)" */
一旦我用这种方式注册了每个变量,表达式终于能被正确计算了。
当我再次打开页面时,每一步只显示一个字符。我的提示“ ab”给出了“cde”,和我的Python脚本预测的结果一致。
做个对比,我原本打算从这个只有1,435个参数的假transformer扩展到GPT-2 small,后者约有1.24亿参数。
目前,每个乘加运算的每一项都明确写在样式表里,估计每项在25到50字节之间,我预测样式表大小会在3到6 GB之间。而且,这一切还只是为了生成一个token。
是啊,这不可能在网页上加载。你开始看出当前方案无法规模化运作了。
大概就在这个时候,项目不可避免地搁置了一段时间。我尝试了各种压缩技术,但效果似乎都不够显著,而且内存占用直接把浏览器搞崩了。
在这段时间的某个节点,我读到一篇非常棒的关于字体工作原理的深入文章(也就是OpenType规范),其中有一段关于可变字体的内容引起了我的注意:
这听起来莫名像点积?类似于我们在样式表中手工做的事情。有没有可能浏览器的字体渲染引擎能替我们完成矩阵乘法?
你大概玩过字体粗细(粗体、细体等)。过去,字体设计师必须精心雕琢序列中的每一个字重(细、中、粗、超粗),如果你想要介于两者之间的效果,就只能听凭字体设计师的安排。
然后有人有了一个绝妙的想法:如果我们只画两个极端(细和粗),然后定义每个字形如何在它们之间平滑过渡呢?
想象一个旋钮,向左转字体变细,向右转字体变粗。我们转的这个旋钮正式名称叫轴(axis),可以从CSS这样设置: font-variation-settings: "wght" 700;
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。