
开发者将语言模型权重编码进二维码,扫码即可运行
来源标题:This QR code is a language model
一位开发者把1984个参数量化为-15到15的整数,以31进制编码成一个2959位的十进制大数,再压缩进一张二维码。二维码中的程序在浏览器里解码该数字、还原权重并运行这个语言模型。权重需为整数以压缩体积,使用十进制数字存储是因为二维码对数字编码效率最高。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
地址用大写,是因为 QR 码对大写字母有紧凑编码模式,而 URL 的 scheme 和 host 本来就不区分大小写。# 后面的三位数字告诉页面程序在哪里结束、权重从哪里开始。
这个网络经过训练,每个权重都是 −15 到 15 之间的整数。也就是有 31 种可能取值,因此每个权重可以对应一个 31 进制数字的一位。下面是链接中前三个权重的情形:
对所有 1,984 个权重都这样做,得到的数字有 2,959 位:
8998716153969059216126347890566834857996904478345096280655978142 …
用十进制存储,是因为 QR 码最擅长存数字:每 3 位数字占 10 比特。我最初的版本每个权重写一个字符,结果需要大得多的码。
最后一行就是上面代码里的那一行。权重更粗,但数量更多,反而得到了更好的模型。程序的第一行把数字还原成权重:
for (n = BigInt(d), W = [], i = 1984; i--; ) W[i] = Number(n - (n /= 31n) * 31n) - 15;
d 是数字字符串。每一步除以 31。余数是一个权重,剩下的数留给下一个权重用。
它一次写一个字符。要选下一个字符,它会看自己刚写出的最后三个字符,以及目前名字有多长。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。