大学生用C++从零手写神经网络框架并训练小型语言模型
来源标题:I wrote a neural network framework in C++ and trained a tiny LM on it
uOttawa计算机与数学专业一年级学生Eli Levasseur从7月起不借助任何外部数学或机器学习库,用C++从零编写神经网络框架,并用它训练了一个小型语言模型。该模型在儿童故事上训练后能写出通顺的开头,但很快暴露出缺乏上下文理解能力的问题,目前为1.0版本。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
我叫Eli Levasseur,是uOttawa计算机科学和数学专业的一年级学生。从七月起,我一直在用C++写一个神经网络框架,没有借助任何外部的数学或机器学习库,因为我想弄清楚每个部分是怎么运作的,而不是再做又一个PyTorch数据科学项目。这个月我用它在一个儿童故事数据集上训练了一个小型语言模型。下面是我给它一个故事开头时它写出来的东西:
Once upon a time, there was a little boy named Tim. He loved to go to the dog. He saw a knowin felt a big smile. She was very excited. She cat not like came to the door too. They are don
第一句还算通顺,但之后就明显能看出模型并不理解上下文。这就是为什么它还只是1.0版,这篇文章讲的是我一路走到今天的经历,以及接下来的计划。
我的第一次提交是一个很小、很简单的硬编码多层感知机,用了多得离谱的嵌套std::vector:sigmoid层、二元交叉熵,以及一次一个样本的普通SGD,反向传播是手写出来的。那个模型现在已经冻结,被当作参照标准。在测试中,只要新代码算出一个数,我就把它和旧模型在相同权重、相同输入下给出的结果作比较。
真正的框架nnet围绕一个Tensor构建:一个带形状的扁平double数组,其中直到最后两个行、列维度之前的前导维度都算作batch维度。在此基础上,它还有:
因为有autograd——我构建的用来追踪每一次运算并把梯度自动回传给权重的系统——层根本不需要backward方法。
下面是本文开头提到的语言模型架构,用这个神经网络框架搭建:
std::mt19937 weightGenerator(42);
std::vector<std::unique_ptr<nnet::Unary_Module>> components;
components.push_back(std::make_unique<nnet::Embedding>(256, 16, weightGenerator));
components.push_back(std::make_unique<nnet::Dense>(32 * 16, 128, weightGenerator));
components.push_back(std::make_unique<nnet::ReLU>());
components.push_back(std::make_unique<nnet::Dense>(128, 64, weightGenerator));
components.push_back(std::make_unique<nnet::ReLU>());
components.push_back(std::make_unique<nnet::Dense>(64, 256, weightGenerator));
nnet::Sequential model(std::move(components));
以及一次训练步骤:
// windowIds is [128, 32] byte ids, nextCharacters is [128, 256] one hot encoded rows
nnet::AdamOptimizer optimizer(model.parameters(), 0.002);
model.zeroGrad();
nnet::Value prediction = model.forward(nnet::makeLeaf(windowIds, false));
nnet::Value loss = nnet::softmaxCrossEntropy(prediction, nnet::makeLeaf(nextCharacters, false));
nnet::backward(loss);
optimizer.step();
四个测试套件里一共有420项检查。一致性测试会用三种方式算出每一个梯度:用旧的参照模型、用手工基于张量运算搭出的反向传播、以及用autograd。三者必须在1e-12的误差范围内一致。所有代码在-Wall -Wextra -Wpedantic下构建无警告,并且在AddressSanitizer和UndefinedBehaviorSanitizer下通过。
我确实用了AI来帮忙写一部分测试,因为全面的一致性测试对我来说还是个新东西。
训练语言模型会把同样的几种矩阵形状重复相乘数百万次,所以内部的矩阵乘法系统决定了整个过程要花多久。我模型里最大的一次是128行×512的batch乘以512×128的权重。我最初的matmul用的是教科书式的循环顺序(i-j-k),跑到了3.33 GFLOP/s。把两个内层循环换成i-k-j后,达到了30.0 GFLOP/s。完全相同的数学运算,快了9倍。
原因在于内存。每个矩阵是一行接一行存储的。用i-j-k时,最内层循环沿着右矩阵的一列向下走,每一步跳128个double(1 KB),所以几乎每次读取都错过缓存。用i-k-j时,最内层循环沿着右矩阵的一行和输出的一行走,这正是CPU缓存擅长处理的。
再加上用-march=native编译,训练速度几乎翻了一倍。之后我尝试用多线程来拆分工作负载。大的矩阵乘法把行分给16个线程,但在我机器上启动16个线程大约要0.85 ms,所以对于小的乘法,单线程更快。在我的Ryzen 9 9950X上,开始变得划算的临界点大约是1600万次乘加,所以我把阈值设在3200万。我语言模型里最大的乘法是840万次,这意味着它仍然在单核上训练。跑一个epoch大约要11分钟。
30 GFLOP/s距离OpenBLAS还很远,同样的形状它在单核上大约能跑到113。缩小这个差距是我接下来要做的事。
GLM把文本当作原始字节来读,所以它的词表就是256个可能的字节值,没有词表。它就是看32个字符,预测下一个。写作时,它预测一个字符,加到文本末尾,把窗口向前滑一格,然后重复。
我在TinyStories的一个22.5 MB子集上训练它,这是一个词汇量很小的儿童短篇故事数据集。前90%用于训练,大约2000万个窗口。把每个窗口都复制成double大约要占5 GB,所以一个窗口只是存储文本中的一个位置。
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。