小型团队自研Tensor Engine，单台MacBook Pro在WWDC26 LoRA微调中胜过四台Mac Studio

我们是一个小团队，拥有自己的数学体系和从零开始构建的Tensor Engine。我们由理论、架构和测量驱动。我们的两篇论文发布在Publication页面上。

我曾带领一个团队约十年。我们为wash sale构建了一个引擎，这是华尔街税务中最繁重的数字运算工作之一。当我遇到Transformer时，我感到震惊。几秒钟内完成数十亿次计算。对我来说，这不是编程，而是注入机器的纯粹数学。我不过是井底之蛙。

我在PyTorch中设计了几种流水线并行形式。它们都太脆弱且性能不佳。数学上没有任何阻碍。我坚信数学不会说谎。脆弱性必然出在执行层面，但我看不到什么失败了、在哪里失败。于是，大约在2025年万圣节前后，我们启动了自己的Tensor Engine。

今天，我们自豪地将流水线并行带入现实。这是一个小小的开始。我们愿意相信我们稍微改变了未来。我们是数字人，我们用测量说话。结果如下。

任务是Apple自己的：Qwen3.5-9B LoRA微调，Apple在WWDC 2026上展示的配方和命令。一台机器每步训练4个样本，四台机器训练16个，正如Apple的两条命令所示。机器不同，Apple的数据是其在会议上所述。我们没有运行Apple的设置。我们每次四台Mac的运行都超过Apple数据的8倍。最慢的是8.45倍。细节在我们的单Mac报告和四Mac报告中。

你今天就可以下载NukeTorch用于单台Mac，亲自测试我们的速度。这个首个版本运行模型。多机流水线训练器目前仅限邀请：[email protected]

首先是速度，即让一台配备48 GB的MacBook Pro M5 Max击败四台M3 Ultra Mac Studios的部分。我们将讨论它来自的两个主要方面。两者都已发表。

张量的值是固定的。如何存储和读取是一种选择。Unfolding就是改变这种选择。内存是一行。多个值共享一个机器字，一个内核一次取少量值。如果它的一把值分散在许多字中，它就会取许多字来使用几个值。如果一个字容纳c个值，内核进行m次抽取，它必须取的字数Φ满足：

Unfolding将存储移到低端，Φ = m。一个真实案例：一个公开的四位模型将八个相邻编码打包到每个32位字中，但我们解码内核的每个通道取每第32个编码。展开后，一个通道需要的八个编码共享一个字，每个块的字取数从256降到32。

你也可以保持文件不变，重新绘制内核。在一个矩阵上，一个按原样读取文件的测试内核运行速度比我们引擎的循环快4.9倍：每秒516 GB，是Apple为该芯片标称的每秒546 GB的94%。

这是一段发现之旅。起初我们将收益归因于值的顺序。经过多次迭代，我们了解到大部分收益来自内核循环的形式。细节在我们的论文Unfolding: Theory and Principles中。如果有足够兴趣，我可以再写一篇文章，这样你就不必自己读全部27页。

我们将任何设备上运行的任何神经网络称为神经模拟。其中的矩阵乘积有三个轴：行M、输出宽度N和归约长度K，即求和到每个输出值的乘积数量。我们原以为程序的大小决定其速度。但并非如此。速率由一个轴决定，即求和长度K。过了拐点，K加倍速率减半。于是我们将一个长求和切成P个较短的求和，再相加部分和。

在那对层上，整形将速率从3.12提高到3.46倍，而按输出通道切分则保持在0.99到1.00倍。同样的改变下，Whisper large-v3-turbo转录在M4 Max和M5 Max上分别减少了21.5%和21.9%的时间。它并不总是有效：每次调用一行时，切分最多增益3.4%。完整细节在Understanding the Shapes of Neural Simulation，28页。同样，如果需要我可以再写一篇文章。

Unfolding和整形：我们相信它们是我们速度的重要部分。一个诚实的说明：两篇论文测量的都是推理，我们尚未发表训练速度的分解。我们希望你能尝试这些想法，在自己的处理中找到额外速度。我们很想知道它们对你效果如何。

我们将我们的命名为Choo-Choo Relay Train。像火车一样，它用一根Thunderbolt线将机器连成一线。你可以在我们X上的视频中看到我们的设置。

使用四台机器的通常方式是数据并行：每台机器持有整个模型。Apple的WWDC26运行是数据并行。在流水线中，每台机器只持有分配给它的层，它们一起作为一台分布式机器工作。它不会让单个提示更快。我们的速度来自数学。这就是为什么它是我们的北极星。模型不再必须装在一台机器里：那个106.3 GB的模型以一个用户177.7 tokens/s和32个用户859.0 tokens/s提供服务。没有特殊互连，没有机架，没有特殊冷却。我们相信这将改变AI数据中心的建设方式。

如果你喜欢阅读我们的旅程，请分享你对我们方法的想法。并告诉我们下载对你效果如何。

我正在考虑下一篇文章的以下选项。让我知道你想先读哪一个。

对于像我们这样的小团队，没有他人的贡献就不可能实现：了不起的CUDA社区、像Qwen这样的开源模型、沉积在arXiv中的知识海洋、oMLX社区——我们的许多模型来源于此、Apple的个人AI机器，以及前沿AI模型的爆发，我们承认它们不是工具而是合作伙伴。

我们希望为智能的基本加速做出回馈。