返回资讯中心
外部精选
软件工程
#开发者实时流

小型团队自研Tensor Engine,在Mac上运行Nvidia模型速度提升2.45倍

来源标题:Now Nvidia loses on speed – Nvidia's own model 2.45x faster on Macs

一个小型团队用自研数学方法和从零构建的Tensor Engine实现流水线并行,使Nvidia自家模型在Mac上运行速度达到2.45倍。团队称这是首个在速度上让Nvidia配备足够RAM仍输给Mac的案例,且不涉及能效或单卡无法容纳的大模型。

Hacker News 最新klay_moon2026/11/13 · 4 天前25 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

我们是一个小团队,拥有自己的数学体系和从零构建的Tensor Engine。我们由理论、架构和测量驱动。我们的两篇论文发布在Publication页面上。

大约十年前,我带领一个团队为洗售交易构建了一个引擎,这是华尔街税务领域计算量最大的工作之一。当我第一次接触Transformer时,我感到震惊。几秒钟内完成数十亿次计算。对我来说,这不是编程,而是注入机器的纯粹数学。我不过是井底之蛙。

我在PyTorch中设计了几种流水线并行方案。它们都太脆弱,性能不佳。数学上没有任何阻碍。我相信一件事:数学不会说谎。脆弱性一定出在执行层面,但我看不到什么失败了、在哪里失败。于是,在2025年万圣节前后,我们启动了自己的Tensor Engine。

今天,我们自豪地将流水线并行带入实际应用。这只是一个小的开始。我们愿意相信我们稍微改变了未来。

你上一次看到NVIDIA拥有足够的内存却在速度上输给Mac是什么时候?不,我们说的不是能效,也不是一个永远无法装进单卡的大模型。

GR00T是NVIDIA开发的一个热门机器人模型。NVIDIA在此处发布了其在H100上的性能数据。随后Fenon AI同样在H100上超越了它。问题是:NVIDIA自己的模型在高度优化的配置上,会在速度上输给Mac吗?继续阅读以了解结果、方法以及如何自行运行。

一个机器人策略通过机器人的摄像头观察,并回答下一组动作。一个回答就是一个chunk:模型预测40个动作步骤,客户端使用16个。

一个房间里的机器人不需要一个快速回答。它需要同时获得许多回答。因此许多机器人共享一个模型。等待中的请求会被一起应答,一次模型调用最多处理16个。每台Mac持有自己的模型副本,服务自己的48个客户端。

在一个回答内部,发生三件事。视觉部分读取两个摄像头帧。语言部分读取指令和机器人的状态。然后动作部分——一个扩散Transformer——在4个去噪步骤中将其转化为运动。

模型的值是NVIDIA的,未作更改,采用16位精度。我们改变的是引擎运行它们的方式。用我们报告中的话来说,该构建使用了“M5 FP16投影、Neural Accelerator视觉注意力、打包DiT投影和暂存复用”。这些改进合在一起,将单个请求从我们初始构建的62.66 ms降低到44.34 ms:快了1.41倍。引擎与我们第一篇文章中的是同一个。

H100的数据是其他人发布的,针对的是单次一个请求。我们没有运行它们,也没有人发布过H100在同时处理多请求时的速率。我们的是同时192个客户端,用四台机器对一张卡。

对于单次一个请求,H100更快。它的HBM内存带宽更高,这对于单个机器人的推理更优。如果你只有一个机器人,H100胜出。

当你有很多机器人时,四台MacBook Pro为它们提供的服务比已发表的最快H100数据快2.45倍,比NVIDIA自己发布的数据快4.24倍。

还有价格。四台这样的MacBook Pro标价$19,996。一张H100卡至少$25,000,而且你不能单独运行一张H100。

我们自己的目标是每台Mac每秒100个chunk。我们没有达到。

没有机器人移动。录制的摄像头帧输入,动作输出。这是策略回答的速度,而不是机器人完成任务的好坏。

在192个客户端的负载下,一半的回答在1,275 ms内返回。测量运行中的全部1,536个请求都返回了有效动作,0错误。详情在我们的GR00T报告中。

单Mac版本可免费下载。获取NukeTorch和GR00T捆绑包,并按照README中的GR00T部分操作。将策略与一个文本模型一起启动服务器,并运行内置基准测试。它会将你的运行结果与我们的并列展示。

在一台配备48 GB内存的MacBook Pro M5 Max上,我们测得16个客户端时每秒37.2个chunk,单次一个请求为44.8 ms。如果你有更强大的Mac,我们很想听听你的结果。

对于多机器版本,请申请评估许可证:[email protected]

一个没有专用数据中心的机器人实验室。桌上的四台笔记本电脑,使用墙电,没有机架,没有外置风扇,没有液冷,为192个机器人运行推理。无需等待电力许可。

机器人技术是我们的全部关注点。请与我们分享你最需要什么:每台机器支持更多机器人、更快的单次回答,还是另一个策略模型。

速度是我们的热情所在。我们的问题是:

GR00T是一项研究,探讨价格相近的消费级MacBook能否在速度上战胜高度优化的NVIDIA硬件。

大多数分析师估计,售出的AI芯片中大约五分之四是NVIDIA的。NVIDIA在大模型训练领域的掌控力更强。这看起来像一个神圣的领域,几乎不允许其他人涉足。我们想:我们有机会吗?

在WWDC 2026上,Apple分享了一段训练视频。Apple使用数据并行在四台M3 Ultra机器上对Qwen3.5-9B进行LoRA微调。所以我们也做了。同样的任务。同样的配方。同样的WikiSQL训练步骤。我们想看看我们的NukeTorch表现如何。

  • 一台机器每步训练4个样本,四台机器训练16个,如同Apple的两条命令。机器不同,Apple的数据是其会议上所述。我们没有运行Apple的设置。详情在我们的单Mac报告和四Mac报告中,你可以在我们的视频演示中观看四Mac运行。

有两个部分:速度和流水线。速度来自引擎,其两个理念已发表。一个张量的值是固定的。如何存储和读取是一种选择。展开就是改变这种选择。内存是一行。多个值共享一个机器字,一个kernel一次取几个值。如果

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →