
韩国DeepX流片第二代AI加速器DX-M2,5W功耗下支持千亿参数推理
来源标题:DeepX claims inference up to 100B parameters at less than 5 W
韩国边缘AI芯片初创公司DeepX已流片第二代AI加速器DX-M2,借助三星定制PIM技术,可在低于5W功耗下运行最高1000亿参数模型的推理。该芯片目标应用为机器人、无人机等边缘设备,支持200亿至1000亿参数模型以每秒10至30个token运行。其内存带宽从50GB/s提升至150GB/s,NPU能效翻倍,并采用2nm工艺。
以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
韩国边缘AI芯片初创公司DeepX已将其第二代AI加速器流片,该加速器采用了三星的定制存内计算(PIM)技术。DX-M2旨在将生成式AI引入机器人、无人机和其他边缘设备,支持在低于5W的功耗下对多达1000亿参数的模型进行推理。
DeepX的第一代芯片DX-M1目前已量产,主要面向视觉应用。新流片的DX-M2旨在让本地AI成为功耗和散热预算紧张设备的实用选择。该芯片设计可在10至30 tokens/秒的速度下运行200亿至1000亿参数的模型(约30亿至200亿活跃参数),具体取决于模型。这一性能是在与M1相同的功耗预算——仅5W——内实现的。
“M1和M2之间最重要的变化是内存带宽,”DeepX创始人兼CEO Lokwon Kim对EE Times表示。
内存带宽从50 GB/s提升至150 GB/s,增长了两倍,但还有其他多项效率提升。DeepX表示,得益于设计改进,其NPU的能效翻了一番,而迁移至2nm工艺节点又使其再翻一番。现在可实现80 TOPS。
“这很重要,因为5W的功耗意味着我们可以应用到任何地方,无人机或任何其他电池供电设备,”Kim说。“我们的目标是让复杂AI部署到所有设备中。”
M2可以处理大型混合专家(MoE)LLM,并支持新技术,包括投机解码和TurboQuant。
大多数类型的AI推理操作都受限于在内存和计算之间搬运权重,尤其是GEMV(通用矩阵-向量乘法),该操作需要随机内存访问,从而拖慢计算速度。内存厂商提出了PIM方案,使得GEMV等内存受限操作可以在内存芯片内部完成计算。在内存内执行操作提高了有效内存带宽,并减少了耗时的内存访问时间。
PIM将成为LPDDR6的JEDEC标准。不过,DeepX一直在与三星合作,将DX-M2与三星的LPDDR5x-PIM集成。
“我们在这项技术上花了一年半时间,与三星内存合作,因为他们已经有针对LPDDR5x的定制PIM,”Kim说。“我们已经收到了LPDDR5x PIM样品,正在内部测试操作和性能。”
DeepX的模拟显示,将GEMV操作从DX-M2卸载到LPDDR5x-PIM后,Llama3.1-8B的tokens/秒将达到仅使用DX-M2时的6.7倍。
“搭载LPDDR5x-PIM的DX-M2接近最优,”Kim说。“但我们的下一代DX-M3将支持官方LPDDR6 PIM技术;届时我们可以获得完整的理论性能提升,即5至8倍的性能提升。”
Kim解释说,唯一的缺点是额外计算并非没有代价——6.7倍的性能需要整体2.7倍的功耗。尽管如此,DeepX认为可以在与非PIM操作相同的功耗范围内实现2倍的性能提升。
Kim表示,编译器需要“大量手动工作”来支持这种操作模式,并指出DeepX目前有一个基于支持PIM的LPDDR5x模拟的原型编译器在运行。“我们现在正在制作硬件模块,以便可以在物理环境中进行测试,所以编译器尚未完成,但我们正在积极开发中。”
DX-M2将瞄准几个关键领域。DeepX正在与台湾OEM厂商合作,为AI PC(包括笔记本电脑和工作站)寻找合适的切入点。DeepX战略营销总监Tim Park对EE Times表示,机器人公司目前正在Nvidia Thor等GPU上进行原型开发,他们希望设备端具有更低功耗和更强算力,而汽车公司则在寻找能够在车内运行代理的低功耗芯片。对于IoT设备,DeepX已与三星合作开发下一代智能中枢。该公司还在加入AWS IoT生态系统,以便使用Greengrass支持远程模型更新。
Park表示,机器人客户通常从GPU开始开发,但出于散热和功耗考虑不得不寻找替代方案。DeepX正在努力实现从Nvidia Isaac机器人平台向其自研等效平台Newton的迁移。
“机器人客户会询问我们的硬件,也会问如何从Nvidia迁移到DeepX,”他说。“这就是答案——客户将API调用改为Newton而非Isaac,然后就可以在DeepX系统上运行完全相同的流水线。”
Park表示,DeepX已有17个兼容库上线运行。该公司已展示了基于M1的机器人,使用与基于Nvidia Jetson的机器人相同的源代码,但调用DeepX库。
“对客户来说,实际结果是他们从Nvidia切换到DeepX后可以享受20倍的电池寿命延长和更低的成本,”Kim说。“同时,切换时间可以低于一秒。他们只需将API名称从Isaac改为Newton。就这样。”
面向DeepX硬件的完整机器人技术栈目前正在开发中。
DeepX正在与美国、中国、越南和韩国的机器人客户接触,而现代汽车集团机器人实验室已在其机器人平台中使用DX-M1。
与此同时,该公司正在构建其生态系统,增加台湾OEM厂商、各市场的垂直领域领军企业,以及最近与Intel的合作。
DeepX正在与Intel合作,将OpenVINO与DeepX SDK集成,以触达Intel的x86客户群。DX-M1可以补充Intel Core Ultra CPU中的集成NPU,并为其他没有NPU的Intel边缘CPU提供AI能力,卸载部分或全部AI工作负载。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。