
DeepX 流片第二代 AI 芯片 DX-M2,5W 内跑 100B 参数模型
来源标题:DeepX claims inference up to 100B parameters at less than 5 W
韩国边缘 AI 芯片初创公司 DeepX 已流片第二代 AI 加速器 DX-M2,可在低于 5W 功耗下推理最高 1000 亿参数模型。该芯片采用三星定制 PIM 技术,内存带宽从 50 GB/s 提升至 150 GB/s,NPU 能效翻倍并升级至 2nm 工艺,算力达 80 TOPS。其第一代芯片 DX-M1 已量产,主攻视觉应用。
以下正文由 AI 翻译自 Hacker News(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。
韩国边缘 AI 芯片初创公司 DeepX 已流片其第二代 AI 加速器,并获得了三星定制存内计算(PIM)技术的使用权限。DX-M2 旨在将生成式 AI 引入机器人、无人机和其他边缘设备,支持在低于 5 W 的功耗下对最多 1000 亿参数模型进行推理。
DeepX 的第一代芯片 DX-M1 目前已进入量产阶段,主要面向视觉应用。此次新流片的 DX-M2 则致力于让本地 AI 成为功耗和散热预算紧张设备的实用选择。该芯片设计目标是在每秒 10 到 30 个 token 的速度下运行 200 亿到 1000 亿参数的模型(约 30 亿到 200 亿活跃参数),具体速度取决于模型。而这一切都在与 M1 相同的功耗预算内实现——仅 5 W。
“M1 和 M2 之间最重要的变化是内存带宽,”DeepX 创始人兼 CEO Lokwon Kim 对 EE Times 表示。
内存带宽从 50 GB/s 提升到了 150 GB/s,翻了三倍,但还有其他几项效率提升。DeepX 表示,得益于设计改进,其 NPU 的能效翻了一番,而采用 2nm 工艺节点又让能效再翻一番。现在可以达到 80 TOPS。
“这很重要,因为凭借 5 W 的功耗,我们可以应用到任何地方,无人机或任何电池供电的设备,”Kim 说。“我们的目标是让复杂 AI 能够在所有设备上部署。”
M2 可以处理大型混合专家(MoE)LLM,并支持新技术,包括投机解码和 TurboQuant。
大多数类型的 AI 推理操作都受限于在内存和计算之间搬移权重,尤其是 GEMV(通用矩阵-向量乘法),该操作需要随机内存访问,从而拖慢计算速度。内存厂商提出了 PIM 方案,使得 GEMV 等内存受限操作可以在内存芯片内部完成计算。在内存内执行操作提高了有效内存带宽,并减少了耗时的内存访问时间。
PIM 即将成为 LPDDR6 的 JEDEC 标准。不过,DeepX 一直在与三星合作,将 DX-M2 与三星的 LPDDR5x-PIM 进行集成。
“我们在这项技术上花了一年半时间,与三星内存合作,因为他们已经有针对 LPDDR5x 的定制 PIM,”Kim 说。“我们已经收到了 LPDDR5x PIM 样品,正在内部测试操作和性能。”
DeepX 的模拟显示,将 GEMV 操作从 DX-M2 卸载到 LPDDR5x-PIM 后,Llama3.1-8B 的每秒 token 数将达到仅使用 DX-M2 时的 6.7 倍。
“搭载 LPDDR5x-PIM 的 DX-M2 已接近最优,”Kim 说。“但我们的下一代 DX-M3 将支持官方的 LPDDR6 PIM 技术;届时我们可以获得完整的理论性能提升,即性能提高 5 到 8 倍。”
Kim 解释说,唯一的缺点是额外计算并非没有代价——6.7 倍的性能需要整体 2.7 倍的功耗。尽管如此,DeepX 认为可以在与非 PIM 操作相同的功耗包络内实现 2 倍的性能提升。
Kim 表示,编译器需要“大量手动工作”来支持这种操作模式,并指出 DeepX 目前有一个基于 PIM -enabled LPDDR5x 模拟的原型编译器在运行。“我们现在正在制作硬件模块,以便可以在物理环境中进行测试,所以编译器还没能完成,但我们正在积极开发中。”
DX-M2 将瞄准几个关键领域。DeepX 正在与台湾 OEM 合作,为 AI PC(包括笔记本电脑和工作站)寻找合适的切入点。DeepX 战略营销总监 Tim Park 对 EE Times 表示,机器人公司目前正在 Nvidia Thor 等 GPU 上做原型开发,他们希望在设备端获得更低功耗和更强算力;汽车公司则在寻找能够在车内运行智能体的低功耗芯片。对于 IoT 设备,DeepX 已与三星合作开发下一代智能中枢。该公司还在加入 AWS IoT 生态系统,以便使用 Greengrass 支持远程模型更新。
Park 表示,机器人客户通常从 GPU 开始开发,但出于散热和功耗考虑不得不寻找替代方案。DeepX 正在努力实现从 Nvidia Isaac 机器人平台向其自研等效平台 Newton 的迁移。
“机器人客户会询问我们的硬件,也会问如何从 Nvidia 迁移到 DeepX,”他说。“这就是答案——客户将 API 调用改为 Newton 而非 Isaac,然后就可以在 DeepX 系统上运行完全相同的流水线。”
Park 表示,DeepX 已有 17 个兼容库投入运行。该公司已经展示了基于 M1 的机器人,使用与基于 Nvidia Jetson 的机器人相同的源代码,但调用 DeepX 库。
“对客户来说,实际结果是他们从 Nvidia 切换到 DeepX 后可以享受 20 倍的电池寿命和更低的成本,”Kim 说。“同时,切换时间可以不到一秒。他们只需将 API 名称从 Isaac 改为 Newton。就这样。”
面向 DeepX 硬件的完整机器人技术栈目前正在开发中。
DeepX 正在与美国、中国、越南和韩国的机器人客户接触,而现代汽车集团机器人实验室已在其机器人平台中使用 DX-M1。
与此同时,该公司正在构建其生态系统,增加台湾 OEM、各市场的垂直冠军企业,以及最近与 Intel 的合作。
DeepX 正在与 Intel 合作,将 OpenVINO 与 DeepX SDK 集成,以触达 Intel 的 x86 客户群。DX-M1 可以补充 Intel Core Ultra CPU 中的集成 NPU,并为其他没有 NPU 的 Intel 边缘 CPU 提供 AI 能力,卸载部分或全部 AI 工作负载。
(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)
正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。