返回资讯中心
外部精选
软件工程
#开发者实时流

行业探讨AI推理内存瓶颈:从扩容转向优化数据搬运

来源标题:Rethinking Memory for AI Inference

半导体工程领域讨论AI推理的内存瓶颈,思路正从单纯增加内存容量转向围绕资源稀缺做架构设计。Baya Systems首席商务官Nandan Nayampally称,关注点已变为如何高效为内存供数而不挤占其他流量。Arteris高管Andy Nightingale指出,互连与内存架构已和内存器件本身同等重要。

Hacker News 最新rbanffy2026/11/13 · 4 天前30 分钟阅读

以下正文由 AI 翻译自 Hacker News 最新(原文版权归原站所有),可能存在偏差,重要内容请以原文为准。

图1:存内计算与处理-in/近内存计算对比——数学运算发生在哪里,以及每个术语的含义。注意,在硬件领域,CIM和IMC可互换使用,用来描述直接在存储阵列内执行计算任务的架构,但IMC在软件领域还有另一层含义。来源:Semiconductor Engineering

减少数据移动

最终,整个系统都需要优化,才能让这一方案奏效。

“讨论的框架已经从‘我们需要更多内存’转变为‘我们需要一种互连结构,既能让内存持续获得数据供给,又不会让其他流量挨饿’,”Baya Systems首席商务官Nandan Nayampally表示。“而最近则变成了‘如何围绕稀缺性本身来做架构设计’。”

其他人也持相同看法。“AI系统正日益受限于在计算单元、内存、加速器、chiplet和裸片之间高效搬运数据的能力,”Arteris产品管理与营销副总裁Andy Nightingale表示。“这使得互连和内存架构变得与内存器件本身同等重要。这也进一步说明,需要可扩展的NoC、chiplet、缓存一致性和系统映射技术,帮助客户在流片之前优化数据移动。”

互连、缓存方案和封装在边缘领域都扮演着越来越重要的角色,但要在控制成本的同时选对组合,仍是一项挑战。因此,尽管新版本的高带宽内存让多裸片堆叠的基die能够承担更多处理任务,但把计算切片放在DRAM bank旁边的LPDDR6-PIM,视成本情况可能更具吸引力。

“近内存计算仍然要使用外部通道接口,”SK hynix高级副总裁兼Fellow Hoshik Kim表示。[1]“但通过把处理单元放到内存数据附近,我们实际上可以消除或减少大量数据移动,从而获得更高的能效。此外,我们还可以把计算功能从CPU或GPU上卸载下来,从而更好地利用主机CPU或GPU。”

典型用例涉及基die内部的内存控制器。“我们正在集成一些有用的近内存处理单元,用来卸载简单的MAC运算,”Kim表示。“因为如果你考虑推理工作负载的运算,大部分函数计算都是简单的MAC运算。所以我们可以把MAC运算放进基die,以扩展能力,然后与GPU配合完成更复杂的计算密集型运算。”

多年进程

部分所需技术今天已经可用,另一些则还需要数年时间才能开发出来,或改进到足以产生实际影响的程度。

“我们预计存内应用还需要三到五年,也许要到2030年前后,”Ayar Labs产品管理总监Vishal Chandrasekar表示。“你希望能够连接许多GPU,让不同GPU可以访问彼此的内存。人们在努力提升每块GPU的内存容量,但会受到数据包大小和HBM带宽等因素的限制。存内计算是一条路径,它让你内存的基die具备某种计算能力。”

不过,这项技术尚未完全做好商业化准备。“说我们已经看到它进入市场,有点过于激进了,”Cadence的Ferro表示。“可能有一些非常特定的嵌入式应用在使用某种形式的存内处理,但作为广泛用途,现在还相当早期。”

存内处理方案正缓慢从研究走向商业化。例如,三星公布了其LPDDR6-PIM芯片的架构和性能基准,面向低功耗移动端设备端AI应用。

“LPDDR-PIM是JEDEC内部最受关注的一个,”Keysight内存解决方案项目经理Randy White表示。“围绕LPDDR-PIM有活跃的开发和讨论,但硬件和软件两方面都存在挑战。从硬件角度看,你要把逻辑工艺与DRAM工艺混合在一起,而两者针对的指标不同,所以这种创新本身就让制造过程更复杂、更昂贵。你必须非常有选择性地推进,并确保你的应用能够承受由此增加的成本。”LPDDR6-PIM的应用范围将从针对性能优化的固定节点边缘服务器,延伸到针对能效优化的手机和平板电脑。

比硬件更棘手?

软件挑战可能更加困难。“你如何管理工作负载倾斜和负载均衡?”White指出。“假设你采用棋盘式内存阵列或核心,大约每隔10列内存就插入一条垂直的逻辑硅切片。如果你把那颗PIM裸片放到显微镜下,会看到棋盘格,每隔一定行数就重复出现切片。这本身就带来一些时序约束。当你访问某一行时,必须等待计算引擎完成某条指令的计算。所以这不只是取数据并在不同bank访问之间平衡时序的问题。现在内存访问与等待计算数据耦合在一起。关键在于我不需要搬运那么多数据了。我在相邻单元之间移动数据,这很好。从硬件角度看,你能获得更低的功耗等好处。但对于编写BIOS、必须创建调度器来做同步的工程师来说,复杂性简直爆炸式增长。”

PIM架构需要从对整个系统其余部分影响的角度来考虑。“硬件必须经过设计和优化,才能拥有正确数量的计算系数之类的东西,”White表示。“然后内存必须以某种方式分隔,使分辨率不至于过细,从而在分隔方面做出正确的粗粒度与细粒度权衡。”

图2:近数据计算要发挥潜力必须解决哪些问题。来源:SK hynix/DAC

(原文较长,此处译出前 6000 字,完整内容请点「打开原文」。)

正文由 探How 从来源站点 RSS 同步,内容未经改写;遇到排版缺失或需要图片、视频时请以原文为准。

打开原文
去社区讨论 →