AMD借助收购Mext获得的AI内存分页技术，用闪存替代DRAM以降低服务器成本

Zen架构背后的Mext团队承诺，借助AI的力量实现更智能的SWAP——你绝对猜不到。

这是通过使用AI模型，在操作系统或应用程序意识到需要之前，将内存页从较便宜的NVMe存储中换入换出实现的——有点像SWAP或Windows页面文件，但更智能。

AMD于6月从Mext收购了这项技术。据前CEO Gary Smerdon（现任AMD业务发展CVP）称，该技术通过用闪存替代昂贵的RDIMM，可将企业服务器成本降低多达83%。在目前部署该软件的145个系统中，他估计客户已因避免DRAM开支而节省了500万美元。

“保守估计，对于超大内存系统，服务器成本的60%、70%甚至80%或90%可能都花在内存上，”他解释道。

他解释说，即使在内存利用率很高的系统中——比如95%的内存处于“使用中”状态——其中很多内存也并未被活跃使用。他引用Meta的一篇研究论文指出，50%到80%的内存页在五分钟、十分钟甚至更长时间内未被访问过。“五分钟对Epyc来说就是永恒。”

Mext技术旨在将这些不常访问的页面卸载到闪存。Smerdon解释说，挑战在于，虽然闪存每比特成本便宜50倍、每比特功耗低30倍，但速度也慢了500倍。

这就是为什么大多数人在配置VPC或服务器时，通常尽可能避免换出到磁盘：这会扼杀应用性能，让服务级别协议化为泡影。

因此，要让Mext的技术奏效，它需要确保任何卸载到存储的页面在需要之前就已回到DRAM中。有点像在工作日中间跑个腿——只要你在老板再次需要你之前回来，他们就永远不会知道你离开了工位。

问题在于DRAM中的“R”代表随机。预测系统在什么时间需要哪些页面并非易事。解决方案？（做好准备。）

“我们意识到可以用AI来监控系统，并主动将这些页面推回DRAM，这样对应用程序或操作系统来说，它们一直都在那里，”Smerdon说。换言之：“我们让闪存透明地表现为DRAM。”

所以，“与其为你的Epyc服务器购买2TB DRAM，你可以买1TB DRAM，然后下一个TB由Mext提供。”

为此，AMD的Mext采用了多种机器学习算法。

“主力模型是Transformer衍生模型，就像ChatGPT或Claude或其他著名模型一样，但不同于预测文本中下一个词是什么，我们做的是预测下一个需要哪一页内存，”Smerdon解释道。他补充说，只要页面在需要之前进入DRAM，页面甚至不需要按正确顺序排列。

训练模型准确预测内存访问模式本身就有挑战，Smerdon说，这使得预训练模型不切实际。

相反，他们取一个Epyc核心，“在一秒内”训练模型，他解释道。此后，模型会随时间进一步精炼和重新训练，直到能够准确预测页面需要在何时到达何处。

他强调，所有这些训练都在CPU核心上进行——不需要GPU，这意味着基本上任何Epyc客户都能利用该软件平台。

虽然不需要GPU，但值得注意的是，在虚拟化环境中，该软件每个VM或VPC需要一个核心，因此开销随虚拟化规模扩展。容器运行时想必不受此限制。我们已联系AMD寻求澄清。

据AMD称，该技术确实有效。Smerdon说，公司最初瞄准内存密集型应用，如电子设计自动化（EDA）和内容创作，但后来扩展到支持延迟敏感型应用，如数据库和代理式AI流水线。

“当内存页变冷时，我们可以将它们推送到闪存，而且对性能完全没有影响，”他说。

Smerdon在这里略有夸大。取决于应用和卸载到闪存的内存量，会有性能损失。

据他称，针对Synopsys的PrimeTime EDA套件的测试，使用Mext可以将一半内存卸载到闪存，系统仍能达到DRAM性能的95%。在AMD的测试中，25% DRAM加75%闪存时，性能降至纯DRAM基线的80%。

EDA工具极其消耗内存，但核心在任何时刻处理的数据量通常以兆字节计。这就是AMD的Epyc X芯片在EDA客户中仍然如此受欢迎的原因，也是Mext最初瞄准该领域的原因。

在其他场景中，如Apache Spark，AMD的Mext团队表示，即使将系统中一半的DRAM替换为闪存，仍能看到99%的性能。

虽然实施该技术可能牺牲一些性能，但AMD押注客户愿意做出这一妥协以换取可观的DRAM节省，因为AI数据中心建设导致内存仍然受限。

目前，AMD正努力将Mext整合到其更广泛的企业产品组合中。我们被告知，该软件将专属于AMD硬件，并通过OEM合作伙伴以许可证形式销售。

运行Linux的系统只需一个内核驱动即可利用该软件，同时提供独立的RAM View应用程序，帮助企业了解应在哪些系统和工作负载上启用它。

（原文较长，此处译出前 6000 字，完整内容请点「打开原文」。）