美光探索近 GPU NAND 闪存，可支撑更大规模 AI 模型

9 月 2 日消息，据 DigiTimes 今天报道，美光正在研究高耐久性 NAND 闪存模块，该公司计划将其部署在距离 GPU 更近的位置，而不是像传统存储方案那样，通过多个协议连接到距 GPU 较远的存储池。

据报道，美光正在探索如何将 NAND 闪存进一步靠近 GPU，希望在存储密度和耐久性之间提供一种折中方案。这种产品当前被称为“近 GPU NAND”（注：near-GPU NAND），可用于处理非低延迟 / 高带宽工作负载。

这种方案可以让 GPU 直接访问数百 GB 的 NAND 存储池，它可以直接放置在 GPU 封装内部或 PCB，工作方式类似 HBM、GDDR7 等方案。与传统 TLC 或 QLC NAND 相比，这种 NAND 芯片的存储密度更低，重点在于提升 I/O 速度、带宽。

该存储层位于显存和普通存储之间，可充当高速缓冲层，因此特别适合运行更大规模的 AI 大语言模型。该方案落地后，LLM 推理将不再受到显存容量限制。