当 AI 大模型参数持续膨胀GPU 算力大量空转浪费行业正在尝试在 HBM 显存与远端 SSD 之间插入一层全新高速存储缓冲美光近 GPU NAND 正是这条路线的代表它不追求闪存极致密度牺牲部分存储容量换取更高带宽与读写性能专门承接大模型推理权重、KV 缓存等中间数据以此缓解行业普遍遭遇的显存墙压力。但该技术目前还处于研究探索阶段量产时间、硬件规格均未对外公布耐久、软硬件协同依旧存在现实障碍同时 HBF 等竞争方案同步推进谁能够定义这一层新存储层级就会掌握未来 AI 硬件链条的重要话语权。一、真实痛点AI 行业绕不开的显存墙困局很多人会把显存墙简单理解为 GPU 显存容量不够这只是表层现象。真正的矛盾是GPU 计算算力迭代速度远远跑赢单卡显存容量、带宽的增长速度。万亿参数大模型、百万级长上下文推理普及之后模型权重、激活张量、KV 缓存会快速耗尽 HBM 显存空间。在工程落地场景中我们能够观察到两类非常现实的浪费。第一类为了放下完整模型企业只能采购更多 GPU 做模型切分、分布式并行大量硬件成本消耗在多卡互联开销上很多 GPU 实际算力利用率长期低于 40%CSDN博...。第二类把权重卸载到远端 SSD 存储池虽然容量充足但 PCIe 传输带宽瓶颈突出数据来回搬运延迟暴涨推理吞吐量直接腰斩完全无法支撑高并发业务。传统的解决路径有明显短板HBM 性能顶尖但是受堆叠工艺、产能约束供货紧张单位比特成本居高不下普通 TLC/QLC SSD 成本低廉但是距离 GPU 物理位置太远带宽、延迟完全达不到 AI 推理高频访问的要求。市场缺少一个中间形态硬件适配 “对带宽延迟敏感但不需要 HBM 极致性能” 的海量推理负载这个空白市场就是近 GPU NAND、HBF 方案诞生的底层逻辑。实操观察细节 1一线算力运维经常遇到一个尴尬现状很多推理集群硬件 GPU 算力富余但因为 KV 缓存挤占显存不得不限制并发用户数算力芯片大部分时间在等待数据载入硬件采购成本没有转化成业务吞吐量。 实操观察细节 2软件层面的量化、模型分片、KV 缓存分页卸载只能做缓解属于上层补救手段无法从硬件根源消除显存‑远端存储巨大的性能鸿沟。二、三条并行突围路线产业集体寻找显存旁路HBM 短期很难实现大规模放量扩容整个产业链没有原地等待演化出三条方向一致、形态不同的技术路径各家存储原厂都试图在显存和大容量存储之间搭建过渡层级争夺 AI 算力体系内的话语权。SK 海力士 闪迪 HBF 高带宽闪存方案把 NAND 闪存采用类似 HBM 堆叠架构打造高带宽闪存堆栈扩展 GPU 可直接寻址空间主打超大容量读取场景优先适配大模型推理 KV 缓存业务。美光近 GPU NAND 方案不再沿用传统 NAND 优先追求高密度的思路刻意降低存储密度换取更高 I/O 带宽与读写耐久度硬件布置在 GPU 封装内部或者紧邻 GPU 的 PCB 板上缩短数据物理传输距离形成全新缓冲层级存放部分模型权重、推理中间数据不需要无限制堆叠 GPU也不用复杂模型切分就可以支撑更大规模模型运行电子工程专...。它不是用来替换 HBM 或者 SSD而是夹在两者中间的新增缓冲层。向上达不到 HBM 的极限带宽但是容量更大向下对比远端 SSD访问延迟大幅降低同时成本远低于昂贵的 HBM。原厂 HBM、DDR 产能调配存储厂商通过调整产能分配、涨价、扩产缓解当下 HBM、DDR 的供货缺口这属于现有产品的供给调节没有架构层面革新只能短期缓解供需矛盾不能解决算力‑存储增速错配的底层矛盾。这三条路线并不是某家企业突发的技术创意而是 AI 推理业务爆发后存储产业集体向上渗透算力环节的战略选择。过去 NAND 主战场在终端设备、数据中心后端存储池距离 GPU 算力核心很远而近 GPU NAND、HBF 意味着存储芯片直接进入 GPU 物理半径这片区域过去一直是 HBM、GDDR 的专属地盘。存储厂商角色也从单纯的容量供应商转变成 AI 算力架构共建参与者行业竞争主题从 “谁闪存密度更高” 变成 “谁的存储距离算力更近”。实操观察细节 3很多人混淆近 GPU NAND 与普通高速 SSD两者核心差距不在芯片本身速度而在于物理摆放位置、互联链路。同样 NAND 颗粒放在远端硬盘位和贴在 GPU 周边 PCB数据传输延迟差距可以达到数倍级别。龙虾 PRO 相关技术讨论可以查阅三、主流 AI 存储方案关键维度对比下表从介质、部署位置、核心优势、短板、适配业务场景、商业化进度做横向对比方便理解各个方案定位边界表格方案存储介质部署位置核心优势主要短板适配业务场景商业化进度HBMDRAMGPU 封装内带宽极高、纳秒级低延迟、读写耐久优秀成本昂贵、产能受限、单栈容量有限大模型训练、高吞吐实时推理成熟量产供给紧张近 GPU NAND特制低密 NANDGPU 封装 / 邻近 PCB距离算力近成本低于 HBM容量可观NAND 原生耐久短板依赖 GPU 与软件栈适配大模型推理权重、KV 缓存驻留实验室探索阶段无量产规格HBF 高带宽闪存高耐久堆叠 NANDGPU 子系统超大堆栈容量读取带宽优秀微秒级延迟写入耐久存在上限长上下文推理大规模参数缓存标准已经发布尚未量产落地企业级 TLC‑SSD常规 TLC NAND服务器远端硬盘位成本最低容量可以无限扩展PCIe 带宽瓶颈延迟高冷数据、归档模型权重存储大规模成熟商用四、近 GPU NAND 现存真实差距与不确定性这项架构构想逻辑通顺但距离真正落地部署还有多重硬障碍不能简单当成已经可用的下一代灵丹妙药。第一个核心难题NAND 本身读写机理决定耐久度天生弱于 DRAM。当闪存搬到 GPU 周边之后访问频率会成倍提升高频反复读写场景下颗粒擦写寿命会承受巨大考验。想要保留 NAND 的成本优势同时拉近和 HBM 带宽、耐久差距在材料、固件、控制器层面都需要大量研发调优。如果为了耐久把硬件成本抬升过高就会陷入两头不靠性能追不上 HBM成本对比普通 SSD 又没有竞争力整个方案商业价值直接消失。第二个关键卡点不是存储芯片厂商单打独斗就能完成落地。近 GPU NAND 需要 GPU 硬件架构、高速互联协议、驱动程序、推理框架软件栈深度协同改造。GPU 芯片厂商、服务器 ODM、推理框架团队都要参与适配。仅仅闪存颗粒迭代上层软件没有配套调度逻辑就无法实现权重、KV 缓存自动分层迁移硬件潜力无法释放。第三个现实信息缺口截至目前对外披露全部属于技术方向探索官方没有公布量产时间表、完整硬件参数、单比特成本区间。现阶段属于产业方向性下注而非成熟产品发布。从底层逻辑看美光近 GPU NAND 本质是 AI 算力瓶颈持续传导到存储侧的必然结果。模型对内存的需求持续超出显存供给上限产业就必须在原有存储层级链条里面 “无中生有” 创造出新缓冲地带。未来两三年这个新增层级由哪家方案定义将直接重塑 AI 硬件产业链价值分配格局HBM 之外第二大赛道已经开启。五、落地总结与行业建议综合以上分析我们可以得出几点务实判断 第一近 GPU NAND 不会颠覆 HBM 地位属于补充层级优先受益场景是海量大模型推理业务训练场景依旧高度依赖 HBM 高读写性能。 第二现阶段企业算力规划不要把业务希望寄托在尚未量产的近 GPU NAND、HBF 技术。现阶段工程优化依旧优先组合量化技术、模型分片、KV 缓存卸载、CXL 内存扩展等现有成熟手段缓解显存压力。 第三存储产业竞争重心已经迁移到算力侧未来硬件选型除了看芯片本身参数更要关注存储介质和计算单元之间物理距离、互联链路、全栈软件协同能力。硬件纸面参数只是基础软硬件打通能力才会拉开实际业务吞吐量差距。对于正在搭建 AI 推理集群的技术团队可以持续跟踪近 GPU NAND、HBF 的软硬件配套进展提前评估多级存储缓冲架构对自身业务的适配空间。