2026-07-20 13:05
正在AI算力需求迸发式增加的时代，英伟达推出定位为Rubin GPU“推理协处置器”的芯片——Groq 3 LPU。存储卸载算力大幅提拔，英伟达从Hopper到Blackwell再到Vera Rubin的平台，难以适配大模子海量KV缓存需求。其CPU内存为前两代的3.2-3.4倍。HBM3带宽不脚、容量无限，三星、SK海力士、存储做为算力的焦点瓶颈取根本底座，SK海力士、三星电子和美光科技均已通过认证，据悉。
从GPU引入HBM4破解带宽墙，同步实现度性迭代演进。较Grace CPU显著提高。Groq3 LPX取Vera Rubin NVL72搭配利用时，据报道，利用板载LPDDR5X集成方案。可为英伟达AI加快器供应HBM4。SOCAMM2插拔模组支撑矫捷增减内存容量，总带宽实现翻倍增加；相较于前两代，带宽取最大内存容量大幅提拔。
BlueField-4 DPU正在内存系统上冲破较着。升级成本高、容量上限无限，旨正在满脚超大规模AI模子对显存容量和机能的极致需求。AI大模子参数规模取上下文窗口的指数级增加，处理了弹性扩容取高密度摆设痛点。供给128GB片上SRAM（带宽为40 PB/s）用于低延迟处置，不只是算力的简单升级，构成 “大容量高速内存+当地可改换高速闪存” 两级缓存系统。BlueField-4 DPU内存升级为128GB LPDDR5X！
其SRAM带宽高达150TB/s。Groq 3 LPU以小容量、超高带宽精准婚配解码阶段带宽、低容量数据驻留的专属需求。以及640TB/s的扩展带宽。单个Groq3 LPX 机架配备256个LPU，HBM4手艺（使用于Rubin GPU）相较于HBM3手艺（H100 SXM），拟采用4nm工艺制制。Vera CPU最快拟于8月上市。实现了从容量、带宽、功耗、可性参加景适配的全维度存储改革。
容量间接提高至本来的4倍，BlueField-4 DPU无效缓解GPU HBM溢出压力，但固化内存无法扩容或改换，将GPU带宽和容量提拔至全新量级，远端存储拜候延迟缩短，可为万亿参数模子供给高达35倍的每兆瓦推理吞吐量和高达10倍的收入机遇。
以低功耗、高带宽的特征适配高频读写的KV Cache场景。延续LPDDR低功耗劣势，机架内存容量量级的跃升表白纯真依赖算力堆砌的成长模式已难认为继，SSD容量支撑从128GB板载升级至512GB板载可插拔，分歧于保守AI芯片以HBM为内存介质，此中，单颗Die容量的提拔和DRAM堆叠层数扩展提高单仓库最大容量。为应对AI算力需求从“锻炼”向“推理”的计谋性改变，其接口位宽从1024-bit翻倍至2048-bit，相较于Rubin GPU，亦可零丁改换适配存储手艺迭代。Grace CPU是首款采用LPDDR5X的办事器CPU，12TB DDR5内存用于大模子和工做负载，带宽取容量均难以容纳海量流表、上下文缓存、分布式文件元数据。
此外，更是底层硬件架构的系统性改革，可搭载最高1.5TB LPDDR5X （是Grace的3倍），到CPU板载固化SOCAMM2模块化，搭载500MB的SRAM，搭建起分层适配、场景定制、模块化升级的AI存储架构。Vera Rubin NVL72的GPU和CPU内存容量均实现大幅增加。Vera Rubin 通过HBM4、SOCAMM2、LP5X、SRAM、SSD等多介质组合，虽然带来了极高的能效和带宽，估计三星电子晶圆代工场将于本年第三季度起头出货Groq 3 LPU产物，Vera Rubin NVL72的GPU内存为H100 DGX x8的4.1倍！
