AI内存领域主要厂商的产品布局与技术能力
美光 256GB DDR5 RDIMM 内存模块基于 1-gamma 制程打造,传输速率最高可达 9,200 MT/s,比当前量产的内存模块快 40% 以上。该模块采用 3D 堆叠(3DS)与硅通孔(TSV)先进封装工艺,将多颗内存晶粒整合于单一模块中。搭配美光 1-gamma DRAM 技术,这些创新成果提供了扩展下一代 AI 系统所需的容量、速率和能效。
大语言模型、智能体 AI、实时推理及高核数 CPU 负载场景快速普及,正推动企业对更大容量、更高带宽和更优能效的服务器内存需求迅速增长。与两个 128GB 模块相比,单个美光 256GB 模块可降低 40% 以上的运行功耗,为现代 AI 数据中心带来更高能效。美光正与核心生态系统合作伙伴协作,在当前及新一代服务器平台上对 256GB 1-gamma DDR5 RDIMM 进行验证,通过联合兼容性测试确保广泛的平台兼容性。
256GB SOCAMM2 模块采用业界首款单晶粒 32Gb LPDDR5X 设计,相较标准 RDIMM,功耗降至其三分之一,尺寸亦缩小至三分之一。每颗 8 通道服务器 CPU 可配置 2TB LPDRAM 容量,适用于 AI 及高性能计算场景。256GB SOCAMM2 容量较前代最高规格 192GB SOCAMM2 提升三分之一,可支持更大的上下文窗口及更复杂的推理工作负载。
在统一内存架构中,256GB SOCAMM2 用于 KV 缓存卸载时,可将长上下文、实时 LLM 推理的首个 token 生成时间加速 2.3 倍。在独立 CPU 应用中,针对高性能计算工作负载,LPDRAM 的每瓦性能较主流内存模块提升超 3 倍。模块化 SOCAMM2 设计可提升设备可维护性、支持液冷服务器架构,并能随着 AI 与核心计算内存需求的持续增长实现未来容量扩充。
NVIDIA 数据中心 CPU 产品部门主管 Ian Finder 指出,美光通过 256GB SOCAMM2,以低于传统服务器内存的功耗实现超大内存容量与带宽突破,为下一代 AI CPU 提供关键助力。美光在 JEDEC SOCAMM2 规范制定过程中持续发挥领导作用,并维持与系统设计人员的深度技术合作,推动下一代数据中心平台在能效与性能方面的提升。美光基于 1γ(1-gamma)制程节点的 LPDDR5X 内存速率达到每秒 10.7 Gb,功耗可降低高达 20%。
该产品是美光首款采用先进 EUV 光刻技术的移动解决方案,并引入新一代 HKMG(高 K 金属栅极)技术提升晶体管性能。封装尺寸缩小至业界领先的 0.61 毫米,较竞品轻薄 6%,较前一代产品高度降低 14%。在基于 Llama 2 的移动 AI 响应时间测试中,1γ 节点 10.7 Gbps LPDDR5X 相比 1β 节点 7.5 Gbps LPDDR5X,餐厅推荐回应速度提升 30%,语音转译回应速度提升 50% 以上,汽车采购建议回应速度提升 25%。
随着 AI 应用对高性能、低功耗计算需求的不断增长,数据中心服务器、智能汽车和 AI PC 等设备未来可能越来越多地采用 LPDDR5X 内存。美光 1-gamma 制程 256GB DDR5 RDIMM 目前已向核心服务器生态伙伴送样并开展平台验证,256GB SOCAMM2 同样已面向客户送样。美光提供业界最全面的数据中心 LPDRAM 产品组合,涵盖 8GB 至 64GB 组件及 48GB 至 256GB 的 SOCAMM2 模块,1γ 节点 LPDDR5X 提供从 8GB 至 32GB 的多种容量选项。
Q: 美光 256GB DDR5 RDIMM 相比当前量产内存模块的性能提升是多少?
A: 基于 1-gamma 制程的 256GB DDR5 RDIMM 传输速率最高可达 9,200 MT/s,比当前量产的内存模块快 40% 以上。
Q: 256GB SOCAMM2 在 AI 推理场景中的加速效果如何?
A: 在统一内存架构中用于 KV 缓存卸载时,可将长上下文、实时 LLM 推理的首个 token 生成时间加速 2.3 倍;在独立 CPU 的高性能计算工作负载中,LPDRAM 每瓦性能较主流内存模块提升超 3 倍。
Q: SOCAMM2 模块的功耗和尺寸相比 RDIMM 有何优势?
A: 与相同容量的 RDIMM 相比,SOCAMM2 功耗仅为其三分之一,尺寸亦缩减至三分之一,可有效提升机架密度并降低总体拥有成本。
Q: 美光 1γ 制程 LPDDR5X 采用了哪些关键制造技术?
A: 采用先进 EUV 光刻技术和新一代 HKMG(高 K 金属栅极)技术,速率达 10.7 Gbps,功耗降低高达 20%,封装尺寸 0.61 毫米。
Q: 256GB DDR5 RDIMM 采用了哪些封装技术?
A: 采用 3D 堆叠(3DS)与硅通孔(TSV)先进封装工艺,将多颗内存晶粒整合于单一模块中。
Q: AI 数据中心中单颗 CPU 可配置多少 SOCAMM2 内存容量?
A: 每颗 8 通道服务器 CPU 可配置 2TB LPDRAM 容量,支持更大的上下文窗口和更复杂的推理工作负载。