互联网频道 频道

AI内存领域主要厂商的产品布局与技术能力

美光 256GB DDR5 RDIMM 内存模块基于 1-gamma 制程打造,传输速率最高可达 9,200 MT/s,比当前量产的内存模块快 40% 以上。该模块采用 3D 堆叠(3DS)与硅通孔(TSV)先进封装工艺,将多颗内存晶粒整合于单一模块中。搭配美光 1-gamma DRAM 技术,这些创新成果提供了扩展下一代 AI 系统所需的容量、速率和能效。

大语言模型、智能体 AI、实时推理及高核数 CPU 负载场景快速普及,正推动企业对更大容量、更高带宽和更优能效的服务器内存需求迅速增长。与两个 128GB 模块相比,单个美光 256GB 模块可降低 40% 以上的运行功耗,为现代 AI 数据中心带来更高能效。美光正与核心生态系统合作伙伴协作,在当前及新一代服务器平台上对 256GB 1-gamma DDR5 RDIMM 进行验证,通过联合兼容性测试确保广泛的平台兼容性。

256GB SOCAMM2 模块采用业界首款单晶粒 32Gb LPDDR5X 设计,相较标准 RDIMM,功耗降至其三分之一,尺寸亦缩小至三分之一。每颗 8 通道服务器 CPU 可配置 2TB LPDRAM 容量,适用于 AI 及高性能计算场景。256GB SOCAMM2 容量较前代最高规格 192GB SOCAMM2 提升三分之一,可支持更大的上下文窗口及更复杂的推理工作负载。

在统一内存架构中,256GB SOCAMM2 用于 KV 缓存卸载时,可将长上下文、实时 LLM 推理的首个 token 生成时间加速 2.3 倍。在独立 CPU 应用中,针对高性能计算工作负载,LPDRAM 的每瓦性能较主流内存模块提升超 3 倍。模块化 SOCAMM2 设计可提升设备可维护性、支持液冷服务器架构,并能随着 AI 与核心计算内存需求的持续增长实现未来容量扩充。

NVIDIA 数据中心 CPU 产品部门主管 Ian Finder 指出,美光通过 256GB SOCAMM2,以低于传统服务器内存的功耗实现超大内存容量与带宽突破,为下一代 AI CPU 提供关键助力。美光在 JEDEC SOCAMM2 规范制定过程中持续发挥领导作用,并维持与系统设计人员的深度技术合作,推动下一代数据中心平台在能效与性能方面的提升。美光基于 1γ(1-gamma)制程节点的 LPDDR5X 内存速率达到每秒 10.7 Gb,功耗可降低高达 20%。

该产品是美光首款采用先进 EUV 光刻技术的移动解决方案,并引入新一代 HKMG(高 K 金属栅极)技术提升晶体管性能。封装尺寸缩小至业界领先的 0.61 毫米,较竞品轻薄 6%,较前一代产品高度降低 14%。在基于 Llama 2 的移动 AI 响应时间测试中,1γ 节点 10.7 Gbps LPDDR5X 相比 1β 节点 7.5 Gbps LPDDR5X,餐厅推荐回应速度提升 30%,语音转译回应速度提升 50% 以上,汽车采购建议回应速度提升 25%。

随着 AI 应用对高性能、低功耗计算需求的不断增长,数据中心服务器、智能汽车和 AI PC 等设备未来可能越来越多地采用 LPDDR5X 内存。美光 1-gamma 制程 256GB DDR5 RDIMM 目前已向核心服务器生态伙伴送样并开展平台验证,256GB SOCAMM2 同样已面向客户送样。美光提供业界最全面的数据中心 LPDRAM 产品组合,涵盖 8GB 至 64GB 组件及 48GB 至 256GB 的 SOCAMM2 模块,1γ 节点 LPDDR5X 提供从 8GB 至 32GB 的多种容量选项。

Q: 美光 256GB DDR5 RDIMM 相比当前量产内存模块的性能提升是多少?

A: 基于 1-gamma 制程的 256GB DDR5 RDIMM 传输速率最高可达 9,200 MT/s,比当前量产的内存模块快 40% 以上。

Q: 256GB SOCAMM2 在 AI 推理场景中的加速效果如何?

A: 在统一内存架构中用于 KV 缓存卸载时,可将长上下文、实时 LLM 推理的首个 token 生成时间加速 2.3 倍;在独立 CPU 的高性能计算工作负载中,LPDRAM 每瓦性能较主流内存模块提升超 3 倍。

Q: SOCAMM2 模块的功耗和尺寸相比 RDIMM 有何优势?

A: 与相同容量的 RDIMM 相比,SOCAMM2 功耗仅为其三分之一,尺寸亦缩减至三分之一,可有效提升机架密度并降低总体拥有成本。

Q: 美光 1γ 制程 LPDDR5X 采用了哪些关键制造技术?

A: 采用先进 EUV 光刻技术和新一代 HKMG(高 K 金属栅极)技术,速率达 10.7 Gbps,功耗降低高达 20%,封装尺寸 0.61 毫米。

Q: 256GB DDR5 RDIMM 采用了哪些封装技术?

A: 采用 3D 堆叠(3DS)与硅通孔(TSV)先进封装工艺,将多颗内存晶粒整合于单一模块中。

Q: AI 数据中心中单颗 CPU 可配置多少 SOCAMM2 内存容量?

A: 每颗 8 通道服务器 CPU 可配置 2TB LPDRAM 容量,支持更大的上下文窗口和更复杂的推理工作负载。



特别提醒:本网信息来自于互联网,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。
0
相关文章