电子发烧友网报道(文/黄晶晶)AI训练数据集正高速增长,与之相适应的不仅是HBM的迭代升级,还有用于处理这些海量数据的服务器内存技术的不断发展。
以经过简化的AI训练管道流程来看,在数据采集进来后的数据存储阶段对主内存的需求以小于1TB来计算(实际应用中一个集群或实例的内存容量会是简化模型的数倍。),这时GPU还无须参与训练中。
到了数据准备阶段,将数据进行整理、验证,此时主内存容量上升到1TB。比如SDXL训练网络架构,在数据准备阶段,所有的图像都要被规整成统一的规格、大小、像素、尺寸,从而更加高效的利用到网络中的这些资源,降低延迟和在空间展示中节省资源。
在AI训练阶段,不仅需要强大的GPU内存,主内存的容量需求会是GPU内存的两倍,且必须有非常高的带宽,才能让GPU本地内存满足数据的吞吐速度。由此可见,DDR5内存对于AI训练的重要性。
Rambus为 DDR5 服务器内存模块提供完整的内存接口芯片组,包含 RCD、PMIC、SPD Hub、温度传感器 IC。Rambus最近推出最先进的全新DDR5 服务器电源管理IC(PMIC)系列,包含适用于高性能应用的业界领先超高电流电源器件,满足AI及其他高级工作负载对最高性能与容量内存模块的需求。
Rambus DDR5服务器PMIC产品特点
PMIC是DDR5内存架构中的关键组件,可实现更多的内存通道、更大容量的模组和更高的带宽。Rambus DDR5服务器PMIC系列包含符合JEDEC超高电流(PMIC5020)、高电流(PMIC5000)和低电流(PMIC5010)规范的产品。
JEDEC定义了三种不同的PMIC,针对不同的电流输出水平。它们都共享相同的封装尺寸、引脚布局,并且大多数寄存器集相同。每种设计的电源效率都针对其目标应用的预期电流水平进行了优化。
极高电流的PMIC 5020目标是约30安培的最大持续直流电流,是这三种服务器PMIC中最新定义的。Rambus是首家提供样品的公司。该PMIC针对的是最高带宽和最高容量的模块。
高电流PMIC 5000一直是主要的PMIC,支持的最大持续直流电流大约为20安培。这款特定的PMIC针对标准到四阶模块,容量为64GB、96GB和128GB。低电流 PMIC 5010 面向容量较低的市场,它支持的最大持续电流约为 12 安培。
大多数速率高达 60,400 MT/s 的 DDR5 RDIMM 都使用 PMIC 5000 高电流版本和 PMIC 5010 低电流版本 PMIC。目前这两种型号正处于大批量生产阶段。
而新发布的PMIC5020,主要用于数据速率达到7200MT/s的第四代DDR5,以及第一代的MRDIMM模组,另外,还包括一些6400MT/s数据速率但容量特别高的如256GB内存模组,也会使用超高电流的PMIC5020。
Rambus内存互连芯片业务部门产品营销副总裁John Eble表示,Rambus提供完整的DDR5 RDIMM芯片组,对于我们的客户、客户的用户,以及整个生态系统是多赢的。对于DDR5 RDIMM完整芯片组,我们是经过预先验证的,可以带给客户具有经过验证的互操作性和非常优秀的时序、功率优化,而且也有足够稳健的供应链供给。
设计挑战
应用DDR5技术的DIMM架构如何实现更高的内存性能。John Eble进行了详细解析。
现在DDR5内存已经开始转移到双通道架构,在展现的DDR5 RDIMM架构在DDR5当中数据流的通道比特率是32,另外加上8位ECC,来保证他们在连接器上有着各自所需的存储和吞吐量以及内存性能。
上图中的双通道 RCD 现在在主机端以 DDR5 速度运行。因此它的运行速度与 DRAM 相同。图中每个引脚的开关频率将比DDR4高出一倍多。
DDR5的每通道最高频率速度达到8400MT/s。但实际上根据JEDEC今年4月发布的最新数据,表示在DRAM的规格当中可以达到8800MT/s的速度。
更高的数据传输速率(裕度至关重要),所有这些数据信号所需的连接器引脚数量的增加以及主电源电压从 1 至 1.2 伏降至 1.1 伏,这些因素共同促使决定采用专用的电源管理IC,帮助控制更加精细的电压。
DDR5模块增加了PMIC和相关的无源组件,这是DDR4到DDR5最显著的变化之一。
通过将电源管理集成到内存模块(DIMM)上,主板可以为内存模块提供单一的高电压电源。由内存模组上的PMIC向模组提供输入高压12V电源,避免通过模块连接器从主板向内存模组组件输出如1V的电压,大大降低了输电网络上的IR下降问题。
PMIC有四个开关降压调节器,其中两个采用双相配置,两个低压差调节器,为模块上的各种组件产生总共五个不同的电压供应和电压水平。
PMIC可以针对其所在的特定模块进行调整。随着用户增加内存容量,他们以递增的方式为服务器添加电源管理。因此,将PMIC集成到内存模块上极大地简化主板设计,减少所需的面积,并降低电源系统过度配置的浪费。
为了实现更高的数据传输速率,DDR5需要更严格且精准的电压范围。在电源配置变化的情况下,它需要非常低的噪音,要在较低电压下保持可靠性。
电源设计上的挑战来看,首先是散热问题。PMIC会产生热量,而且它靠近对热非常敏感的DRAM。因此,进行热vwin
并确保热量以一种不会影响模块的方式消散,这一点非常重要。
第二个设计挑战是如何将PMIC及其无源元件安装在模块上,因为模块的尺寸是固定的。模块上已经有很多元器件。因此为PMIC腾出空间,确保其功率完整性达到最佳状态,并确保其不会造成任何干扰或散热问题,这是一个很大的挑战。
第三个挑战是确保PMIC上的开关稳压器不会将任何不需要的噪声引入DIMM的其他部分。
最后是需要确保PMIC可靠且强大。Rambus 专门内置了特殊电路来处理可能的压力条件,以确保拥有非常强大的部件。
凭借在高性能内存领域积累30多年的经验,Rambus已成为RDIMM制造商的“一站式” DDR5 内存接口芯片供应商,能够为制造商提供最高级别的验证保证并加快其产品上市时间。
中国市场
中国内存市场蓬勃发展,已经形成了内存颗粒、内存模组、服务器、OEM、ODM、云一套连贯的生态链,中国在全球的内存生态里扮演着非常重要的一环。
Rambus大中华区总经理苏雷表示,Rambus中国的业务理念不单单把自己作为一个产品的供应方,更多的是定位成业务的合作伙伴,助力中国内存整个产业链的生态发展。我们通过跟内存上下游合作伙伴的紧密协同工作,通过利用Rambus内存产品方面的经验和积累去服务好中国市场。
无论是在客户产品布局,还是产品设计、研发问题定位、甚至量产阶段,Rambus通过提供高效、优质的产品和全面、细致的技术服务与行业经验,来践行“in China for China”的理念,最终实现跟客户的成长与共赢。
写在最后
John Eble对DDR5和PMIC发展情况做一些预判。随着对更高性能和电源效率的需求不断增长,未来可能会定义新型内存模块。现在业界已经经历了将 PMIC 集成到模块验证和认证中的学习曲线,并看到了由此带来的好处。那么,很有可能会继续在模块上集成PMIC,以进一步优化电源管理并提高整体系统性能。这将成为一种趋势。
DDR5 在服务器和个人电脑领域都得到了相当迅速的采用。在服务器方面也即将达到平衡点。据集邦咨询的报告,预计下个季度DDR5 普及率将超过 50%。
另外,PMIC 供应对DDR5服务器模块来说非常重要。早前曾出现过PMIC 短缺的问题,不过现在整个供应链已经恢复,目前没有看到PMIC供应短缺的情况。
-
服务器
+关注
关注
12文章
9123浏览量
85318 -
内存
+关注
关注
8文章
3019浏览量
73999 -
PMIC
+关注
关注
15文章
332浏览量
109472 -
Rambus
+关注
关注
0文章
60浏览量
18803 -
AI
+关注
关注
87文章
30726浏览量
268870 -
DDR5
+关注
关注
1文章
422浏览量
24139
发布评论请先 登录
相关推荐
评论