为了不断满足人工智能和机器学习需求的迅速增长,算力在快速增长,数据量也在快速增长。
现在ChatGPT等人工智能相关的应用程序,它的增长速度以及对数据的需求更是非常庞大,而且ChatGPT-3是以1750 亿个参数进行训练的。这些人工智能应用的快速发展,也对处理器及带宽提出了更高的要求和标准。
“市面上越来越多的客户和公司都开始专注于开发自己个性化、定制化的处理器产品,以更好地满足神经网络以及专属应用的需求。”Rambus IP核产品营销高级总监Frank Ferro说道。
此时,内存墙问题越来越成为制约算力的重要问题。Frank表示:“尽管算力的增长非常显著,但是带宽上的进步却无法改善,也就是造成两者间的不匹配,很多计算资源并没有被充分利用到。”
正是由于对带宽需求更加进一步的增加,以及对需求的上涨,驱动了像Rambus公司一样不断打造新一代的产品,提高内存带宽以及接口带宽。实际上,根据Rambus 5月初刚刚公布的2023年一季度业绩公告,在内存接口芯片的推动下,季度产品收入达到 6380 万美元,同比增长 33%,总营收达到了1亿1400万,均创出新高。
HBM还是GDDR
人工智能的应用场景可划分为训练和推理两部分,其中训练是指通过大数据训练出一个复杂的神经网络模型,通过大量标记过的数据来训练相应的系统,使其能够适应特定的功能。而推理则是利用训练好的模型,使用新数据推理出各种结论。借助神经网络模型进行运算,利用输入的新数据来一次性获得正确结论的过程。
训练和推理在算力和存储上的需求并不完全相同,训练需要更大的数据进行分析,而推理则更注重成本。也正因此,产业界诞生了包括HBM与GDDR两种存储解决方案,以适应不同的场景要求。
AI推理场景带宽大概需要400-500Gb/s的带宽,如果用HBM3,带宽可以提高至800Gb/s,但却是大材小用,同时成本会增加3-4倍之多。
HBM(高带宽内存)于 2013 年推出,是一种高性能 3D 堆叠 SDRAM架构。如其名称所述,HBM最重要的是带宽更高,尽管HBM的内存都以相对较低的数据速率运行,但其通道数更多。例如,以3.6 Gbps运行的HBM2E在存储和处理器间的通道数达到了1024条,这无法在PCB上实现,因此硅中阶层(interposal)被用来连接内存和处理器。
GDDR的历史
随着AI的推理越来越多地向边缘设备上进行集成和转移,GDDR越来越成为边缘AI处理所需。比起HBM,GDDR的历史则更为悠久。GDDR可以追溯到PC和游戏机时代,早期的GPU使用SDRAM和DDR,这与CPU相同。随着对GPU性能追求增强,推动了GDDR专用图形显示的需求增长。
2003 年 10 月,英伟达推出了 GeForce FX 5700 Ultra,搭配了256 MB GDDR2 DRAM,当时5000系列大部分仍使用DDR DRAM。直到 2018 年底 GeForce 16 和 20 系列,GDDR被用于整个产品线。如今,GDDR6 是最先进的显存解决方案。
相比于LPDDR和DDR,GDDR在带宽关键参数上具有绝对优势,在24Gb/s传输速率和32位总线的时候,GDDR6可以提供最多96GB/s的带宽,在速度、带宽和延迟方面显著优于其他产品。
Rambus GDDR6方案
Rambus提供业内鲜有的全面内存IP产品组合,包括DDR、LPDDR、GDDR以及HBM,此外还有连接类Serdes,诸如PCIe和CXL,均达到了业界领先水平。并且Rambus的解决方案大多是提供包括控制器和PHY在内的全套方案。
为了应对边缘AI对于GDDR的需求,Rambus日前推出的GDDR6 PHY,提供市场领先的数据传输速率,最高可达24 Gb/s,能够为每个GDDR6内存设备带来96 GB/s的带宽,达到了行业标杆水平。此前GDDR6的传输率为16Gb/s,总带宽64GB/s,全新的GDDR6使带宽增加了50%,从而为人工智能/机器学习(AI/ML)、图形和网络应用提供更高成本效益、高带宽的内存。并凭借与Foundry的密切合作,支持先进的工艺节点。
除了业界领先的24Gb/s性能外,Rambus GDDR6 PHY还经过了全方位的优化,可满足AI/ML及其他需要高带宽、低延迟内存解决方案的先进应用的需求。Rambus能够实现24Gb/s的数据传输速率,依靠的是其在信号完整性和电源完整性(SI/PI)方面享誉世界的专业知识,这些知识可用于设计PHY、芯片封装和印刷电路板(PCB)。
此外,Frank还强调Rambus的工程师会和客户在设计初期就紧密合作,并提供封装参考设计,以确保系统达到最优性能。
总而言之,Rambus的GDDR6方案在性能、功耗管理、集成、完整性、以及支持等方面都具有明显优势,是提升边缘计算能力的理想合作伙伴。
审核编辑 :李倩
-
处理器
+关注
关注
68文章
19259浏览量
229638 -
神经网络
+关注
关注
42文章
4771浏览量
100703 -
Rambus
+关注
关注
0文章
60浏览量
18803 -
架构
+关注
关注
1文章
513浏览量
25468
原文标题:【媒体报道】Rambus提升GDDR6带宽,以应对边缘计算挑战
文章出处:【微信号:Rambus 蓝铂世科技,微信公众号:Rambus 蓝铂世科技】欢迎添加关注!文章转载请注明出处。
发布评论请先 登录
相关推荐
评论