利用NVIDIA融合加速器加速数据中心AI
现代数据中心变得越来越难以管理。应用程序和 PB 级日志数据之间有数十亿条可能的连接路径。静态规则不足以适应动态微服务的安全策略，而且人工已经无法应对数量庞大的日志数据的分析。
AI 是通往未来安全和自主管理式数据中心的唯一出路。
NVIDIA 融合加速器在业界率先推出 AI 增强型 DPU。它将 GPU 的强大计算能力与 DPU 的网络加速和安全优势相结合，为 AI 增强型数据中心管理创造了统一平台。融合加速器可将 AI 生成的规则应用于数据中心网络中的每个数据包，为实现实时安全和管理创造新的可能性。图像展示了将 BlueField2 DPU 和 Ampere GPU 相结合的 NVIDIA 新型融合加速器。
图 1.在标准模式下，BlueField-2 DPU 和 GPU 通过专用 PCIe 4.0 交换机连接以获得完整带宽，独立于主机 PCIE 系统带宽。
在 NVIDIA GTC 大会上，我们推出了两款新型融合加速器。A100X 在单一模组中融合了 A100 Tensor Core GPU 和 NVIDIA BlueField-2 数据处理器。A30X 则融合了 A30 Tensor Core GPU 和相同的 BlueField-2 DPU。融合卡具有独特的能力，除了BlueField-2 的卸载、隔离和加速网络功能，进一步拓展到 AI 推理和训练功能。
两款加速器都包含一个集成的 PCIe 交换机实现DPU 和 GPU 连接。集成交换机能够消除对主机资源的争用，实现线速 GPUDirect RDMA 性能。集成交换机还通过隔离 GPU 和网卡之间移动的数据来提高安全性。
AI 增强型 DPU
融合加速器支持两种运行模式：
标准模式 – BlueField-2 DPU 和 GPU 分别独立运行。
BlueField-X模式 – PCI 交换机进行了重新配置，GPU 将专用于 DPU，并且对于主机系统不可见。
在 BlueField-X 模式下，只有DPU 上运行的操作系统可见到GPU。BlueField-X 模式在业界首创了一种新型加速器类型：GPU 加速的 DPU。图像展示了在 BlueField-X 模式下，主机服务器中的 CPU 连接到融合加速器。融合加速器的 PCIe 交换机连接到 CPU 和 DPU。而GPU 仅通过PCIe 交换机与 DPU连接。
图 2.在 BlueField-X 模式下，x86 主机只能看到 BlueField-2 DPU，支持 DPU 在网络数据上运行 AI 工作负载。
在 BlueField-X 模式下，GPU 可以对流经 DPU 的数据运行 AI 模型，成为“bump in the wire”。保障安全同时，无性能损耗。AI 模型无需消耗主机资源，实现完全加速。
BlueField-X 为网络安全、数据中心管理和 I/O 加速解锁新颖使用场景。例如，Morpheus 网络安全框架使用机器学习对以往无法识别的安全威胁进行有效处理。Morpheus 通过 DPU 从数据中心的各个服务器获取遥测数据，并将其发送到配备 GPU 的服务器进行分析。
有了 BlueField-X，AI 模型可以在每个服务器的融合加速器上直接本地运行。这使 Morpheus 能够更快地分析更多数据，同时消除代价很高的数据移动，并缩小恶意攻击面。由 BlueField-X 加速的 Morpheus 使用案例包括恶意软件检测、数据泄漏预防和动态防火墙规则创建等。
Morpheus 示例仅仅是BlueField-X实现加速的一种使用场景。我们的客户经常与我们分享一些我们尚未考虑到的新想法。为了对 AI 增强的网络进行更多创造性的探索，我们现正推出 NVIDIA 融合加速器开发套件。
结合此开发套件，我们为有意构建新一代加速 AI 网络应用的特定客户和合作伙伴提供 A30X 加速器的抢先体验计划。在边缘计算或数据中心管理中探索 BlueField-X 的新应用场景。以下例子为您做参考：
透明视频预处理 – Bump in the wire视频预处理（解密、交错、格式转换等），以提高 IVA 吞吐量和摄像头密度。
小基站RU 解决方案 – RAN 信号处理聚合加速器，以增加商业 gNodeB 服务器上的用户密度和吞吐量。
计算存储 – Bump in the wire存储加密、索引和哈希，为长期存储主机数据准备处理卸载昂贵的 CPU 资源。
作弊检测 – 检测流式游戏服务中的恶意游戏/作弊
开始使用 NVIDIA 融合加速器开发套件
NVIDIA 融合加速器开发套件包含有结合 CUDA 和 NVIDIA DOCA 的示例应用程序，以及帮助您安装、配置新型融合加速器的文档。最重要的是，我们可以提供 A30X 及应用支持来换取您的宝贵反馈。
关于作者
Jacob Liberman 是 NVIDIA 企业和边缘加速集团的产品经理。他利用 20 多年的技术计算经验提供高性能、云计算原生边缘人工智能解决方案。此前，他曾在红帽、 AMD 和戴尔担任产品管理和工程职务。
Pete Lumbis 是 NVIDIA 以太网网络技术营销总监。 Pete 帮助客户构建、设计、自动化和加速下一代数据中心网络。皮特是 CCIE # 28677 和 CCDE 2012 ：： 3 。
审核编辑：郭婷
-
amd
+关注
关注
25文章
5466浏览量
134087 -
NVIDIA
+关注
关注
14文章
4978浏览量
102987 -
服务器
+关注
关注
12文章
9123浏览量
85324 -
应用程序
+关注
关注
37文章
3265浏览量
57677
发布评论请先 登录
相关推荐
NVIDIA加速AI在日本各行各业的应用
日本企业借助NVIDIA产品加速AI创新
华迅光通AI计算加速800G光模块部署
PCIe加速卡在数据中心的应用
适用于数据中心应用中的硬件加速器的直流/直流转换器解决方案
八大科技巨头携手推进UALink，加速数据中心AI互联
美国限制向中东AI加速器出口，审查国家安全
HNS 2024：星河AI数据中心网络，赋AI时代新动能
使用NVIDIA Triton推理服务器来加速AI预测
是德科技推出AI数据中心测试平台旨在加速AI/ML网络验证和优化的创新
工商网监
评论