NVIDIA|144核 NVIDIA最强CPU芯片架构深入解读

NVIDIA Grace CPU是 NVIDIA 开发的第一款数据中心 CPU 。通过将 NVIDIA 专业知识与 Arm 处理器、片上结构、片上系统 (SoC) 设计和弹性高带宽低功耗内存技术相结合 。
NVIDIA Grace CPU 从头开始构建,以创建世界上第一个用于计算的超级芯片(super chip) 。超级芯片的核心是NVLink Chip-2-Chip (C2C),它允许 NVIDIA Grace CPU 以 900 GB/s 的双向带宽与超级芯片中的另一个 NVIDIA Grace CPU 或NVIDIA Hopper GPU进行通信 。
NVIDIA|144核 NVIDIA最强CPU芯片架构深入解读
文章图片

NVIDIA Grace Hopper Superchip将节能、高带宽的 NVIDIA Grace CPU 与功能强大的 NVIDIA H100 Hopper GPU 结合使用 NVLink-C2C,以最大限度地提高强大的高性能计算 (HPC) 和巨型 AI 工作负载的能力 。
NVIDIA Grace CPU 超级芯片是使用两个通过 NVLink-C2C 连接的 Grace CPU 构建的 。该超级芯片建立在现有 Arm 生态系统的基础上,为 HPC、要求苛刻的云工作负载以及高性能和高能效的密集基础设施创建了首个毫不妥协的 Arm CPU 。 
在本文中,您将了解 NVIDIA Grace CPU 超级芯片以及提供 NVIDIA Grace CPU 性能和能效的技术 。有关详细信息 。
NVIDIA|144核 NVIDIA最强CPU芯片架构深入解读
文章图片

图 1. 与双插槽 Milan 7763 CPU 相比,NVIDIA Grace CPU Superchip 上应用程序的性能和节能效果
专为 HPC 和 AI 工作负载打造的超级芯片 
NVIDIA Grace CPU 超级芯片通过将旗舰双路 x86-64 服务器或工作站平台提供的性能水平集成到单个超级芯片中,代表了计算平台设计的一场革命 。高效的设计可在较低的功率范围内实现 2 倍的计算密度 。 
NVIDIA|144核 NVIDIA最强CPU芯片架构深入解读
文章图片

NVIDIA Grace CPU 旨在提供高单线程性能、高内存带宽和出色的数据移动能力,每瓦性能领先 。NVIDIA Grace CPU Superchip 结合了两个连接超过 900 GB/s 双向带宽 NVLink-C2C 的 NVIDIA Grace CPU,提供 144 个高性能 Arm Neoverse V2 内核和高达 1 TB/s 带宽的数据中心级 LPDDR5X 内存,带纠错码( ECC)内存 。 
NVIDIA|144核 NVIDIA最强CPU芯片架构深入解读
文章图片

图2. 具有 900 GB/s NVLink-C2C 的 NVIDIA Grace CPU 超级芯片
使用 NVLink-C2C 互连缓解瓶颈
为了扩展到 144 个 Arm Neoverse V2 内核并在两个 CPU 之间移动数据,NVIDIA Grace CPU Superchip 需要在 CPU 之间建立高带宽连接 。NVLink C2C 互连在两个 NVIDIA Grace CPU 之间提供高带宽直接连接,以创建 NVIDIA Grace CPU 超级芯片 。 
使用 NVIDIA Scalable Coherency Fabric 扩展内核和带宽
现代 CPU 工作负载需要快速的数据移动 。由 NVIDIA 设计的可扩展一致性结构 (SCF) 是一种网状结构和分布式缓存架构,旨在扩展内核和带宽(图 3) 。SCF 提供超过 3.2 TB/s 的总二分带宽,以保持数据在 CPU 内核、NVLink-C2C、内存和系统 IO 之间流动 。 
CPU 核心和 SCF 缓存分区分布在整个网格中,而缓存交换节点通过结构路由数据并充当 CPU、缓存内存和系统 IO 之间的接口 。NVIDIA Grace CPU 超级芯片在两个芯片上具有 234 MB 的分布式三级缓存 。 
NVIDIA|144核 NVIDIA最强CPU芯片架构深入解读
文章图片

图3. NVIDIA Grace CPU 和可扩展一致性结构 
LPDDR5X 
能效和内存带宽都是数据中心 CPU 的关键组成部分 。NVIDIA Grace CPU Superchip 使用高达 960 GB 的服务器级低功耗 DDR5X (LPDDR5X) 内存和 ECC 。此设计为大规模 AI 和 HPC 工作负载实现了带宽、能效、容量和成本的最佳平衡 。