随着生成式AI、预测式AI的浪潮一波高过一波,工作负载的类型越来越丰富、复杂度越来越高,对于AI服务器性能、能效的需求也是水涨船高。
每每说到AI服务器、AI工作站、AI一体机等装备,很多人的第一反应就是高算力的AI GPU加速器。
它确实是整个AI系统的主角,承担着最繁重的使命,但是别忘了,只有GPU加速器是无法独自支撑整个系统的,而任何计算系统都离不开CPU处理器的坐镇。
CPU处理器作为任何计算系统的中枢和大脑,在AI系统中也起着不可替代的作用,只是一贯比较低调罢了。
如果说GPU加速器是AI系统中在台前炫技的耀眼明星,CPU处理器就是隐藏幕后、默默风险的大管家,协调着整个系统的高效运行,尤其是保障GPU加速器的各项需求可以得到全面满足,强大的算力可以高效释放。
因此,这个时候的CPU处理器,我们一般称之为“主控CPU”。
采用最合适、匹配的主控CPU搭档AI加速器,组成高效的AI加速系统,可以在工作负载性能、总体拥有成本(TCO)之间,达到理想的平衡。
在AI加速系统中,主控CPU负责通过提供高效的任务管理,以及出色的预处理性能,来优化处理性能和资源利用率,这对于确保AI模型训练流程中的数据高效供给、维持AI处理器的理想运行状态,都是至关重要的。
主控CPU作为AI加速系统的“中枢神经”,可以执行管理、优化、预处理、处理、卸载等各种任务,从而提高系统性能和能效。
Intel的至强系列处理器,尤其是最新一代至强经系列,无论是根据各种AI基准测试,还是根据全球客户的实际部署经验,都可以说是强大、高效AI加速系统的主控CPU的理想之选。
NVIDIA最新、最强的DGX B300系统,就选择了Intel新款至强6776P来作为主控CPU,而去年的MGX系统曾使用至强6767——Intel也是NVIDIA唯一的主控CPU合作伙伴。
至强6为何如此之强?
我们可以从六个不通过方向,逐一看看AI加速系统对主控CPU的需求,以及至强6系列是如何满足的。
1、AI加速系统需要非常强大、灵活的IO性能。
至强6系列可以支持多达96条PCIe 5.0通道,比上代增加了20%,双路系统就是192条,因此带宽超高、数量管够,可以灵活分配给不同的加速器、扩展卡。
2、AI加速系统需要尽可能高的单线程性能。
至强6系列不但拥有最多128个性能核心、504MB海量三级缓存,还具备强大的单线程性能,并支持不同的睿频加速技术。
比如PCT(优先核心睿频),可以把少部分核心加速到更高的频率来服务相应的GPU,最多支持8个核心。
比如SST,可以针对不同的核心配置分配不同的频率,使其拥有不同的性能。
3、AI加速系统需要尽可能高的内存容量与带宽。
至强6系列不但支持更高频率的DDR5-6400,还独家率先支持MRDIMM内存,频率可高达8800MHz,带宽进一步提升30%,对比上代领先2.3倍,对于内存敏感性AI负载尤其有利。
再加上多达12个内存通道,至强6系列可提供无与伦比的内存带宽与容量,单路系统最高支持3TB。
NVIDIA DGX B300系统,就选择了每通道两条DIMM(2LDPC)、5200MHz频率的方案,主要是为了实现更大的内存容量。
另外,至强6系列还支持CXL,可保持CPU内存空间与AI加速器内存之间的一致性,实现高性能资源共享,降低整体系统成本。
4、AI加速系统需要CPU做好数据预处理和卸载。
至强6系列支持AMX(高级矩阵扩展)指令,新增支持FP16数据格式,非常适合这项工作,尤其是随着MoE、MLP模型的出现和流行,在CPU上卸载部分工作越来越流行。
5、AI加速系统需要强大的RAS。
RAS指的是可靠性、可用性、可维护性,对于工作站、服务器、数据中心硬件是必不可少的属性,至强6当然也少不了,有了它就可以大大减少大规模停机时间,避免高额损失。
RAS技术支持多项高级管理功能,包括遥测、平台监控、共享资源控制、实时固件更新等,汇聚了平台合作伙伴、ISV独立软件开发商、解决方案集成商的丰富专业知识与经验。
6、AI加速系统需要灵活的形态。
至强6系列支持DC-MHS全球标准,无论是NVIDIA MGX还是DGX,双方都有合作,最新的就是DGX B300,由双方共同打造,开展了大量的技术验证工作。
至强6系列家族中,有三款特殊型号是专门用于主控CPU的。
它们均基于P核即性能核的设计,目前的主控CPU均是如此,未来是否会有E核即能效核设计,还要观察市场需求的变化。
其中,NVIDIA DGX B300采用的是至强6776P,并且是双路配置。
至强6776P配置了64个核心(128线程),基准频率2.3GHz,全核睿频3.6GHz,最大睿频3.9GHz,PCT睿频可以在最多8个核心上跑到4.6GHz,比传统SKU再次提高了多达700MHz。
另外,它配备336MB缓存,支持八通道DDR5-6400、MRDIMM-8000内存,可提供88条PCIe 5.0通道,热设计功耗350W。
这里解释一下几种不同的睿频频率:
全核睿频即All Core Turbo,是指所有核心处于活跃状态时,所能运行的最高频率,适合作为虚拟机等场景,此时需要每一个核心跑在尽可能高的性能上。
最大睿频即Max Turbo,是在传统SKU中能够达到最高的睿频,它假设一半核心活跃、另一半核心休眠,活跃核心就能够运行在更高的频率,也就是Max Turbo对应的频率。
优先核心睿频即Priority Core Tubo,是指只开启更少量的核心,一般2-8个,让它们进一步加速到更高的频率,从而以更高的性能,满足AI加速系统中GPU、I/O等的苛刻需求,避免出现系统瓶颈。
至于使用哪些核心进行加速,可以在启动前使用BIOS设定,也可以在运行中通过SST-TF工具实时设定。
更低端的至强6774P也是64核心,除了基准频率提高到2.5GHz,与至强6776P最大的不同就是仅支持单路但可提供多达136个IO通道,扩展经更加强悍。
更高端的至强6962P拥有72核心144线程、432MB缓存,基准频率就有2.7GHz,全核睿频也是3.6GHz,最大睿频也是3.9GHz,PCT睿频则是4.4GHz。
它还支持12通道内存,可提供96个PCIe通道,热设计功耗来到了500W。
以上三款都是面向所有客户的开放产品,属于产品规划和路线图的一部分,未来不排除根据市场需求或者客户定制化需求,推出更多产品。
刚才多次提高到NVIDIA DGX B300 AI加速系统,这就是它的总览图,属于高端的DGX,专为AI训练等应用而生。
它配备了双路至强6776P主控CPU处理器,彼此通过UPI高速总线互连,每路都是最多8个PCT睿频核心,客户在使用的时候可以根据需要定制选择8个、6个、4个或2个核心用于PCT睿频。
每一路至强6776P之下,通过两个NIC高速网卡,连接四块AI GPU,整个系统就是八块AI GPU,彼此通过NVLink高速总线互连。
这套系统在选择主控CPU时采取了比较平衡的设计,但性能依然是业界领先的,I/O性能、RAS性能等等也都很均衡,无疑是个理想的选择。
当然,我们知道,NVIDIA AI加速系统中已经普遍使用自行研发的Grace CPU处理器,来搭配AI GPU加速器。
事实上,目前市场上,许多AI系统提供商都在使用自研主控CPU来配合AI GPU。
从Intel的角度来看,其服务方向是为客户提供更多选择,而且作为开放系统,始终秉持开放态度,为主控CPU提供最佳选择,以满足客户的多样化需求。
NVIDIA DGX B300产品选择了Intel至强6作为主控CPU,而且这并非测试或者试验产品,而是一款商业化的成熟产品,无疑是对Intel至强产品性能和兼容性的有力认可。
本文转载于快科技,文中观点仅代表作者个人看法,本站只做信息存储
阅读前请先查看【免责声明】本文来自网络或用户投稿,本站仅供信息存储,若本文侵犯了原著者的合法权益,可联系我们进行处理。 转载请注明出处:https://m.bjjwt.cn/news/4987.html