环球今头条！AIGC系列研究之十二：技术解构 英伟达H100体系800G光模块需求几何？

(相关资料图)

结论

在英伟达DGX H100 SuperPOD最新的NVLink Switch架构算力架构下，GPU+NVLink+NVSwitch+NVLink交换机的架构需要大量800G通信连接方案， NVLink系统大致可对应GPU与800光模块1:4-1:5的数量关系，IB NDR网络则需要更多。

原因及逻辑

英伟达占训练推理环节GPU几乎90%以上份额，在DGX H100 SuperPOD架构引入更高速NVLink方案，且用NVLink和InfiniBand的PCIe两套体系解决通信问题。尽管目前InfiniBand NDR网络是主流，但新的NVLink Switch的架构在H100硬件基础上，在某些AI场景下可以贡献比IB网络接近翻倍的性能。AI发展的基础是算力提升，预计极致性能和极致功耗是未来硬件架构发展的主要驱动，预计400G/800G以上速率的网络方案将加速放量。

在H100最新的NVLink Switch架构下试算，单服务器NVLink下需要18对、36个osfp，也就是36个800G；一个POD集群的32台服务器则需要36x32=1152个800G光模块。若不采用NVLink Switch架构或者需要多集群扩容，需要使用InfiniBandNDR网络，则采用传统叶脊双层架构，需要800G+2x400G（NDR）的方案，数量关系可参考普通集群，核心是系统内带宽激增，依据不同规模可另外计算。

有别于大众的认识

鉴于H100 GPU的供货范围限制，市场对其实际的架构理解有一定信息差，我们借助英伟达技术文档试图拆解H100超算系统的通信架构；市场担心800G在AI算力环节并非刚需，但高速率光模块、CPO/LPO/MPO等技术本身预示了未来硬件架构发展的主要方向是追求极低功耗下的极高性能，且系统整体算力效率有木桶效应，网络环节较容易产生瓶颈，影响各类训练推理考虑，因此高速光网络的迭代是AI刚需。

风险提示

NVLink Switch方案渗透不达预期；技术迭代产生新的通信方案。

关键词：