如果你觉得英伟达的GB200机架式系统已经够庞大了，那么CEO黄仁勋的野心才刚刚开始。在上个月的GTC大会上，这家全球市值最高的公司公布了计划，拟利用光子互连技术，在2028年前将超过一千个GPU集成到一个巨型系统中。
该公司并未坐等供应链的稳定。过去一个月，这家GPU巨头已向Marvell、Coherent和Lumentum等光学和互连技术公司投资数十亿美元，为这些系统的广泛部署做好准备。
黄仁勋在GTC主题演讲中表示：“对于我们生态系统中的所有参与者来说，我们需要更大的产能。我们需要更大的铜缆产能；我们需要更大的光器件产能；我们需要更大的CPO产能；正因如此，我们一直在与大家合作，为实现这一增长水平奠定基础。”
然而，英伟达走到今天这一步的历程其实开始得更早。事实上，早在2022年底OpenAI向世界发布ChatGPT时，英伟达就已经意识到自己遇到了问题。
当时，这家GPU巨头最强大的系统也只有8个GPU，而推动人工智能蓬勃发展的模型却需要数千个GPU进行训练。英伟达需要更大的处理器，或者至少需要一个速度更快的网络，能够有效地将工作负载分配到数十个芯片上。
我们在2023年英伟达的Grace Hopper超级芯片上首次窥见了这种技术的雏形，但直到2024年初，其全貌才得以展现。同年在GTC大会上亮相的Grace Blackwell NVL72，是一款功率高达120千瓦的巨型机器，它采用铜质背板，内部布满数英里的线个GPU能够像一个巨大的AI加速器一样协同工作。
“如果条件允许，铜线是最佳的连接方式，”他说。“它非常经济实惠，价格低廉，而且零功耗。它非常可靠，也没有任何有源元件。”
但铜线 TB/s 的传输速率下，由于 GPU 之间通信，铜线只能延伸几英尺，信号就会开始衰减。如果你曾经好奇为什么 NVL72 的 NVSwitch 都位于机架中央，那是因为线路长度有限。铜线传输距离的局限性也意味着英伟达必须尽可能多地将 GPU 塞进单个机架中。
两年后，英伟达正迅速接近铜的极限，如果想要组装更大的 GPU 系统，就需要采用光学技术。
当黄先生首次展示代号为 Oberon 的 NVL72 机架时，将两个加速器进行光学连接的唯一商业可行方法是使用可插拔光学器件。
这些模块的大小和一包口香糖差不多，包含了将电信号转换成光信号以及将光信号转换回电信号所需的所有激光器、定时器和数字信号处理装置。
可插拔设备在数据中心网络中并不新鲜，但将其用于像英伟达的 NVLink 这样的纵向扩展计算架构，会带来一些问题。
为了达到 1.8 TB/s 的带宽，每块 Blackwell GPU 需要 18 个 800 Gbps 的可插拔模块：9 个用于加速器，另外 9 个用于交换机。这些可插拔模块本身功耗并不高——大约 10-15 瓦——但 72 块 GPU 加起来，功耗就相当可观了。
正如黄在 2024 年 GTC 主题演讲中指出的那样，光学器件需要额外的 20,000 瓦功率。
然而，自 Oberon 机架首次亮相以来，很多情况都发生了变化。共封装光学器件 (CPO) 技术的进步，将光引擎直接集成到交换机 ASIC 旁边，有助于降低功耗。
2025年，英伟达成为首批采用CPO技术的AI基础设施提供商之一，将其直接集成到Spectrum以太网和Quantum InfiniBand交换机中。（博通旗下的Micas Networks也在采取类似举措。）
这大大减少了构建人工智能训练集群所需的可插拔组件数量。然而，直到最近，该公司才开始探讨在其NVSwitch架构中使用光模块和CPO（光纤通道模块）。
两年前，黄仁勋还对光互连过于耗电嗤之以鼻，但今年春天在GTC大会上，他又重新审视了这一话题，推出了Vera Rubin NVL576和Rosa Feynman NVL1152，这两个多机架系统将利用光子学技术将其计算域扩展八倍。
如果您觉得 NVL576 这个数字耳熟，那是因为它之前就出现过。事实上，在最初的 NVL72 机架式显卡发布时，Nvidia就曾预告过一款配置了这么多 GPU 的显卡，但据我们所知，这样的系统从未在实际应用中部署过。
除非英伟达的市场营销或路线图再次发生变化，否则真正的 Vera Rubin NVL576 将采用铜和光纤互连的组合。
黄仁勋在本次 GTC 主题演讲中表示：“现在有很多关于‘英伟达是会扩大铜缆规模还是扩大光缆规模？’的讨论。我们将两者都做。”
据英伟达超大规模和高性能计算副总裁伊恩·巴克 (Ian Buck) 介绍，网络的第一层将采用机架内的铜缆互连，这意味着GPU无需任何改动。第二层主干网将采用可插拔模块。
我们尚不清楚英伟达计划为此使用哪种拓扑结构，但两层胖树肯定符合要求，并且脊柱层只需要一个机架的交换机（总共 72 个 ASIC）。
对于模块本身而言，可插拔模块是最简单的选择，但英伟达也可以选择近封装光学器件 (NPO)，就像Lightmatter上个月展示的那样。
我们不太清楚英伟达做出这个决定的具体原因，但值得注意的是，如果支持光刻扩展，就不需要把所有东西都塞进一个机架里。因此，从散热和功耗的角度来看，支持跨越八个机架的光刻扩展可能更合理。
真正有趣的地方在于英伟达的费曼一代产品，预计将于 2028 年中后期开始出货。据悉，这些系统将提供铜缆或共封装光纤 NVLink 互连两种选择。
最简单的选择是将 CPO 集成到 NVLink 交换机 ASIC 中，并继续在机架中使用铜互连。
这将需要一个两层 NVSwitch 架构和两到三个不同的交换机 ASIC：一个半光纤的，一个全光纤的，以及一个可能没有 CPO 的。
这样做可以让英伟达通过简单地更换 NVLink 交换机托架或根据需要推入脊柱机架来支持多种配置。
更有趣的方案是将CPO集成到交换机和GPU封装中。这几乎肯定会导致Feynman GPU推出多个SKU——一个带光模块，一个不带——但可以将网络架构简化为单层结构。
上个月在 GTC 大会上，Shainer 在接受El Reg采访时拒绝评论公司计划采用哪种方法，但他强调了单层计算架构的优势。
他说：“如果没有必要，就不要构建多个层级，因为要尽量减少计算引擎之间的延迟。”
虽然可以将CPO集成到GPU中，但单层NVL1152系统需要一个极其高阶的交换机。不过，考虑到Feynman芯片不太可能在2028年中后期上市，我们认为这并非不可能。
无论哪种方案，都需要充足的激光模块供应。虽然CPO（集成光刻）技术将大部分光学和信号处理功能集成到封装中，但为了便于维护，激光器通常仍保持独立。这或许可以解释英伟达上个月为何向Coherent和Lumentum这两家专注于光学激光器的公司分别投资40亿美元（各20亿美元）。如果英伟达想要真正有效地采用CPO技术，其供应链必须做好准备。
进一步的证据表明，英伟达正在转向加速器上的CPO策略，例如该公司本周早些时候宣布与Marvell达成20亿美元的合作协议。
作为这项投资的一部分，英伟达将与 Marvell 合作，将 NVLink Fusion（其高速互连技术的授权版本）集成到定制的 XPU 中，供英伟达 Vera CPU 使用。双方还将合作开发光纤 I/O 技术，但具体合作范围并未透露。
这家初创公司的光子互连技术可用于构建跨多个机架的相干存储网络，这对于英伟达来说可能极具吸引力，正如它对Marvell最大的客户之一（包括AWS）一样。您可能还记得，AWS是英伟达NVLink Fusion的最大客户之一，并计划在其下一代Trainium4计算集群中使用这项技术。
总之，英伟达显然已经意识到光学扩展的重要性，我们可以预期CPO将在其未来的系统设计中发挥更大的作用。
官方微信
官方微博
