在本文中，我们对RTX 4090进行了基准测试，以评估其深度学习训练性能。我们还将其性能与 NVIDIA GeForce RTX 3090（上一代 Ampere 旗舰消费级 GPU）进行了比较。
NVIDIA RTX 4090 亮点
24GB内存，售价1599美元。
在我们测试的深度学习模型中，包括视觉、语言、语音和推荐系统中的用例，RTX 4090的训练吞吐量和训练吞吐量/$明显高于RTX 3090 。
尽管RTX 4090的功耗高达450W ，但其训练吞吐量/瓦特接近RTX 3090 。
在我们的2x GPU 测试中，多 GPU 训练扩展得很好。
注意：使用最新的 NVIDIA® PyTorch NGC 容器 ( pytorch:22.09-py3 )测试了 GPU。NVIDIA®过去在其 PyTorch NGC 容器中支持其深度学习示例。但是，自pytorch:21.08-py3以来，情况已不再如此。我们努力安装并简化了在pytorch:22.09-py3中对深度学习示例进行基准测试的过程。您可以在此repo中找到有关如何重现基准测试的更多详细信息。
PyTorch 训练吞吐量
连接我们的云和互联网的链路经历了重大改造，我们的带宽增加到 10 Gbps —是以前带宽的 10 倍。
训练吞吐量比较
tf32-训练-吞吐量-wrt-RTX-3090
FP16-训练-吞吐量-wrt-rtx-3090
所有数字均使用单个RTX 3090的训练吞吐量进行标准化。
RTX 4090的训练吞吐量明显更高。根据型号不同，其TF32训练吞吐量比RTX 3090高出1.3 倍至1.9 倍。
同样，RTX 4090的FP16训练吞吐量比RTX 3090高1.3 倍到1.8 倍。
训练吞吐量/美元比较
TF32-训练吞吐量/美元-wrt-rtx-3090
fp16-每美元训练吞吐量-wrt-rtx-3090
所有数字均使用单个RTX 3090的训练吞吐量/$进行标准化。
RTX 3090和RTX 4090的参考价格分别为1400美元和1599美元。
RTX 4090还具有出色的训练吞吐量 / 美元 –与RTX 3090相比，不同模型和精度的训练吞吐量在1.2 倍到1.6 倍之间。
训练吞吐量/瓦特比较
tf32-训练吞吐量-每瓦-wrt-rtx-3090
fp16-训练吞吐量每瓦-wrt-rtx-3090
所有数字均使用单个RTX 3090的训练吞吐量/瓦特进行标准化。
RTX 3090和RTX 4090的功耗分别为350W和450W。
RTX 4090的训练吞吐量/瓦特与RTX 3090相当，范围在RTX 3090 的0.92 倍到1.5 倍之间。
多 GPU 扩展
由于 Ada Lovelace GPU 架构不再支持 NVLink，我们想知道多 GPU 训练对RTX 4090的效果如何。我们将2 个 RTX 4090插入PCIe Gen 4主板（见下图），并将2 个 RTX 4090与单个RTX 4090的训练吞吐量进行了比较。
rtx-4090-工作站
内有 2 个 RTX 4090。请注意，单个 RTX 4090 将占用3.5 个 PCIe 插槽。
我们的测试表明，RTX 4090在 2x GPU 深度学习训练中表现相当不错：
rtx-4090-与-2x-RTX-4090
大多数模型通过两个 GPU 可实现接近 2 倍的训练吞吐量。
然而，我们确实观察到了一些次优扩展。例如，2xGPU 仅导致对BERT_base模型进行精细调整的吞吐量达到约 1.7 倍。
顺便提一下，在所有测试的 GPU 上，Tacotron2 FP16并不比TF32快。这与NVIDIA 的 Tacotron2基准测试报告一致。
最后但同样重要的一点是，我们将2x RTX 4090与2x RTX 3090 （ 使用 NVLink）进行了比较，发现2x RTX 4090 的表现始终优于2x RTX 3090 ：
tf32-训练-吞吐量-wrt-2x-3090-NVlinked
fp16-训练-吞吐量-wrt-2x-3090-NVlinked
结论
总而言之，GeForce RTX 4090是一款出色的深度学习显卡，尤其适合精打细算的创作者、学生和研究人员。它不仅比上一代旗舰消费级 GPU GeForce RTX 3090快得多，而且在训练吞吐量/美元方面也更具成本效益。对于更大的训练工作负载，NVIDIA RTX 专业 GPU 提供更大的 GPU 内存来处理更大的训练数据集和模型。
与此同时，对于那些想要购买RTX 4090 的人来说，有几个注意事项：首先，它不是一张小卡。它的 61 毫米（2.4 英寸）宽度需要 3.5 个 PCIe 插槽。因此，请确保您的主板和计算机机箱有足够的空间来容纳这个野兽。其次，它的450W高功耗需要强大的电源。事实上，NVIDIA® 建议RTX 4090系统的最低系统功率为850W。
我们期待不仅针对RTX 4090运行更多基准测试，还针对其他 Ada Lovelace/Hopper GPU 运行更多基准测试。特别是使用更多 GPU 进行更广泛的深度学习模型训练的更全面的扩展测试，以及使用仅在新一代 Tensor Core 上可用的新 FP8 数据类型运行推理基准测试。
