NVIDIA GB300 NVL72 : Conçu pour l'ère du raisonnement IA
Le NVIDIA GB300 NVL72 dispose d'une conception à l'échelle du rack entièrement refroidie par liquide qui unifie 72 GPU NVIDIA Blackwell Ultra et 36 CPU NVIDIA Grace basés sur Arm dans une seule plateforme optimisée pour l'inférence à l'échelle du test. Les usines d'IA alimentées par le GB300 NVL72 utilisant NVIDIA Quantum-X800 InfiniBand ou Spectrum-X Ethernet associé à ConnectX-8 SuperNIC offrent une sortie 50 fois supérieure pour l'inférence de modèles de raisonnement par rapport à la plateforme NVIDIA Hopper.
Plateau de calcul
- 2 x Superpuces NVIDIA GB300 Grace Blackwell Ultra
- 4 x 279 Go de mémoire GPU HBM3E
- 2 x 480 Go de mémoire CPU LPDDR5X
- 8 baies de disques NVMe E1.S Gen5
- 4 ports OSFP NVIDIA ConnectX-8 SuperNIC 800 Gbit/s
- 1 x DPU NVIDIA BlueField-3
Comparaison des systèmes : NVIDIA GB300 NVL72 vs. GB200 NVL72
| GB300 NVL72 | GB200 NVL72 | |
|---|---|---|
| Configuration | 36 CPU Grace, 72 GPU Blackwell Ultra | 36 CPU Grace, 72 GPU Blackwell |
| FP4 Tensor Core | 1 440 PFLOPS | 1 100 PFLOPS (dense) | 1 440 PFLOPS | 720 PFLOPS (dense) |
| FP8/FP6 Tensor Core | 720 PFLOPS | 720 PFLOPS |
| INT8 Tensor Core | 23 PFLOPS | 720 POPS |
| FP16/BF16 Tensor Core | 360 PFLOPS | 360 PFLOPS |
| TF32 Tensor Core | 180 PFLOPS | 180 PFLOPS |
| FP32 | 5 760 TFLOPS | 5 760 TFLOPS |
| FP64 / FP64 Tensor Core | 100 TFLOPS | 2 880 TFLOPS |
| Bande passante NVLink | 130 TB/s | 130 TB/s |
| Mémoire rapide | Jusqu'à 37 To | Jusqu'à 31 To |
| Mémoire GPU | Bande passante | Jusqu'à 20 To HBM3E | Jusqu'à 576 To/s | Jusqu'à 13,5 To HBM3E | 576 To/s |
| Mémoire CPU | Bande passante | Jusqu'à 17 To LPDDR5X | Jusqu'à 18,4 To/s | Jusqu'à 17 To LPDDR5X | Jusqu'à 18,4 T |
| Cœurs CPU | 2 592 cœurs Arm Neoverse V2 | 2 592 cœurs Arm Neoverse V2 |
Spécifications du rack
| Dimensions | 1 068 L x 600 l x 2 299 H mm |
| GPU | 72 x GPU NVIDIA Blackwell Ultra |
| CPU | 36 x CPU NVIDIA Grace™ |
| Plateau de calcul | 18 x GIGABYTE XN15-CB0-LA01 |
| Plateau de commutateurs NVLink | 9 x commutateurs NVIDIA NVLink™ |
| Commutateur de gestion | 2 x commutateurs de gestion OOB + 1 x commutateur OS optionnel pour connexion de rack à rack |
| Étagère d'alimentation | 6 x étagères d'alimentation 1U 33 kW |
| Barre omnibus | 1 x barre omnibus 54 V CC 1400 A |
| Cartouche de câbles | 4 x cartouches de câbles NVIDIA NVLink™ |
| CDU | Compatible avec CDU en ligne ou dans le rack |
Spécifications
| Facteur de forme | Nœud de serveur 1U refroidi par liquide |
| Superpuce | 2 x Superpuces NVIDIA GB300 Grace Blackwell Ultra |
| Stockage | 8 baies de disques NVMe E1.S Gen5 1 x M.2 (2280/22110 ; PCIe 5.0 x4) |
| Mise en réseau | 4 ports OSFP NVIDIA ConnectX®-8 800 Gbit/s 1 x DPU NVIDIA® BlueField®-3 1 x LAN 1 Gbit/s (Intel® I210-AT) |
| E/S avant | 1 x USB 3.2 Gen1, 1 x Mini-DP, 1 x RJ45, 1 x MLAN |
| E/S arrière | 4 x connecteurs de commutateur NVIDIA NVLink™ |
| Prise en charge OS | Ubuntu 22.04.3 arm64 Red Hat Enterprise Linux Server 9.3 aarch64 SUSE Linux Enterprise Server 15 SP5 aarch64 |
| Refroidissement du système |
8 ventilateurs 40x40x56mm 2 boucles de plaque froide Superchip |