NVIDIA GB300 NVL72：AI推論の時代のために構築
NVIDIA GB300 NVL72は、完全液冷式のラックスケール設計を特徴としており、72個のNVIDIA Blackwell Ultra GPUと36個のArmベースNVIDIA Grace CPUを単一のプラットフォームに統合し、テスト時スケーリング推論向けに最適化されています。NVIDIA Quantum-X800 InfiniBandまたはSpectrum-X EthernetとConnectX-8 SuperNICを組み合わせたGB300 NVL72を搭載したAIファクトリーは、NVIDIA Hopperプラットフォームと比較して、推論モデルの出力が50倍向上します。
コンピュートトレイ
- 2 x NVIDIA GB300 Grace Blackwell Ultra Superchip
- 4 x 279GB HBM3E GPUメモリ
- 2 x 480GB LPDDR5X CPUメモリ
- 8 x E1.S Gen5 NVMeドライブベイ
- 4 x NVIDIA ConnectX-8 SuperNIC 800Gb/s OSFPポート
- 1 x NVIDIA BlueField-3 DPU
システム比較：NVIDIA GB300 NVL72 vs. GB200 NVL72
| GB300 NVL72 | GB200 NVL72 | |
|---|---|---|
| 構成 | 36 Grace CPU、72 Blackwell Ultra GPU | 36 Grace CPU、72 Blackwell GPU |
| FP4 Tensor Core | 1,440 PFLOPS | 1,100 PFLOPS (dense) | 1,440 PFLOPS | 720 PFLOPS (dense) |
| FP8/FP6 Tensor Core | 720 PFLOPS | 720 PFLOPS |
| INT8 Tensor Core | 23 PFLOPS | 720 POPS |
| FP16/BF16 Tensor Core | 360 PFLOPS | 360 PFLOPS |
| TF32 Tensor Core | 180 PFLOPS | 180 PFLOPS |
| FP32 | 5,760 TFLOPS | 5,760 TFLOPS |
| FP64 / FP64 Tensor Core | 100 TFLOPS | 2,880 TFLOPS |
| NVLink帯域幅 | 130 TB/s | 130 TB/s |
| 高速メモリ | 最大37 TB | 最大31 TB |
| GPUメモリ | 帯域幅 | 最大20 TB HBM3E | 最大576 TB/s | 最大13.5 TB HBM3E | 576 TB/s |
| CPUメモリ | 帯域幅 | 最大17 TB LPDDR5X | 最大18.4 TB/s | 最大17 TB LPDDR5X | 最大18.4 T |
| CPUコア | 2,592 Arm Neoverse V2コア | ,592 Arm Neoverse V2コア |
ラック仕様
| 寸法 | 1,068L x 600W x 2,299H mm |
| GPU | 72 x NVIDIA Blackwell Ultra GPU |
| CPU | 36 x NVIDIA Grace™ CPU |
| コンピュートトレイ | 18 x GIGABYTE XN15-CB0-LA01 |
| NVLinkスイッチトレイ | 9 x NVIDIA NVLink™スイッチ |
| 管理スイッチ | 2 x OOB管理スイッチ + ラック間接続用オプションOSスイッチ1台 |
| 電源棚 | 6 x 1U 33kW電源棚 |
| バスバー | 1 x 54V DC 1400Aバスバー |
| ケーブルカートリッジ | 4 x NVIDIA NVLink™ケーブルカートリッジ |
| CDU | インローまたはインラックCDUに対応 |
スペック
| フォームファクター | 1U液冷サーバーノード |
| スーパーチップ | 2 x NVIDIA GB300 Grace Blackwell Ultra Superchip |
| ストレージ | 8 x E1.S Gen5 NVMeドライブベイ 1 x M.2 (2280/22110; PCIe 5.0 x4) |
| ネットワーク | 4 x NVIDIA ConnectX®-8 800Gb/s OSFPポート 1 x NVIDIA® BlueField®-3 DPU 1 x 1Gb/s LAN (Intel® I210-AT) |
| フロントIO | 1 x USB 3.2 Gen1、1 x Mini-DP、 1 x RJ45、1 x MLAN |
| リアIO | 4 x NVIDIA NVLink™スイッチコネクタ |
| OSサポート | Ubuntu 22.04.3 arm64 Red Hat Enterprise Linux Server 9.3 aarch64 SUSE Linux Enterprise Server 15 SP5 aarch64 |
| システム 冷却 |
8 x 40x40x56mmファン 2 x スーパーチップコールドプレートループ |