NVIDIA Tesla H100 80GB PCIe GPUグラフィックスカード サーバー用ビデオカード
$59,999.00
セール価格
$59,999.00
通常価格
商品情報にスキップ
* スパースネス使用時
NVIDIA H100 80GB pcie GPU Graphics Cards Video Card
H100 NVLで大規模言語モデルの推論を強化
最大700億のパラメータを持つLLM（Llama 2 70B）の場合、PCIeベースのNVIDIA H100 NVL with NVLinkブリッジは、Transformer Engine、NVLink、188GB HBM3メモリを利用して、最適なパフォーマンスとデータセンター全体での容易なスケーリングを提供し、LLMを主流にします。H100 NVL GPUを搭載したサーバーは、電力制約のあるデータセンター環境で低遅延を維持しながら、NVIDIA A100システムと比較してLlama 2 70Bのパフォーマンスを最大5倍向上させます。
製品仕様
| H100 SXM | H100 NVL | |
|---|---|---|
| FP64 | 34 teraFLOPS | 30 teraFLOPs |
| FP64 Tensor Core | 67 teraFLOPS | 60 teraFLOPs |
| FP32 | 67 teraFLOPS | 60 teraFLOPs |
| TF32 Tensor Core* | 989 teraFLOPS | 835 teraFLOPs |
| BFLOAT16 Tensor Core* | 1,979 teraFLOPS | 1,671 teraFLOPS |
| FP16 Tensor Core* | 1,979 teraFLOPS | 1,671 teraFLOPS |
| FP8 Tensor Core* | 3,958 teraFLOPS | 3,341 teraFLOPS |
| INT8 Tensor Core* | 3,958 TOPS | 3,341 TOPS |
| GPU Memory | 80GB | 94GB |
| GPU Memory Bandwidth | 3.35TB/s | 3.9TB/s |
| Decoders | 7 NVDEC 7 JPEG |
7 NVDEC 7 JPEG |
| Max Thermal Design Power (TDP) | Up to 700W (configurable) | 350-400W (configurable) |
| Multi-Instance GPUs | Up to 7 MIGS @ 10GB each | Up to 7 MIGS @ 12GB each |
| Form Factor | SXM | PCIe dual-slot air-cooled |
| Interconnect | NVIDIA NVLink™: 900GB/s PCIe Gen5: 128GB/s |
NVIDIA NVLink: 600GB/s PCIe Gen5: 128GB/s |
| Server Options | NVIDIA HGX H100 Partner and NVIDIA- Certified Systems™ with 4 or 8 GPUs NVIDIA DGX H100 with 8 GPUs |
Partner and NVIDIA-Certified Systems with 1–8 GPUs |
| NVIDIA AI Enterprise | Add-on | Included |
* スパースネス使用時