NVIDIA DGX H100 (8x SXM 80 ГБ, 2x Xeon Platinum 8480C, 2 ТБ RAM)

NVIDIA DGX H100 (8x SXM 80 ГБ, 2x Xeon Platinum 8480C, 2 ТБ RAM) Тип устройства: Сервер для AI/ML-нагрузок (датацентровая платформа) Форм-фактор: 10U Процессоры: 2× Intel Xeon Platinum 8480C (Sapphire Rapids), 60 ядер / 120 потоков каждый, 2.0 ГГц base / 3.8 ГГц boost, TDP 350 Вт Оперативная память: 2 ТБ DDR5 RDIMM ECC (32 слота, 16× 64 ГБ DDR5-4800) Ускорители: 8× NVIDIA H100 SXM 80 ГБ (архитектура Hopper, HBM3) Суммарный объём VRAM: 640 ГБ Интерконнект GPU: NVLink 4.0 / NVSwitch 3.0, 900 ГБ/с двунаправленная полоса пропускания между GPU Производительность FP8 Tensor Core (суммарно 8× H100): 31 664 TFLOPS Производительность BF16/FP16 Tensor Core (суммарно 8× H100): 15 832 TFLOPS Производительность TF32 Tensor Core (суммарно 8× H100): 7 912 TFLOPS Производительность FP64 Tensor Core (суммарно 8× H100): 536 TFLOPS Производительность INT8 Tensor Core (суммарно 8× H100): 31 664 TOPS Поддерживаемые типы точности: FP64, FP32, TF32, BF16, FP16, FP8, INT8, INT4 Системная шина GPU–CPU: PCIe 5.0 x16 Системное хранилище (ОС): 2× 1.92 ТБ NVMe SSD M.2 (RAID 1, зеркало) Высокоскоростное хранилище данных: 8× 3.84 ТБ NVMe SSD U.2 (суммарно ~30.7 ТБ, PCIe 4.0) Сетевые интерфейсы: 8× NVIDIA ConnectX-7 200 Гбит/с InfiniBand HDR (по одному на GPU), 2× 10GbE (управление/данные), 1× 1GbE BMC/IPMI Суммарная пропускная способность InfiniBand: 1.6 Тбит/с Блоки питания: 10× 2 000 Вт (резервирование N+2), 80 PLUS Platinum Максимальное энергопотребление (TDP системы): ~10 200 Вт Охлаждение: принудительное воздушное (high-performance), горизонтальный воздушный поток Стандарт безопасности GPU: NVIDIA Confidential Computing (H100 Hopper TEE) Программный стек: NVIDIA Base Command, NVIDIA AI Enterprise (опционально), CUDA 12.x, cuDNN, NCCL, TensorRT, Triton Inference Server, DeepSpeed, PyTorch, TensorFlow Управление: BMC (IPMI 2.0), NVIDIA DGX System Manager, NVIDIA NGC Размеры (ШхВхГ): 482.2 × 443.0 × 895.6 мм Масса: ~227 кг Рабочая температура: 5–35 °C MTBF: >100 000 часов P/N основной: 920-23687-2530-000 P/N альт.: 699-23687-2530-001 / 699-23687-2530-000 / NVIDIA-DGX-H100 Модели: DGX H100 (NVIDIA) / H100 SXM5 80GB (NVIDIA) / ConnectX-7 NDR (NVIDIA Mellanox) Совместимость: NVIDIA DGX SuperPOD / NVIDIA Base Command Platform / NVIDIA InfiniBand Quantum-2 QM9700 / NVIDIA NVLink Switch System / Dell PowerEdge / HPE ProLiant (в составе кластера через InfiniBand-фабрику)