NVIDIA 900-21010-0120-030 H100 Nvl Tensor Core Gpu 94gb Interfaccia di memoria 6016 Bit Hbm3 Larghezza di banda di memoria 3938gb/s Pci-e 5.0 X16

La GPU NVIDIA® H100 NVL Tensor Core è la piattaforma più ottimizzata per le inferenze LLM grazie alla sua elevata densità di calcolo, all'elevata larghezza di banda della memoria, all'elevata efficienza energetica e all'architettura NVLink unica. Offre inoltre un'accelerazione senza precedenti per alimentare i data center elastici più performanti al mondo per applicazioni di intelligenza artificiale, analisi dei dati e high-performance computing (HPC). La tecnologia NVIDIA H100 NVL Tensor Core supporta un'ampia gamma di precisioni matematiche, fornendo un singolo acceleratore per ogni carico di lavoro di calcolo. La NVIDIA H100 NVL supporta attività di calcolo a doppia precisione (FP64), precisione singola (FP32), mezza precisione (FP16), virgola mobile a 8 bit (FP8) e intera (INT8).

La scheda NVIDIA H100 NVL è una scheda PCI Express Gen5 a doppio slot da 10,5 pollici basata sull'architettura NVIDIA Hopper™. Utilizza un dissipatore di calore passivo per il raffreddamento, che richiede il flusso d'aria del sistema per far funzionare correttamente la scheda entro i suoi limiti termici. La NVIDIA H100 NVL opera senza vincoli fino al suo livello massimo di potenza di progettazione termica (TDP) di 400 W per accelerare le applicazioni che richiedono la massima velocità computazionale e la massima produttività dei dati. La NVIDIA H100 NVL introduce la più alta larghezza di banda della memoria per schede PCIe al mondo, quasi 4.000 gigabyte al secondo (GBps). Ciò accelera il tempo di soluzione per i modelli più grandi e i set di dati più massicci.

La scheda NVIDIA H100 NVL è dotata della funzionalità Multi-Instance GPU (MIG). Questa può essere utilizzata per partizionare la GPU in un massimo di sette istanze GPU isolate a livello hardware, fornendo una piattaforma unificata che consente ai data center elastici di adattarsi dinamicamente alle mutevoli richieste dei carichi di lavoro. Inoltre, può allocare la giusta dimensione delle risorse dai lavori multi-GPU più piccoli ai più grandi. La versatilità della NVIDIA H100 NVL significa che i responsabili IT possono massimizzare l'utilità di ogni unità di elaborazione grafica (GPU) nel loro data center.

Le schede NVIDIA H100 NVL utilizzano tre bridge NVIDIA® NVLink®. Sono gli stessi di quelli utilizzati con le schede NVIDIA H100 PCIe. Ciò consente di collegare due schede NVIDIA H100 PCIe per fornire una larghezza di banda bidirezionale di 600 GB/s o 10 volte la larghezza di banda di PCIe Gen4, per massimizzare le prestazioni delle applicazioni per carichi di lavoro di grandi dimensioni.