NVIDIA 900-21010-0120-030 H100 Nvl Tensor Core Gpu 94 GB Geheugen Interface 6016 Bit Hbm3 Geheugen Bandbreedte 3938 GB/s Pci-e 5.0 X16

De NVIDIA® H100 NVL Tensor Core GPU is het meest geoptimaliseerde platform voor LLM-inferenties met zijn hoge rekendichtheid, hoge geheugenbandbreedte, hoge energie-efficiëntie en unieke NVLink-architectuur. Het levert ook ongekende versnelling om de meest presterende elastische datacenters ter wereld aan te drijven voor AI-, data-analyse- en high-performance computing (HPC)-toepassingen. NVIDIA H100 NVL Tensor Core-technologie ondersteunt een breed scala aan wiskundige precisies, en biedt een enkele accelerator voor elke rekenworkload. De NVIDIA H100 NVL ondersteunt double precision (FP64), single precision (FP32), half precision (FP16), 8-bit floating point (FP8) en integer (INT8) rekentaken.

De NVIDIA H100 NVL-kaart is een dual-slot 10,5 inch PCI Express Gen5-kaart gebaseerd op de NVIDIA Hopper™-architectuur. Het maakt gebruik van een passieve heatsink voor koeling, wat systeemluchtstroom vereist om de kaart correct te laten werken binnen zijn thermische limieten. De NVIDIA H100 NVL werkt onbeperkt tot zijn maximale thermische ontwerpvermogen (TDP) van 400 W om toepassingen te versnellen die de snelste rekensnelheid en de hoogste doorvoer van gegevens vereisen. De NVIDIA H100 NVL introduceert de hoogste geheugenbandbreedte voor PCIe-kaarten ter wereld van bijna 4.000 gigabytes per seconde (GBps). Dit verkort de tijd tot oplossing voor de grootste modellen en de meest massieve datasets.

De NVIDIA H100 NVL-kaart beschikt over Multi-Instance GPU (MIG)-functionaliteit. Dit kan worden gebruikt om de GPU te partitioneren in maximaal zeven hardware-geïsoleerde GPU-instanties, waardoor een uniform platform ontstaat dat elastische datacenters in staat stelt zich dynamisch aan te passen aan veranderende workloadvereisten. Bovendien kan het de juiste hoeveelheid resources toewijzen, van de kleinste tot de grootste multi-GPU-taken. De veelzijdigheid van de NVIDIA H100 NVL betekent dat IT-managers het nut van elke grafische verwerkingseenheid (GPU) in hun datacenter kunnen maximaliseren.

NVIDIA H100 NVL-kaarten gebruiken drie NVIDIA® NVLink®-bruggen. Ze zijn hetzelfde als degene die wordt gebruikt met NVIDIA H100 PCIe-kaarten. Dit maakt het mogelijk om twee NVIDIA H100 PCIe-kaarten te verbinden om een bidirectionele bandbreedte van 600 GB/s te leveren, of 10x de bandbreedte van PCIe Gen4, om de applicatieprestaties voor grote workloads te maximaliseren.