NVIDIA 900-21010-0120-030 H100 Nvl Тензорный ядро Gpu 94gb Мемориальный интерфейс 6016 Битов Hbm3 Память Пропускная способность 3938gb/s Pci-e 5.0 X16

Графический процессор NVIDIA® H100 NVL Tensor Core — это наиболее оптимизированная платформа для инференса LLM благодаря высокой плотности вычислений, высокой пропускной способности памяти, высокой энергоэффективности и уникальной архитектуре NVLink. Он также обеспечивает беспрецедентное ускорение для самых высокопроизводительных эластичных центров обработки данных в мире для приложений искусственного интеллекта, анализа данных и высокопроизводительных вычислений (HPC). Технология NVIDIA H100 NVL Tensor Core поддерживает широкий спектр математических точностей, предоставляя один ускоритель для любой вычислительной нагрузки. NVIDIA H100 NVL поддерживает задачи вычислений с двойной точностью (FP64), одинарной точностью (FP32), половинной точностью (FP16), 8-битной плавающей точкой (FP8) и целочисленными (INT8) вычислениями.

Карта NVIDIA H100 NVL представляет собой двухслотовую карту PCI Express Gen5 длиной 10,5 дюйма на базе архитектуры NVIDIA Hopper™. Она использует пассивный радиатор для охлаждения, который требует системного воздушного потока для правильной работы карты в пределах ее тепловых ограничений. NVIDIA H100 NVL работает без ограничений до максимального уровня тепловой расчетной мощности (TDP) в 400 Вт для ускорения приложений, требующих самой высокой вычислительной скорости и самой высокой пропускной способности данных. NVIDIA H100 NVL впервые представляет самую высокую в мире пропускную способность памяти карты PCIe — почти 4000 гигабайт в секунду (ГБ/с). Это ускоряет время решения для самых больших моделей и самых массивных наборов данных.

Карта NVIDIA H100 NVL оснащена функцией Multi-Instance GPU (MIG). Она может использоваться для разделения графического процессора на семь аппаратно изолированных экземпляров графического процессора, предоставляя унифицированную платформу, которая позволяет эластичным центрам обработки данных динамически адаптироваться к меняющимся требованиям рабочей нагрузки. Кроме того, она может выделять ресурсы нужного размера для многопроцессорных задач от самых маленьких до самых больших. Универсальность NVIDIA H100 NVL означает, что ИТ-менеджеры могут максимизировать использование каждого графического процессора (GPU) в своем центре обработки данных.

Карты NVIDIA H100 NVL используют три моста NVIDIA® NVLink®. Они такие же, как и те, что используются с картами NVIDIA H100 PCIe. Это позволяет подключать две карты NVIDIA H100 PCIe для обеспечения двунаправленной пропускной способности 600 ГБ/с или в 10 раз большей пропускной способности по сравнению с PCIe Gen4, чтобы максимизировать производительность приложений для больших рабочих нагрузок.