NVIDIA 900-21010-0120-030 H100 Nvl Tensor Core Gpu 94GB Memória Interface 6016 Bit Hbm3 Memória Largura de banda 3938gb/s Pci-e 5.0 X16

A GPU NVIDIA® H100 NVL Tensor Core é a plataforma mais otimizada para Inferências de LLM com sua alta densidade de computação, alta largura de banda de memória, alta eficiência energética e arquitetura NVLink exclusiva. Ela também oferece aceleração sem precedentes para potencializar os data centers elásticos de maior desempenho do mundo para aplicações de IA, análise de dados e computação de alto desempenho (HPC). A tecnologia NVIDIA H100 NVL Tensor Core suporta uma ampla gama de precisões matemáticas, fornecendo um único acelerador para cada carga de trabalho de computação. A NVIDIA H100 NVL suporta tarefas de computação de precisão dupla (FP64), precisão simples (FP32), meia precisão (FP16), ponto flutuante de 8 bits (FP8) e inteiros (INT8).

A placa NVIDIA H100 NVL é uma placa PCI Express Gen5 de dois slots e 10,5 polegadas baseada na arquitetura NVIDIA Hopper™. Ela utiliza um dissipador de calor passivo para resfriamento, que requer fluxo de ar do sistema para operar a placa corretamente dentro de seus limites térmicos. A NVIDIA H100 NVL opera sem restrições até seu nível máximo de potência de projeto térmico (TDP) de 400 W para acelerar aplicações que exigem a velocidade computacional mais rápida e a maior taxa de transferência de dados. A NVIDIA H100 NVL estreia a maior largura de banda de memória de placa PCIe do mundo, de quase 4.000 gigabytes por segundo (GBps). Isso acelera o tempo de solução para os maiores modelos e os conjuntos de dados mais massivos.

A placa NVIDIA H100 NVL possui capacidade Multi-Instance GPU (MIG). Isso pode ser usado para particionar a GPU em até sete instâncias de GPU isoladas por hardware, fornecendo uma plataforma unificada que permite que data centers elásticos se ajustem dinamicamente às demandas de carga de trabalho em constante mudança. Além disso, pode alocar o tamanho certo de recursos, desde os menores até os maiores trabalhos multi-GPU. A versatilidade da NVIDIA H100 NVL significa que os gerentes de TI podem maximizar a utilidade de cada unidade de processamento gráfico (GPU) em seu data center.

As placas NVIDIA H100 NVL usam três pontes NVIDIA® NVLink®. Elas são as mesmas usadas com as placas NVIDIA H100 PCIe. Isso permite que duas placas NVIDIA H100 PCIe sejam conectadas para fornecer largura de banda bidirecional de 600 GB/s ou 10x a largura de banda do PCIe Gen4, para maximizar o desempenho da aplicação para cargas de trabalho grandes.