NVIDIA 900-21010-0120-030 H100 Nvl 텐서 코어 Gpu 94GB 메모리 인터페이스 6016 비트 Hbm3 메모리 대역폭 3938gb/s Pci-e 5.0 X16

NVIDIA® H100 NVL Tensor Core GPU는 높은 컴퓨팅 밀도, 높은 메모리 대역폭, 높은 에너지 효율성 및 고유한 NVLink 아키텍처를 통해 LLM 추론에 가장 최적화된 플랫폼입니다. 또한 AI, 데이터 분석 및 고성능 컴퓨팅(HPC) 애플리케이션을 위한 세계 최고 성능의 탄력적 데이터 센터를 지원하는 전례 없는 가속 기능을 제공합니다. NVIDIA H100 NVL Tensor Core 기술은 광범위한 수학 정밀도를 지원하여 모든 컴퓨팅 워크로드에 단일 가속기를 제공합니다. NVIDIA H100 NVL은 배정밀도(FP64), 단정밀도(FP32), 반정밀도(FP16), 8비트 부동 소수점(FP8) 및 정수(INT8) 컴퓨팅 작업을 지원합니다.

NVIDIA H100 NVL 카드는 NVIDIA Hopper™ 아키텍처를 기반으로 하는 듀얼 슬롯 10.5인치 PCI Express Gen5 카드입니다. 냉각을 위해 패시브 히트 싱크를 사용하며, 카드를 열 제한 내에서 제대로 작동시키려면 시스템 공기 흐름이 필요합니다. NVIDIA H100 NVL은 최대 열 설계 전력(TDP) 수준인 400W까지 제약 없이 작동하여 가장 빠른 연산 속도와 가장 높은 데이터 처리량을 요구하는 애플리케이션을 가속화합니다. NVIDIA H100 NVL은 거의 4,000기가바이트/초(GBps)의 세계 최고 PCIe 카드 메모리 대역폭을 선보입니다. 이는 가장 큰 모델과 가장 방대한 데이터 세트에 대한 솔루션 시간을 단축합니다.

NVIDIA H100 NVL 카드는 Multi-Instance GPU(MIG) 기능을 갖추고 있습니다. 이는 GPU를 최대 7개의 하드웨어 격리된 GPU 인스턴스로 분할하는 데 사용될 수 있으며, 탄력적 데이터 센터가 변화하는 워크로드 요구 사항에 동적으로 조정할 수 있도록 하는 통합 플랫폼을 제공합니다. 또한 가장 작은 작업부터 가장 큰 멀티 GPU 작업까지 적절한 크기의 리소스를 할당할 수 있습니다. NVIDIA H100 NVL의 다용성은 IT 관리자가 데이터 센터의 모든 그래픽 처리 장치(GPU)의 유용성을 극대화할 수 있음을 의미합니다.

NVIDIA H100 NVL 카드는 세 개의 NVIDIA® NVLink® 브리지를 사용합니다. 이는 NVIDIA H100 PCIe 카드와 함께 사용되는 것과 동일합니다. 이를 통해 두 개의 NVIDIA H100 PCIe 카드를 연결하여 600 GB/s의 양방향 대역폭 또는 PCIe Gen4 대역폭의 10배를 제공하여 대규모 워크로드에 대한 애플리케이션 성능을 극대화할 수 있습니다.