회사 소식 LLM 정밀 조정에 충분한 컴퓨팅 파워가 부족합니까?

LLM 정밀 조정에서 병목과 데이터 처리 고통점을 계산하십시오.

수직 큰 언어 모델 (LLM) 의 개인 배포에 대한 기업 수요가 폭발적으로 증가함에 따라 모델 정밀 조정에 대한 독점 데이터를 활용하는 것은 일반적인 시나리오가되었습니다.정밀 조정 과정에는 그레디언트 계산과 수십억 개의 매개 변수에 걸쳐 거대한 행렬 곱셈이 포함됩니다.표준 하드웨어는 컴퓨터 아키텍처가 일치하지 않거나 메모리 대역폭이 충분하지 않아서 종종 Out-of-Memory (OOM) 오류 또는 끔찍한 낮은 계산 처리량으로 고통받습니다.

Nvidia H100 및 DELL PowerEdge 서버의 아키텍처 통합

이 컴퓨팅 병목을 극복하기 위해엔비디아 H100 텐서 코어차세대 그래픽 카드DELL파워엣지서버시스템 수준에서 이질적인 규모는 산업의 최종적인 해결책이 되었습니다.

• 코어 그래픽 카드 매개 변수: 각 Nvidia H100 GPU 기능$80, 문자 {GB}$높은 대역폭$HBM3$메모리, 최대 최대 메모리 대역폭을 제공합니다3달러35,text{TB/s}$4세대 텐서 코어와 트랜스포머 엔진이$FP8$정밀 컴퓨팅 능력

• 버스 기술 및 레이아웃: DELL PowerEdge 서버 체시는 완전히 네이티브를 구현합니다.$PCIe,50.0x16$물리적 버스 레이아웃, 공급$128, 문자 {GB/s}$슬롯당 양방향 대역폭을 지원하고$NVLink$이것은 CPU와 CPU 사이의 통신 지연을 완전히 제거합니다.그래픽 카드.

• 전력 및 냉각 안전:$350W-700W$H100 카드당 전력 소모, DELL서버부재적인 장치가 장착되어 있습니다.$N+N$고효율의 티타늄 전원 공급 장치와 역류 냉각 팬, 완전한 부하에서 열 스프로싱을 보장합니다.

고효율의 정밀 조정 결과

Nvidia 코어로 장착된 DELL PowerEdge 컴퓨팅 클러스터를 배포함으로써그래픽 카드, 중견 및 대기업은 매우 압축된 시간 내에 지역 지식 기반 정밀 조정 작업을 효율적으로 완료 할 수 있습니다.컴퓨터 처리량은 이전 아키텍처에 비해 세대별로 개선되었습니다., 엔터프라이즈 AI 정밀 조정 워크플로우가 더 안정적이고 예측 가능하도록 합니다.