Concentrarsi sui centri di calcolo dell'intelligenza artificiale: collo di bottiglia della potenza di progettazione termica nella formazione LLM

Nel corso dei cicli di formazione di Large Language Models (LLM) con decine o centinaia di miliardi di parametri,Il punto di forza dei centri di calcolo AI si è gradualmente spostato dalla pura ridondanza di calcolo alla gestione termica ad alta densità. Quando le schede grafiche hanno più core (Grafici) funzionano a pieno carico per lunghi periodi all'interno di un$4U$La potenza termica istantanea (TDP) di un singolo chip può facilmente superare700 dollari.A causa delle limitazioni fisiche della capacità termica specifica dell'aria, il raffreddamento tradizionale dell'aria porta facilmente all'accumulo di calore all'interno delServitori, innescando il meccanismo di throttling termico del chip e compromettendo direttamente la continuità e la consistenza dell'output di calcolo.

Tecnologia di raffreddamento liquido e vantaggi parametrici dei server supermicro GPU

Per affrontare questa sfida comune dell'industria,Supermicroha introdotto una soluzione di raffreddamento liquido Cold Plate profondamente personalizzata nella sua GPU ad alta densità di prossima generazioneServitoriQuesta soluzione si concentra sul controllo preciso della temperatura per i componenti ad alta generazione di calore.

• Materiale e artigianato: Le piastre fredde in rame puro ad alta conducibilità termica sono applicate direttamente sulle superfici dei chip GPU e della memoria ad alta larghezza di banda (HBM).La struttura a microcanale aumenta l'area di contatto di dissipazione termica di35%$..

• Condizioni di lavoro: In condizioni industriali difficili con una temperatura del liquido di raffreddamento di entrata di$32^circtext{C}$, il sistema mantiene stabilmente la temperatura di funzionamento della GPU centrale al di sotto$75^circtext{C}$.

• Norme di affidabilità: le interfacce delle condotte utilizzano connettori rapidi anti goccia di livello aeronautico, certificati attraverso rigorosi test di pressione e anti-corrosione,eliminazione di eventuali rischi di perdite di liquido di raffreddamento durante la durata di vita operativa dell'apparecchiatura IT.

Ottimizzazione dei risultati PUE del data center

Implementando Supermicro raffreddato a liquidoServitoriI dati sperimentali indicano che, con carichi di lavoro identici di IA, i ventilatori di raffreddamento ad alta potenza possono ridurre drasticamente il consumo di energia.Il raffreddamento liquido aiuta a ridurre l'efficacia complessiva dell'utilizzo di energia (PUE) del data center da$1,6$Il sistema di raffreddamento dell'aria tradizionale$1,15$, garantendo il funzionamento stabile dei cluster di formazione distribuiti su larga scala riducendo significativamente i costi operativi di energia elettrica a lungo termine.