Focussen op AI-rekencentra: Thermal Design Power (TDP)-knelpunten in LLM-training

Tijdens de trainingscycli van Large Language Models (LLM's) met tientallen of honderden miljarden parameters is het kernpijnpunt van AI-rekencentra geleidelijk verschoven van pure computerredundantie naar thermisch beheer met hoge dichtheid. Wanneer meerdere core grafische kaarten (GPU's) gedurende langere perioden op volle belasting draaien binnen een afgesloten ruimte$4U$ruimte kan het momentane Thermal Design Power (TDP) van een enkele chip gemakkelijk worden overschreden$ 700W$. Vanwege de fysieke beperkingen van de luchtspecifieke warmtecapaciteit leidt traditionele luchtkoeling gemakkelijk tot thermische accumulatie in de luchtservers, waardoor het thermische throttling-mechanisme van de chip wordt geactiveerd en de continuïteit en consistentie van de computeruitvoer rechtstreeks in gevaar komt.

Vloeistofkoelingtechnologie en parametrische voordelen van Supermicro GPU-servers

Om deze gemeenschappelijke uitdaging in de sector aan te pakken,Supermicroheeft een diepgaand aangepaste Cold Plate Liquid Cooling-oplossing geïntroduceerd in zijn volgende generatie GPU met hoge dichtheidservers. Deze oplossing richt zich op nauwkeurige temperatuurregeling voor componenten die veel warmte genereren.

• Materiaal en vakmanschap: Zuiver koperen koude platen met een hoge thermische geleidbaarheid worden rechtstreeks op de oppervlakken van GPU-chips en High Bandwidth Memory (HBM) aangebracht. Het structurele ontwerp met microkanalen vergroot het contactoppervlak voor thermische dissipatie met$35%$.

• Arbeidsomstandigheden: Onder zware industriële omstandigheden met een inlaatkoelmiddeltemperatuur van$32^circtext{C}$, handhaaft het systeem stabiel de kern-GPU-bedrijfstemperatuur hieronder$75^circtext{C}$.

• Betrouwbaarheidsnormen: De pijplijninterfaces maken gebruik van druppelvrije snelkoppelingen van luchtvaartkwaliteit, gecertificeerd door strenge drukpuls- en anticorrosietests, waardoor elk risico op lekkage van koelvloeistof gedurende de operationele levensduur van de IT-apparatuur wordt geëlimineerd.

PUE-resultaten van datacenters optimaliseren

Door Supermicro vloeistofgekoeld in te zettenserverskunnen datacenters het stroomverbruik van koelventilatoren met een hoog wattage drastisch verminderen. Experimentele gegevens geven aan dat bij identieke AI-computerworkloads vloeistofkoeling helpt de algehele Power Usage Effectiveness (PUE) van het datacenter te verlagen van$ 1,6 $onder traditionele luchtkoeling tot ongeveer$ 1,15 $, waardoor de stabiele werking van grootschalige gedistribueerde trainingsclusters wordt gewaarborgd en tegelijkertijd de operationele elektriciteitskosten op de lange termijn aanzienlijk worden verlaagd.