En mettant l'accent sur les centres de calcul de l'IA: les goulots d'étranglement de la puissance de conception thermique (TDP) dans la formation LLM

Au cours des cycles de formation des grands modèles de langage (LLM) avec des dizaines ou des centaines de milliards de paramètres,Le principal problème des centres d'informatique d'IA est progressivement passé de la pure redondance informatique à la gestion thermique à haute densité.. Lorsque les cartes graphiques à plusieurs cœurs (Graphismes graphiques) fonctionne à pleine charge pendant de longues périodes dans un espace restreint$4U$Dans l'espace, la puissance thermique instantanée (TDP) d'une seule puce peut facilement dépasser700 $W$En raison des limitations physiques de la capacité thermique spécifique de l'air, le refroidissement par air traditionnel entraîne facilement une accumulation thermique à l'intérieur de l'appareil.serveurs, déclenchant le mécanisme d'accélération thermique de la puce et compromettant directement la continuité et la cohérence de la sortie de calcul.

Technologie de refroidissement par liquide et avantages paramétriques des serveurs de supermicro GPU

Pour relever ce défi commun à l'industrie,Supermicroa introduit une solution de refroidissement liquide à plaque froide profondément personnalisée dans sa prochaine génération de GPU haute densitéserveursCette solution est axée sur le contrôle précis de la température des composants à haute production de chaleur.

• Matériel et savoir-faire: Des plaques froides de cuivre pur à haute conductivité thermique sont appliquées directement sur les surfaces des puces GPU et de la mémoire à large bande passante (HBM).La conception structurelle en micro-canaux augmente la surface de contact de dissipation thermique de35% $.

• Conditions de travail: dans des conditions industrielles difficiles avec une température du liquide de refroidissement d'entrée deJe vous en prie., le système maintient de façon stable la température de fonctionnement du GPU au-dessous$75 pour le texte..

• Normes de fiabilité: Les interfaces de pipeline utilisent des connecteurs rapides antigouttes de qualité aéronautique, certifiés par des tests rigoureux d'impulsion de pression et d'anticorrosion,éliminer tout risque de fuite de liquide de refroidissement pendant la durée de vie opérationnelle de l'équipement informatique.

Optimisation des résultats PUE des centres de données

En déployant Supermicro refroidi par liquideserveursLes données expérimentales indiquent qu'avec des charges de travail d'IA identiques, la consommation d'énergie des ventilateurs de refroidissement de haute puissance peut être réduite de façon drastique.Le refroidissement par liquide aide à réduire l'efficacité globale de l'utilisation de l'énergie du centre de données (PUE) de$1,6$En revanche, les taux de CO2 dans les centrales électriques1,15 $, assurant le fonctionnement stable de grappes de formation distribuées à grande échelle tout en réduisant considérablement les coûts d'électricité opérationnels à long terme.