Centrarse en los centros de computación de IA: cuellos de botella en el poder de diseño térmico (TDP) en la formación de LLM

Durante los ciclos de formación de grandes modelos de lenguaje (LLM) con decenas o cientos de miles de millones de parámetros,el punto de dolor central de los centros de computación de IA ha cambiado gradualmente de la redundancia de computación pura a la gestión térmica de alta densidad. Cuando las tarjetas gráficas de varios núcleos (Las GPU) se ejecuta a plena carga durante largos períodos dentro de un espacio limitado.$4U$En el espacio, la potencia de diseño térmico instantáneo (TDP) de un solo chip puede superar fácilmente$700W$Debido a las limitaciones físicas de la capacidad térmica específica del aire, el enfriamiento por aire tradicional conduce fácilmente a una acumulación térmica en el interior de la cámara.los servidores, activando el mecanismo de aceleración térmica del chip y comprometiendo directamente la continuidad y la consistencia de la salida de computación.

Tecnología de enfriamiento líquido y ventajas paramétricas de los servidores de supermicro GPU

Para hacer frente a este desafío común de la industria,Supermicroha introducido una solución de enfriamiento de líquido de placa fría profundamente personalizada en su GPU de alta densidad de próxima generaciónlos servidoresEsta solución se centra en el control preciso de la temperatura de los componentes de alta generación de calor.

• Materiales y artesanía: Las placas frías de cobre puro de alta conductividad térmica se aplican directamente a las superficies de los chips GPU y la memoria de gran ancho de banda (HBM).El diseño estructural de microcanales aumenta el área de contacto de disipación térmica enEl 35%.

• Condiciones de trabajo: En condiciones industriales difíciles con una temperatura del refrigerante de entrada de$32^circtext{C}$ No puedo creerlo., el sistema mantiene establemente la temperatura de funcionamiento de la GPU central por debajo$75 por ciento..

• Normas de fiabilidad: Las interfaces de la tubería utilizan conectores rápidos no goteantes de grado de aviación, certificados a través de rigurosas pruebas de pulso de presión y anticorrosión,eliminación de cualquier riesgo de fuga de refrigerante durante la vida útil del equipo informático.

Optimización de los resultados de PUE del centro de datos

Al desplegar Supermicro refrigerado por líquidolos servidoresLos datos experimentales indican que bajo cargas de trabajo idénticas de computación de IA, el consumo de energía de los ventiladores de enfriamiento de alto poder puede reducirse drásticamente.La refrigeración líquida ayuda a reducir la eficiencia de uso de energía (PUE) del centro de datos en general$1.6$En la actualidad, el consumo de agua en el sector de la refrigeración es de aproximadamente$1.15$, garantizando el funcionamiento estable de grupos de formación distribuidos a gran escala y reduciendo significativamente los costes operativos de electricidad a largo plazo.