Сосредоточение внимания на вычислительных центрах искусственного интеллекта: узкие места расчетной тепловой мощности (TDP) в обучении LLM

В ходе циклов обучения моделей большого языка (LLM) с десятками или сотнями миллиардов параметров основная болевая точка вычислительных центров искусственного интеллекта постепенно смещалась от чистой избыточности вычислений к высокоплотному управлению температурой. Когда многоядерные видеокарты (графические процессоры) работать при полной нагрузке в течение длительного времени в течение ограниченного$4U$пространстве, мгновенная расчетная тепловая мощность (TDP) одного чипа может легко превысить$700Вт$. Из-за физических ограничений удельной теплоемкости воздуха традиционное воздушное охлаждение легко приводит к накоплению тепла внутри помещения.серверы, запуская механизм теплового регулирования чипа и напрямую ставя под угрозу непрерывность и согласованность вывода вычислений.

Технология жидкостного охлаждения и параметрические преимущества серверов Supermicro GPU

Чтобы решить эту общую для отрасли проблему,Супермикровнедрила глубоко адаптированное решение жидкостного охлаждения Cold Plate в свой графический процессор высокой плотности нового поколения.серверы. Это решение направлено на точный контроль температуры компонентов с высоким выделением тепла.

• Материал и мастерство: Холодные пластины из чистой меди с высокой теплопроводностью наносятся непосредственно на поверхности чипов графического процессора и памяти с высокой пропускной способностью (HBM). Микроканальная конструкция увеличивает площадь контакта для рассеивания тепла на$35%$.

• Условия труда: В тяжелых промышленных условиях при температуре охлаждающей жидкости на входе$32^circtext{C}$, система стабильно поддерживает рабочую температуру ядра графического процессора ниже$75^circtext{C}$.

• Стандарты надежности: В интерфейсах трубопроводов используются водонепроницаемые быстроразъемные соединения авиационного класса, сертифицированные в ходе строгих испытаний на импульсное давление и антикоррозийные испытания, что исключает любой риск утечки охлаждающей жидкости в течение всего срока службы ИТ-оборудования.

Оптимизация результатов PUE центра обработки данных

Используя Supermicro с жидкостным охлаждениемсерверы, центры обработки данных могут значительно сократить энергопотребление мощных вентиляторов охлаждения. Экспериментальные данные показывают, что при идентичных вычислительных нагрузках ИИ жидкостное охлаждение помогает снизить общую эффективность использования энергии (PUE) центра обработки данных с$1,6$при традиционном воздушном охлаждении примерно до$1,15$, обеспечивая стабильную работу крупномасштабных распределенных обучающих кластеров при значительном сокращении долгосрочных эксплуатационных затрат на электроэнергию.