Фильтр по тематике

Жидкостное охлаждение для высокопроизводительных серверов

1532 0

В статье подробно рассматриваются этапы разработки специализированного жидкостного охлаждения для высоконагруженных серверов с применением CAE-анализа. Описана методика испытаний прототипа системы и созданного с этой целью стенда. Проводятся сравнения характеристик теоретической модели с реальным рабочим прототипом.

Введение 

Известно, что современные серверы могут похвастаться очень высокой производительностью. Однако увеличение вычислительной силы влечёт за собой существенную проблему – количество выделяемого компонентами вычислительной системы тепла серьёзно возрастает. Для того чтобы охладить комплектующие, приходится использовать всё более эффективные системы воздушного охлаждения. В результате шум от постоянно работающих вентиляторов в корпусе сервера становится всё более громким, а вибрации от вентиляторов начинают негативно влиять на сами комплектующие.
И если таких серверов набирается целая стойка, то воздушное охлаждение может работать на пределе своей производительности, что сказывается на его надёжности. К тому же традиционное воздушное охлаждение уже совершенно не спасает, когда за окном стоит жаркая летняя погода. Тут есть смысл задуматься над применением жидкостного охлаждения, о возможностях и преимуществах которого многие пользователи даже не подозревают.

Особенности системы жидкостного охлаждения 

В качестве теплоносителя используется вода. Она постоянно циркулирует и поступает к компонентам компьютера, нуждающимся в охлаждении. Далее она по трубкам проходит в радиатор, где тепло от воды передаётся воздуху и отводится за пределы вычислительного блока. Движение воды в системе жидкостного охлаждения осуществляется с помощью специальной помпы. Поскольку жидкость имеет большую теплопроводность, чем воздух, то она гораздо эффективнее отводит тепло от различных компонентов компьютера, включая процессор и графический чип.
Систему жидкостного охлаждения очень выгодно использовать по нескольким причинам. Во-первых, как говорилось ранее, эффективность такого охлаждения гораздо выше воздушного, а значит, подобную систему можно использовать для того, чтобы разогнать систему и одновременно обеспечить стабильность её работы. Вы можете добиться разгона процессора и других компонентов без существенного увеличения их температур, что самым положительным образом отразится на надёжности работы комплектующих и конечных результатах по производительности.
Во-вторых, при использовании жидкостной системы охлаждения фактически нет никаких вентиляторов. Это означает, что можно сделать работу сервера гораздо более тихой и комфортной. Таким образом, с помощью жидкостного охлаждения можно получить мощный и одновременно малошумящий сервер. 
К минусам системы жидкостного охлаждения обычно относят некоторую сложность её сборки и дороговизну. Однако собрать все компоненты жидкостного охлаждения сегодня может любой грамотный инженер, который владеет навыками сборки отдельных комплектующих вычислительных систем. Что касается цены, то, безусловно, жидкостное охлаждение стоит несколько дороже воздушного. Но учитывая, что водяное охлаждение применяется главным образом в дорогостоящих и высокопроизводительных системах, стоимость такого охлаждения нивелируется на фоне стоимости вычислительных компонентов больших систем. Ко всему прочему, при правильной сборке и обслуживании система жидкостного охлаждения способна прослужить очень долгое время.

Описание проблематики 

При реализации некоторых проектов по созданию вычислительных кластеров мы также сталкивались с проблемами эффективного охлаждения высоконагруженных вычислительных систем. В частности, некоторые наши стойки показывали энергопотребление в 50 кВт. При таких энергозатратах эффективность охлаждения выходит на одно из первых мест в вопросах, которые требуется решать, как при проектировании, так и при последующей эксплуатации. В целях оптимизации эксплуатации подобных комплексов было решено оснастить вычислительные элементы такого шкафа жидкостным охлаждением. В качестве теплоносителя будет использована дистиллированная вода с антибактериальными присадками. По нашим ожиданиям, это должно привести к более длительной, эффективной и стабильной работе всего вычислительного кластера. Для проверки теории на практике и была проведена описанная в статье работа. 

Первый этап разработки – математическая модель 

Для реализации задуманного был разработан план, который включал следующие пункты:
  • Создание 3D-модели платы опытного образца.
  • Конечно-элементный анализ тепловых характеристик 3D-модели.
  • Выработка оптимальной конфигурации жидкостного радиатора (теплообменника) для модели.
  • Производство опытных образцов теплообменника.
  • Стендовые испытания и сравнение с теоретическими тепловыми данными.
  • Выводы и рекомендации. 
Предметом анализа являлась вычислительная плата (рис. 1), полученная путём сканирования действующего образца.

В рам­ках работы требовалось создать и проанализировать теоретическую модель теплообменника (твёрдое тело–жидкость) односторонней платы водяного охлаждения для четырёх ПЛИС (в дальнейшем – водоблок), планируемой к применению в составе систем водяного охлаждения (СВО) вычислительной техники. Анализ должен быть выполнен методом конечных элементов. Суть метода следует из его названия. Область, в которой ищется решение дифференциальных уравнений, разбивается на конечное количество подобластей (элементов).
Целями исследования являются выявление оптимальных массогабаритных параметров платы водяного охлаждения и оценка эффективности водоблока. Основным требованием к массогабаритным параметрам изделия является сохранение оригинального 1U (4,445 см) форм-фактора вычислительного блока, то есть суммарная высота конструктива – закреплённая на корпусе вычислительная плата вместе с платой водяного охлаждения – не должна превышать 4,445 см. При этом разработанный водоблок должен эффективно отводить тепло суммарной мощности 600 Вт, а два блока соответственно должны отводить 1200 Вт от сервера в форм-факторе 1U.
Целями проводимого конечно-элементного анализа являлись обоснование конструкторских решений, принятых при проектировании системы водяного охлаждения (СВО), обоснование её функциональной эффективности и выбор рациональных режимов функционирования.
По результатам теоретического конечно-элементного анализа устанавливается работоспособность СВО на основании принятых критериев эффективности, в случае необходимости проводится уточнение конструкции теплообменника, его изготовление по трёхмерным моделям и натурные стендовые испытания СВО в сборе.
К числу электронных компонентов вычислительной платы с наибольшим тепловыделением, требующих принудительного охлаждения и обслуживаемых СВО, относятся:
  • 4 процессора ПЛИС Vertex-7, максимальная мощность тепловыделения каждого 125 Вт;
  • чипсет PEX8732, максимальная мощность тепловыделения 25 Вт;
  • вспомогательные чипы, максимальная мощность тепловыделения 5 Вт. 
Расчёт проводится для предельного случая с общей мощностью тепловыделения 550 Вт.
В результате проведённого анализа была выбрана оптимальная физическая форма для платы водяного охлаждения, предназначенной для охлаждения одной вычислительной платы RC-47 путём отвода тепловой энергии от ключевых элементов и передачи её охлаждающей жидкости (ОЖ), прокачиваемой через водоблок (рис. 2). 

Водоблок состоит из крышки, выполненной из латуни, теплосъёмных площадок (рис. 3), выполненных из меди, и нержавеющих пластин распределения потока, расположенных внутри изделия. 

Медные площадки имеют развитую теплообменную поверхность, расположенную над поверхностью тепловыделения охлаждаемых компонентов (ПЛИС). Развитая поверхность представляет собой мелкошаговое оребрение, выполненное по технологии деформирующего резания. Форма распределительной пластины (рис. 4) из нержавеющей стали способствует подаче теплоносителя по подающим каналам теплообменника через прорезь к зонам с максимальным тепловыделением с последующим оттоком по отводящим каналам. 

Габаритные размеры водоблока: 199×138×21,6 мм. Масса водоблока 1,5 кг. Внутренний объём составляет 0,11 литра.
Вспомогательные чипы с мощностью тепловыделения по 5 Вт охлаждаются путём контакта с латунными выступами на крышке. В состав изделия также входят элементы крепления, такие как винты, шайбы, пружины и втулки. Вычислительная плата прикручивается к корпусу латунными втулками, к которым через пружины крепится водоблок. Таким образом обеспечивается жёсткое закрепление платы на корпусе и равномерный прижим водоблока за счёт пружин.
Подвод холодной жидкости к водоблоку осуществляется через отверстие по центру водоблока, обозначенное синим (рис. 5).

Зоны нагрева выделены пунктиром фиолетового цвета. Направление движения охлаждающей жидкости показано стрелками. Выход нагретой жидкости – через отверстие, обозначенное красным.
Подсоединение водоблока к жидкостному контуру охлаждения осуществляется с помощью быстроразъёмных соединений (БРС), устанавливающихся на концах медных трубок, припаянных к водоблоку (рис. 6).

Длина трубок подразумевает, что резьбовое соединение находится за пределами корпуса вычислительного блока во избежание протечки внутри корпуса и позволяет использовать БРС, которое не требует ручного открывания.
В табл. 1 сведены результаты конечно-элементного анализа: температуры сопрягающихся с тепловыделяющими элементами поверхностей водоблока (максимальные, минимальные и средние), падение давления ΔP и температура жидкости на выходе из водоблока Tвых. Следует отметить, что температура теплосъёмных поверхностей четырёх основных ПЛИС (с тепловыделением 125 Вт) была условно принята равной, так как она на каждой из четырёх ПЛИС различается не более чем на 0,2°С.
Конечно-элементный анализ проводится методом математического моделирования с использованием ЭВМ в специализированном модуле Flow Simulation для CAE-анализа (Computer-Aided Engineering – анализ с использованием компьютерного моделирования), входящем в состав программного продукта SolidWorks 2014.
Математическое моделирование проводилось по трёхмерным моделям вычислительной платы и водоблока, разработанного в основном CAD-модуле программного продукта SolidWorks 2014.
В соответствии с требованиями ТЗ при проведении расчёта принимались следующие граничные условия:
  • охлаждающая жидкость – дистиллированная вода;
  • давление окружающей среды – нормальное атмосферное давление в 1 бар;
  • температура окружающей среды +35°С (агрессивные условия);
  • начальная температура всех компонентов +35°С;
  • температура теплоносителя на входе в водоблок: +30, +35, +40 и +45°С;
  • общий расход охлаждающей жидкости: 0,06 и 0,11 л/с;
  • давление жидкости на выходе из водоблока 1 бар;
  • суммарная тепловая мощность, подводимая к контактным площадкам водоблока, 550 Вт (максимальная загруженность вычислительной платы);
  • материал деталей подложек ПЛИС – медь марки М1 
ГОСТ 859-2001, всех остальных деталей водоблока – латунь ЛС59-1 ГОСТ 15527-2004.
Исследуемые режимы функционирования системы представлены сочетаниями общего расхода и температуры теплоносителя на входе в водоблок (табл. 1). 

Подбор исследуемых режимных параметров осуществлялся эмпирическим путём на основе имеющегося практического опыта внедрения и эксплуатации СЖО. Кроме того, учитывались технические возможности устройств по предварительной подготовке теплоносителя (чиллеры, градирни и т.п.) для достижения нужной температуры на входе в водоблок и для прокачки теплоносителя (помпы, насосы и т.п.), чтобы обеспечить требуемый общий расход при заложенных в конструкцию водоблока сечениях гидравлических магистралей, повсеместно применяемых в СЖО. Рассматривались граничные значения, носящие рекомендательный характер и подразумевающие более широкий диапазон допустимых параметров функционирования. Так, при удовлетворительных результатах испытаний для итераций № 1, 2 может быть рекомендовано повышение значений общего расхода при сохранении значений температуры подающегося теплоносителя, аналогично для итераций № 3, 4 допустимо использование теплоносителя с меньшей температурой подачи на вход в водоблок.
Размеры конечных элементов, принятые при разбиении в зоне развитой теплообменной поверхности (рёбер) и на расстоянии до 2 мм от неё, должны быть не более 0,1 мм при наличии не менее 4 элементов по ширине ребра, в остальном объёме – не более 0,5 мм. В приведённых расчётах размер конечных элементов в ребре составлял 0,08 мм, в цельном материале 0,3…0,5 мм. Для представленных итераций размеры конечных элементов не изменялись.
Допущения, принятые при математическом моделировании:
  1. не учитываются потери при теплопередаче в контакте между охлаждаемыми электронными компонентами вычислительной платы с контактными поверхностями водоблока;
  2. развитая поверхность теплообмена (оребрение деформирующим резанием) имеет профиль, эквивалентный теоретическому (без учёта коэффициента искажения формы ребра);
  3. не учитывается термическое влияние распределяющей пластины. 
При математическом моделировании учитывалось явление турбулентности потока жидкости, однако для данного типа развитой структуры (рёбер) влияние эффекта пренебрежимо мало. 
Согласно требованиям ТЗ на проведение расчёта результаты анализа представлены в виде поверхностных эпюр в сечениях водоблока двумя плоскостями для каждого из охлаждаемых элементов, то есть 4 ПЛИС и 1 вспомогательного чипа (отдельно результаты для сечения одной плоскостью и другой). 
Расчёты проводятся для установившегося режима теплораспределения (с достижением теплового баланса) для стабилизировавшейся температуры деталей (или при достижении амплитуды колебаний температуры не более 0,25°C).
Результаты расчёта включают следующие данные:
  • температура водоблока;
  • скорость потока жидкости;
  • температура жидкости;
  • массовый и объёмный расход жидкости через входной или выходной щтуцер водоблока;
  • падение давления теплоносителя при прохождении через водоблок (гидродинамическое сопротивление). 
Расхождение результатов, полученных при математическом моделировании методом конечных элементов, находится, как правило, в пределах ±10% от данных, полученных в ходе натурного эксперимента (на основании имеющегося опыта подобных вычислений). 
Согласно данным, представленным в табл. 2, для заданных режимов функционирования критерий работоспособности СВО выполнен, следовательно, спроектированная система способна отвечать поставленным требованиям и обеспечивать эффективное отведение тепловой энергии при максимальной загруженности вычислительной платы (режим с максимальным тепловыделением) и агрессивных условиях окружающей среды. С учётом возможного расхождения результатов математического моделирования в пределах указанного отклонения с ожидаемыми результатами следует избегать эксплуатации СВО на предельных режимах (помечены жёлтым в таблице). 
Условные обозначения: Tвх – температура теплоносителя на входе; Tвых – температура теплоносителя на выходе; Tmin – расчётная минимальная температура чипа; Tср – расчётная средняя температура чипа; Tmax – расчётная максимальная температура чипа; ΔP – разность давлений на входе и выходе;
Принятые конструкторские решения (в частности, отвод тепловой энергии от чипсета за счёт латунного выступающего элемента крышки) можно считать приемлемыми, так как температуры на ПЛИС, чипсете и вспомогательных компонентах не превышают допустимые. 
Гидродинамическое сопротивление (потеря давления) при прохождении теплоносителя через водоблок составляет 7...13% от давления на входе в водоблок, что является удовлетворительным показателем (для аналогичных изделий составляет в среднем 10...20%).
Максимальная разница между температурами ПЛИС составляет не более 0,2°С, что должно способствовать максимальной стабильности функционирования вычислительной платы.
Рекомендации по выбору рациональных режимов эксплуатации изделия представлены на рис. 7 и 8. 


Проведённый конечно-элементный анализ позволил обосновать верные конструкторские решения, принятые при проектировании системы водяного охлаждения (СВО), её функциональную эффективность и найти область рациональных режимов функционирования СВО.
Для уточнения результатов математического моделирования было решено провести лабораторные испытания.

Второй этап разработки – практическая реализация 

Испытания проводились с использованием специализированных устройств и измерительной техники, что было обусловлено высокой стоимостью вычислительного сервера и связанными с этим рисками. 

Для подвода тепловой энергии к готовому водоблоку (рис. 9) применялся двухместный теплоимитатор (рис. 10), выполненный по всем параметрам и размерам в соответствии с оригинальным вычислительным блоком на основе ПЛИС, с двумя комплектами нагревательных площадок, позволяющий выдавать тепловую энергию до 1500 Вт на комплект.

Каждая нагревательная площадка при испытании выделяет тепловую энергию, равную соответствующему тепловыделению компонента реальной платы, а именно: 4 ПЛИС Virtex-7 – 125 В, чипсет PEX8732 – 25 Вт. Общая передаваемая тепловая мощность одного испытательного места составила при тестировании до 600 Вт.
Нагреватели выполнены в виде алюминиевых пластин (рис. 11) с внутренними каналами для размещения тепловыделяющих проволочных резисторов, залитыми теплопроводящим диэлектрическим составом.

Нагреватели установлены на латунных ножках на алюминиевую плиту, являющуюся основанием теплоимитатора. Ножки изолированы белыми пластиковыми кольцами для уменьшения тепловых потерь в плиту. Внутри алюминиевых пластин нагревателей установлены датчики измерения температуры, заглубление датчиков от поверхности тепловыделения нагревателя составляет около 1,4 мм. В качестве температурных датчиков используются цифровые термометры в корпусе с доработанной геометрией. Дополнительные температурные датчики установлены на алюминиевом основании теплоимитатора для оценки тепловых потерь в плиту, отдельный датчик измеряет температуру окружающего воздуха. 
Снятие и обработка сигналов с цифровых термометров осуществляется встроенной в стенд системой регистрации сигналов, которая передаёт полученные с датчиков данные для последующей обработки программным обеспечением пользователя на ЭВМ. Система регистрации реализована на базе двух блоков:
  • блок обработки сигналов с протоколом RS-485;
  • блок трансляции сигналов RS-485 в USB-сигнал. 
Ток к проволочным резисторам подаётся с лабораторного блока питания. Электрическая мощность (напряжение и сила тока), преобразующаяся на нагревателях в тепловую энергию, регистрируется визуально пользователем на дисплее блока питания. Тепловая мощность, подаваемая на исследуемый водоблок, в натурных испытаниях рассчитывается как произведение показаний напряжения и силы тока, считанных с блока питания.
В теплоимитаторе предусмотрена защита нагревателя от перегрева за счёт установки термостатов. При достижении температуры нагревателя +85...+109°C (для различных скоростей нагрева) происходит отключение нагревателя от питания и остывание примерно до +60°C, после чего снова осуществляется включение и нагрев.
Для подготовки и подачи теплоносителя использовался испытательный комплекс (холодильная мощность 5 кВт, расход теплоносителя до 35 л/мин), обеспечивающий забор нагретой воды из водоблока, поддержание нужного расхода теплоносителя и его охлаждение до заданной в эксперименте температуры. Величина расхода контролировалась расходомером. 

Снятие показаний производилось системой мониторинга и управления (рис. 12), входящей в лабораторный комплекс, в реальном времени, с выводом показаний на монитор (рис. 13). 

Данные, полученные в результате испытаний, обрабатывались и формировались в таблицы, с дальнейшим построением графиков зависимости температуры элементов от различных режимов загрузки ВМ и температуры ОЖ на входе в ВМ для последующего анализа.
Имитировались режимы работы, близкие по начальным условиям к точкам, для которых был проведён CAE-анализ. Обеспечивалась полная загрузка теплоимитатора по тепловой мощности (в сумме по 600 Вт). 
Диапазон температур теплоносителя, подаваемого в водоблок, составил +30...+45°С (с шагом 5°С). Скорости подачи теплоносителя изменялись в диапазоне 0,02...0,12 л/с.
Согласно ТЗ критерием работоспособности является обеспечение температуры на ПЛИС до +70°С, для остальных чипов до +60°С.
При анализе экспериментальных данных необходимо учитывать, что термодатчики заглублены относительно контактной поверхности теплоимитатор–водоблок. Для устранения погрешностей положения контактных площадок теплоимитатора и повышения эффективности теплопередачи (перекосы, неплотное прилегание вследствие зазоров) на контактные площадки наносится слой термопасты, что повышает сопротивление прохождению тепла в стыке и приводит к увеличению температур, как в стыке, так и по показаниям термопар. Как было указано, при проведении CAE-расчёта не учитывались потери при теплопередаче в контакте между охлаждаемыми электронными компонентами вычислительной платы с контактными поверхностями водоблока.
Согласно статистическим данным, для процессора с TDP = 65 Вт (Thermal Design Power – тепловая мощность) увеличение слоя термопасты с 19 до 38 мкм в стыке теплообменник–процессор для паст с теплопроводностью 2 Вт/(м∙К) даёт повышение температуры на 2,3°С, при теплопроводности 8,7 Вт/(м∙К) – на 1°С (новая паста, высококачественные пасты). В случае установки водоблока на реальные платы ожидается более плотное прилегание и меньшее тепловое сопротивление в стыке, а следовательно, меньшие температуры. Контроль прилегания тепловыделяющих площадок теплоимитатора к соответствующим теплоотводящим площадкам водоблока измерительными щупами выявил, что зазоры не превышают 0,1 мм.

Третий этап – сравнение результатов 

Для оценки справедливости результатов тепловых CAE-расчётов изделия сравним точки, полученные в реальном эксперименте и близкие по начальным условиям (табл. 3). 
Условные обозначения: Tвх – температура теплоносителя на входе; Tвых – температура теплоносителя на выходе; ΔP – разность давлений на входе и выходе; Tmin – расчётная минимальная температура чипа; Tср – расчётная средняя температура чипа; Tmax – расчётная максимальная температура чипа; CAE – результат моделирования.
С учётом паразитного теплового сопротивления в стыке водоблок–теплоимитатор вследствие наличия слоя термопасты и заглубления датчиков можно сделать вывод, что результаты CAE-анализа сходятся с результатами испытаний в пределах погрешности в 15% для точек № 1–4. Погрешность в 15% является приемлемой для утверждения о сходимости результатов математического моделирования и испытаний реального изделия. 
На основании результатов испытаний можно утверждать, что во всех рациональных режимах эксплуатации обеспечивается выполнение критерия работоспособности водоблока (температура на ПЛИС не должна превышать +70°С, для остальных чипов, в том числе чипсета, +60°С).
Показана сходимость результатов испытаний водоблока и CAE-расчётов в пределах 15% с учётом несовершенства испытательного стенда, наличия паразитных тепловых сопротивлений и корректировки на расположение термодатчика.
Установлена область рационального использования, согласующаяся с областью функционирования аналогичных изделий: температура подачи теплоносителя на вход водоблока +30...+40°С (или ниже) с расходом от 0,06 л/с. Режим работы с температурой теплоносителя Т = +45°С допустим при расходах не менее 0,11 л/с.
При изменении конструкции водоблока, заключающемся в установке теплоотводящей пластины с развитой поверхностью теплообмена (аналогично принципу охлаждения ПЛИС) с принудительным подводом ОЖ к чипсету вместо латунного выступа (на испытуемом образце), можно значительно повысить эффективность охлаждения чипа и тем самым расширить область рациональных режимов использования водоблока в сторону меньших расходов и боˆльших температур входящего в водоблок теплоносителя.
Использование систем охлаждения при помощи внешнего воздуха (фрикулинг) как широко применяющегося технического решения для охлаждения основного рабочего теплоносителя (охлаждение вычислительных модулей) уместно для рассматриваемой СЖО, так как для существующих систем возможно обеспечить охлаждение рабочего теплоносителя до T = +40°С (вхождение в область рациональных режимов) от подающегося воздуха с T = +30°С (близкие к предельным температурам в европейской части России в летнее время) из окружающей среды без предварительной подготовки. 
Стоит отметить, что система даже на максимальных режимах, которые превышают изначально заданные ТЗ параметры, успешно показывала стабильные рабочие режимы.
Наша работа показала, что создание и функционирование систем жидкостного охлаждения для вычислительных систем – дело уже не будущего, а настоящего. 

Заключение 

Как мы уже успели убедиться, водяное охлаждение намного эффективнее традиционного воздушного, не говоря уже о том, что такое охлаждение позволит вашему мощному компьютеру работать гораздо тише. Мифы о том, что водяное охлаждение – это слишком дорого и сложно, постепенно уходят в прошлое. 

Можно с уверенностью утверждать, что в ближайшем будущем системы жидкостного охлаждения (рис. 14) для вычислительных систем потеснят традиционное воздушное охлаждение, поскольку обладают рядом серьёзных преимуществ. А мы, в свою очередь, будем и дальше работать, развивая это направление. ● 

Автор – сотрудник фирмы ПРОСОФТ
Телефон: (495) 234-0636
E-mail: info@prosoft.ru

1532 0
Комментарии
Рекомендуем

ООО «ПРОСОФТ» 7724020910 2SDnjeti7ig
ООО «ПРОСОФТ» 7724020910 2SDnjeti7ig