Концепции организации охлаждения ЦОД: в поисках наибольшей эффективности

Введение. Важность рационального использования энергии в IT

Информационные технологии (IT) и телекоммуникации становятся всё более значимой отраслью современной экономики. С конца 80-х годов прошлого века этот рынок бурно и непрерывно развивается. С увеличением количества центров обработки и хранения данных непрерывно растут их вычислительные мощности и энергопотребление, а также количество выбросов углекислого газа в атмосферу: в мировом масштабе причиной выбросов примерно 2% углекислого газа является деятельность поставщиков коммерческих IT-услуг, что примерно соответствует показателям авиации. Таким образом, вопрос энергетической эффективности играет всё более важную роль, с точки зрения как экономических, так и экологических перспектив.
Фактически только около половины всей энергии, потребляемой центром обработки данных (ЦОД), расходуется непосредственно на вычисления, остальные 50% практически полностью уходят на охлаждение (небольшая часть энергии тратится также на пожарную сигнализацию, системы пожаротушения и резервного питания). Поэтому в вопросе повышения энергоэффективности одной из главных областей, требующих рассмотрения, является организация охлаждения.

Различные концепции организации охлаждения

Для переноса и рассеивания тепловой энергии, выделяемой IT-оборудованием, могут быть использованы различные вещества, выбор которых обусловлен, в первую очередь, требованиями конкретного приложения и количеством энергии, которую необходимо отвести. Наиболее часто используют воздух и воду, а также их сочетания. Количество теплоты, переносимое веществом, может быть представлено следующей формулой:
Q = ρ × V × C_ρ × dT,
где ρ – плотность вещества, V – объёмная скорость потока (объёмный расход), C_ρ – удельная теплоёмкость вещества, dT – разность температур.
Различные вещества обладают разной плотностью (ρ) и удельной теплоёмкостью (C_ρ), произведения этих двух величин для воздуха и воды будут отличаться приблизительно в 4000 раз. После выбора вещества, выступающего в роли теплоносителя, единственной переменной величиной остаётся его объёмная скорость потока, или расход (V).
Плотность размещения оборудования в шкафах постоянно увеличивается. Ранее типичный уровень тепловыделения одной стойки составлял от 4 до 8 кВт, теперь всё чаще встречаются значения от 10 до 20 кВт. Предполагается, что в будущем тепловыделение одной стойки будет составлять 40 кВт и более.
В этих условиях требуется постоянно совершенствовать методы организации системы поддержания микроклимата в центрах обработки данных, учитывая возможность увеличения количества стоек или плотности их заполнения в будущем. Чтобы выявить преимущества и недостатки, сравнить эффективность, требуемые объёмы инвестиций, а также эксплуатационные расходы, предлагается рассмотреть три различных варианта организации охлаждения ЦОД. Примем суммарное тепловыделение электронного оборудования одинаковым для всех вариантов и равным 300 кВт, плотность заполнения шкафов – максимально возможной для каждого случая. Обзор каждой концепции охлаждения будет включать в себя оценку теплового поведения системы (в том числе на основе моделирования с помощью ПО FloTHERM) и анализ примерных затрат. Следует отметить, что организация отвода 300 кВт тепловой мощности в любом случае приводит к достаточно большим тратам, поэтому постараемся сосредоточиться не на конкретных цифрах, а на общей целесообразности применения того или иного подхода. Также необходимо будет отметить дополнительные преимущества отдельных концепций, которые не могут быть учтены в рамках этой системы оценки, например, возможность лёгкого масштабирования.
Концепция I предполагает исключительно воздушное охлаждение. Шкафы устанавливаются рядами так, чтобы их фронтальные стороны были обращены друг к другу: в результате образуются холодные и горячие коридоры.
Концепция II является развитием первой: холодные или горячие коридоры изолируются с помощью герметизирующих элементов, в роли теплоносителя всё так же используется воздух. Принципиально изолировать можно как горячий, так и холодный коридор. В рамках нашего исследования остановимся на варианте с организацией изолированного холодного коридора.
Концепция III – использование стоек с воздушно-водяными теплообменниками.
Все три концепции будут рассмотрены на примере оборудования и решений компании Schroff, в частности, шкафов серии VARISTAR.

Концепция I: организация холодных и горячих коридоров

В случае применения воздушного охлаждения максимально возможная мощность охлаждения одной стойки ограничена объёмом окружающего стойку пространства: оно необходимо для поступления достаточного количества холодного воздуха фронтально на установленное оборудование, а затем удаления использованного горячего воздуха. Обычно ширина коридора между шкафами составляет от 0,9 до 1,2 метра. Изначально объёма одиночной стойки было достаточно для размещения в ней всей необходимой серверной или телекоммуникационной аппаратуры; постепенно необходимость в повышении вычислительной мощности привела к увеличению количества стоек, которые стихийным образом начали устанавливать рядами. Это повлекло за собой разграничение холодных и горячих коридоров, что позволило в некоторой степени оптимизировать охлаждение. Для такой схемы установки стоек существует несколько методов подачи холодного воздуха.

• Холодный воздух от системы прецизионного кондиционирования ЦОД поступает снизу через фальшпол с фронтальной стороны шкафов, то есть в холодный коридор. Расход воздуха необходимо рассчитывать таким образом, чтобы расположенные в верхней части стоек серверы получали достаточно холодного воздуха, однако он не должен быть чрезмерно высоким, так как в этом случае может страдать нижний ярус устройств.
• Холодный воздух поступает в холодный коридор сверху. В этом случае возможна ситуация, когда холодный воздух достигает расположенных на нижнем уровне серверов с большим трудом.

Для проведения сравнительного анализа остановимся на наиболее распространённом варианте с подачей холодного воздуха исключительно снизу через фальшпол. В дополнение расположим горячие коридоры таким образом, чтобы вытяжные устройства системы кондиционирования размещались непосредственно над ними и были установлены с равными промежутками: это позволит добиться наиболее равномерного отвода горячего воздуха в систему прецизионного кондиционирования, обеспечивающую микроклимат ЦОД (рис. 1).

Следует отметить, что КПД концепции неизолированных коридоров принципиально ограничен, так как этот подход связан с прямой потерей мощности охлаждения из-за смешения горячего и холодного воздуха. Часто встречающаяся несистематичная установка рядов стоек относительно вытяжных кондиционеров лишь усугубляет эту проблему, а возможность масштабирования ЦОД вызывает, как правило, достаточно много вопросов, как относительно практической реализации, так и эффективности.

Концепция II: организация изолированных холодных и горячих коридоров

Существуют некоторые дополнительные средства, позволяющие оптимизировать схему охлаждения ЦОД концепции I, уменьшить потери и избежать сложностей в расчёте оптимального расхода воздуха, – применение изолированных холодных или горячих коридоров. При наличии в помещении фальшпола одна из наиболее эффективных мер – закрыть сверху холодный коридор изолирующей «крышей». Это позволит одновременно снизить скорость воздушного потока и исключить смешение холодного и горячего воздуха, в то же время перепад температур в вертикальной плоскости стоек минимизируется и серверы будут охлаждаться равномерно на всех уровнях. Как следствие, эффективность системы кондиционирования также возрастёт: вытягиваться наружу будет только полностью отработавший горячий воздух (рис. 2, 3).


Помимо изоляции холодного коридора сверху, он может быть также отделён от остального помещения с помощью дверей или шлюзов в обоих его концах. В образовавшейся закрытой ячейке весь нагнетаемый холодный воздух будет полностью поглощён серверами. Для корректной работы такого холодного коридора требуется поддержание постоянного избыточного давления внутри него и точная балансировка объёмов нагнетаемого и удаляемого воздуха.
При изоляции горячего коридора отработавший воздух удаляется из закрытой зоны с помощью кондиционеров, как правило, установленных рядами, фальшпол в данном случае использовать не обязательно. Ширина горячего коридора может быть меньше, чем холодного, так как он, по сути, не является пространством, предназначенным для сервисного обслуживания оборудования, тем не менее, для нормального функционирования такой системы требуется достаточная высота потолка в помещении. При проектировании горячего коридора следует с особой тщательностью рассчитывать температуру, которой может достигать находящийся в нём воздух: при температуре порядка +55°C начинается деградация изоляционных материалов, что не только ведёт к нарушению герметичности, но и повышает риск возникновения пожароопасных ситуаций.
Применение горячего коридора, в отличие от холодного, позволяет избежать теплового загрязнения помещения, в котором размещаются стойки. К тому же КПД кондиционера повышается вместе с температурой воздуха, поступающего в него, таким образом, наличие горячего коридора потенциально позволяет повысить эффективность его работы. В случае поломки кондиционера полностью охлаждаемое помещение ЦОД позволяет ещё некоторое время поддерживать нормальную работу серверов за счёт наличия естественного резерва, что невозможно при изоляции холодного коридора. С другой стороны, холодный коридор позволяет точнее регулировать климатические параметры (температуру и влажность).

Концепция III: шкафы со встроенными воздушно-водяными теплообменниками

В данном случае серверные стойки охлаждаются независимо друг от друга с помощью воздушно-водяных теплообменников, установленных внутри них и образующих в пределах шкафа замкнутую систему. Мощность водяного охлаждения позволяет отводить большее количество тепла от каждой стойки, а отсутствие необходимости в организации коридоров делает такое решение пространственно независимым (рис. 4).

Температура внутри каждого шкафа настраивается в точном соответствии с требованиями установленного оборудования, таким образом, при работе в нормальных условиях эксплуатации выходная мощность теплообменника может быть уменьшена до необходимого минимума, что позволяет избежать лишних затрат энергии на охлаждение. Важным плюсом концепции III является изолированность каждого шкафа от остального помещения, что даёт возможность свести тепловое загрязнение помещения к минимуму: установленная в помещении система кондиционирования должна лишь удалять небольшое количество тепла с внешних поверхностей шкафов, являясь, помимо этого, дополнительной мерой безопасности.
Основную же нагрузку по охлаждению рабочего вещества, используемого в качестве хладагента, берёт на себя чиллер – холодильный агрегат, расположенный в отдельном помещении или на улице, обеспечивающий шкафы требуемым количеством дистиллированной воды с заданными параметрами. Здесь стоит упомянуть такой метод повышения эффективности, как фрикулинг (free cooling), то есть естественное охлаждение. В регионах, где среднегодовая температура остаётся достаточно низкой, для ох­лаждения хладагента можно использовать уличный воздух или другие альтернативные среды: ярким примером применения фрикулинга является вычислительный центр Lefdal Mine Datacenter в Норвегии, расположенный внутри горного массива и использующий для охлаждения ледяную воду Нордфьорда. Такое решение снизило затраты на охлаждение до минимума, но и в классическом варианте применение фрикулинга позволяет существенно сэкономить. В соответствующих климатических ус­ловиях чиллер может функционировать в режиме естест­венного охлаждения боˆльшую часть года, не только уменьшая расходы на электроэнергию, но и увеличивая ресурс оборудования.
В зависимости от конфигурации стоек использование воздушно-водяных теплообменников открывает широкие возможности, как для резервирования, так и для экономии полезной площади помещения, в котором организован ЦОД. Во-первых, в один шкаф может быть установлено сразу два независимых теплообменника, что позволяет организовать резервирование системы охлаждения по схеме 1+1, чего очень трудно добиться при использовании других концепций охлаждения. Во-вторых, два теплообменника или более могут работать вместе, охлаждая при этом не один шкаф, а целый кластер. При использовании такой схемы в случае выхода из строя одного из теплообменников оставшиеся в рабочем состоянии устройства продолжат охлаждать серверное оборудование, что позволяет заметно отдалить момент перегрева, также эта компоновка даёт возможность размещать больше оборудования на меньшей площади и очень эффективно использовать пространство ЦОД.
Для реализации концепции охлаждения III будем использовать шкафы Schroff VARISTAR LHX-40 с встроенным теплообменником мощностью до 40 кВт. Мощность охлаждения регулируется автоматически в зависимости от тепловой нагрузки. Ширина шкафа с установленным теплообменником составляет 800 мм (рис. 5).

Сравнение эффективности различных концепций охлаждения

Для каждой из трёх концепций мощность охлаждения в расчёте на одну стойку различается. Поэтому суммарное тепловыделение (300 кВт) в каждом случае будет распределено между разным количеством стоек (табл. 1).

Для получения более полной картины будем исходить из того, что для каждой концепции охлаждения будет использоваться помещение идентичных размеров. Важным преимуществом концепции III является практически полное отсутствие особых требований к помещению, в котором необходимо организовать ЦОД: в отличие от концепций I или II здесь нет жёсткой необходимости в наличии фальшпола или системы кондиционирования.
Также концепция III не требует дополнительного пространства для организации холодных и горячих коридоров. Стоимость различного количества стоек легко можно учесть в подсчётах инвестиционных затрат, в отличие от стоимости оставшегося свободным места, в связи с этим в дальнейшем указанный фактор рассматриваться не будет. Тем не менее, возможность разместить боˆльшую вычислительную мощность на малой площади стоит считать весомым плюсом.

Инвестиционные затраты на компоненты климат-контроля для каждой концепции

Основные компоненты для реализации каждой концепции охлаждения приведены в табл. 2. Из таблицы видно, что концепции I и II требуют более широкого перечня оборудования, хотя общая стоимость окажется меньше, чем для концепции III.

Дополнительные расходы, обусловленные потребностью в энергии и увеличенных объёмах воздуха

Концепции I и II подвержены большим утечкам воздуха, провоцирующим вынужденное избыточное охлаждение, которое является причиной дополнительных расходов. Концепция III, в свою очередь, представляет собой воздухонепроницаемую замкнутую систему, что приводит к минимизации потерь, соответственно, удаётся избежать дополнительных затрат, связанных с увеличением потребности в воздухе и электроэнергии.

Дополнительные расходы при реализации концепции I

Организация неизолированных холодных и горячих коридоров с применением фальшпола в ЦОД непременно влечёт за собой возникновение участков смешивания холодного и горячего воздуха в нижней и верхней зонах. Это неотъемлемое и неизбежное свойство такого решения. Основной причиной данного явления служит невозможность абсолютно точного контроля количества нагнетаемого воздуха, при котором серверы, расположенные на верхних уровнях, всегда будут получать корректный объём холодного воздуха. Поскольку в процессе работы нагрузка на серверы непостоянна, такая система управления должна была бы реагировать на постоянное изменение требований к охлаждению. В результате нагнетание несколько избыточного объёма холодного воздуха становится простой и недорогой альтернативой. Однако возникающее смешивание холодного и горячего воздушных потоков отрицательно сказывается и на температуре холодного коридора, с одной стороны, из-за наличия градиента температур в вертикальной плоскости, и с другой – из-за уменьшения реального объёма холодного воздуха требуемой температуры в ЦОД. Для ослабления влияния этих негативных факторов могут быть предприняты соответствующие контрмеры.
Перепад температур в вертикальной плоскости холодного коридора может достигать значений около 4°C. Значит, для обеспечения расположенных на верхних уровнях серверов воздухом достаточно приемлемой температуры необходимо понизить температуру во всём помещении на эту величину. Кроме того, дополнительный нагрев воздуха в холодном коридоре возникает в области фальшпола. Для компенсации данного эффекта требуется понижение температуры не менее чем на 2°C, и чем больше размеры и хуже изоляция фальшпола, тем выше будет эта цифра. На рис. 6 показано, что тёплый воздух скапливается у верхнего яруса серверов, в результате имеет место дополнительный нагрев в нижней зоне.

Исходя из опыта, можно сказать, что реальные потери холодного воздуха, обусловленные описанным смешением воздушных потоков, составляют около 15% от общего объёма используемого воздуха и в значительной степени зависят от качества герметизации зазоров в нижних частях стоек, а также от расположения и мощности вытяжных устройств для горячего воздуха в помещении. Попытка компенсации этого дефицита холодного воздуха приводит к увеличению объёмной скорости воздушного потока перед серверами, что препятствует нормальной работе установленных в них вентиляторов из-за падения давления. Указанное явление вновь требует компенсации путём уменьшения температуры ещё минимум на 1°C. В совокупности перечисленные факторы приводят к необходимости снижения температуры холодного воздуха не менее чем на 7°C, то есть к росту расходов на энергию.
Как правило, затраты на дополнительную энергию, требуемую для охлаждения пространства ЦОД до температуры ниже расчётной, составляют примерно 3–4% на 1°C. В описанном примере, где нужно обеспечить дополнительное охлаждение на 7°C, это приведёт к увеличению затрат на электроэнергию на 21–28%.

Дополнительные расходы при реализации концепции II

При использовании в ЦОД изолированных холодных коридоров имеют место воздушные утечки, вызванные постоянно поддерживаемым внутри коридора повышенным давлением. На рис. 7, 8 показано, что температура холодного коридора практически одинакова по всему объёму, имеет место незначительное повышение температуры в верхней и нижней зонах стойки.

Наиболее часто утечки происходят в щелях между шкафами, а также между полом и цоколем (рис. 9). Системные интеграторы рекомендуют поддерживать избыточное давление не менее 20 Па внутри холодного коридора, что бывает затруднительно из-за переменного расхода воздуха серверами в процессе работы. В большинстве случаев это значение составляет около 15 Па.

Казалось бы, чтобы минимизировать потери, вызванные избыточным давлением, необходимо измерить фактическое избыточное давление в критических точках изолированного коридора и затем отрегулировать объём поступающего холодного воздуха. Однако в реальной ситуации эта процедура трудно реализуема: во-первых, места дислокации наибольших утечек будут постоянно меняться в зависимости от нагрузки на серверы, во-вторых, система контроля подачи воздуха должна будет реагировать очень быстро, чтобы требования по охлаждению каждого сервера были выполнены. В результате из-за очень высокой инертности такой концепции охлаждения попытка динамически контролировать состояние микроклимата на уровне отдельных серверов просто теряет смысл.

Дополнительные расходы при реализации концепции III

Тепловыделение одной стойки в случае реализации охлаждения с помощью воздушно-водяных теплообменников в нашей модели достигает 25 кВт; температура воздуха до и после прохождения сквозь серверы может отличаться на величину порядка 15°C. В данном случае дополнительных затрат на воздушные или энергетические потери удаётся избежать, так как система контроля микроклимата оперативно реагирует на изменение загрузки серверов. Энергопотребление системы охлаждения для этой концепции представлено в табл. 3.

Сравнение дополнительных затрат при реализации концепций I и II по отношению к концепции III

Дополнительные расходы энергии, вызванные объёмными потерями холодного воздуха, приведены в табл. 4.

В табл. 5 показаны потери энергии на дополнительное охлаждение, исходя из энергопотребления при организации водяного охлаждения (135 кВт).

Сравнение общей стоимости использования различных концепций охлаждения

На этапе начальных инвестиций, как правило, решение с применением воздушно-водяных теплообменников оказывается наиболее дорогим. Ситуация с различными типами холодных коридоров может быть далеко не такой однозначной: за счёт повышения плотности размещения оборудования в стойках при использовании изолированных коридоров появляется возможность сократить расходы на сами стойки, поскольку требуется меньшее их количество. Таким образом, наиболее дешёвым вариантом при установке, скорее всего, окажется применение концепции II. В свою очередь, воздушно-водяные теплообменники позволяют свести эксплуатационные расходы к минимуму, в то время как использование неизолированных коридоров будет самым затратным. Изолированные коридоры не так эффективны, как воздушно-водяные теплообменники, но по сравнению с неизолированными коридорами способны снизить эксплуатационные издержки в 2–3 раза.

Выводы

Необходимость в повышении энергоэффективности функционирования ЦОД продиктована как экономическими, так и экологическими факторами. С точки зрения экологии, это позволит сократить количество выбросов углекислого газа в атмосферу, прежде всего за счёт снижения энергопотребления до минимально возможного. Отсюда вытекает и экономическая выгода, заключающаяся, в первую очередь, в сокращении эксплуатационных расходов. Выбор концепции организации контроля микроклимата оказывает значительное влияние на эти факторы, и если он сделан верно, позволяет достигнуть высокой степени эффективности.
Результаты проведённого сравнительного анализа однозначно указывают на преимущества системы охлаждения, основанной на серверных шкафах с воздушно-водяными теплообменниками LHX-40. Благодаря относительно низкому энергопотреблению уменьшаются и выбросы CO2. В пользу экологичности оборудования LHX-40 говорит используемый в нём хладагент – вода, а также производимый им уровень шума. Массив из 100 шкафов Schroff VARISTAR с установленными в них теплообменниками LHX-40 генерирует шум на уровне приблизительно 75 дБА, в то время как одна стойка с воздушных охлаждением – более 80 дБА.
Поскольку обычно центры обработки данных предполагают длительное время непрерывной эксплуатации (годы), экономические преимущества концепции III вполне очевидны. Несколько более высокие инвестиционные затраты на старте компенсируются низкими эксплуатационными расходами.
Помимо этого, следует учесть технические преимущества использования воздушно-водяных теплообменников LHX-40. За счёт независимого охлаждения каждой стойки проект можно легко масштабировать и не подвергать помещение тепловому загрязнению. Требования к этому помещению, такие как наличие фальшпола и кондиционирования, отсутствуют. Более высокая мощность охлаждения позволяет увеличить плотность размещения оборудования в шкафу, а использование воздушно-водяных теплообменников открывает широкие возможности резервирования, позволяя добиваться коэффициента готовности 0,99999. ●

Автор – сотрудник фирмы ПРОСОФТ
Телефон: (495) 234-0636
E-mail: info@prosoft.ru