Новый взгляд на погружное охлаждение серверов: новости от консорциума OCP

К этому зрелищу все еще трудно привыкнуть: мощный сервер берем и погружаем в резервуар с жидкостью, затем подаем напряжение и надеемся, что не полетят искры. Но, может быть, мы должны бояться иного: продолжать строить дата-центры со сроком службы более 10 лет, охлаждение которых исключительно зависит от воздушных потоков? Насколько устойчива индустрия, которая тратит больше средств на обеспечение электричеством вращающихся вентиляторов, чем на питание процессоров?

«Погружное охлаждение — это когда сервер полностью погружается в диэлектрическую жидкость, — объяснил на прошедшей в мае конференции Facebook Open Compute Project Virtual Summit 2020 инженер 3M Джимиль Ша (Jimil Shah). — Благодаря погружному охлаждению мы можем значительно повысить вычислительную плотность по сравнению с воздушными системами охлаждения».

В течение нескольких последних лет вендоры то и дело указывали на то, что погружное охлаждение позволяет и повысить вычислительную плотность, и улучшить потребление энергии, и продлить срок службы существующего оборудования (вы могли бы заставить свои вложения работать на несколько лет дольше, если бы погрузили серверы в своего рода устойчивый стазис). Но аргумент в пользу продления срока службы неактуален. Мы не оснащаем погружным охлаждением существующие серверы. Но зато мы знаем, что если мы выходим за пределы допустимого тепловыделения, в дальнейшем таким образом конструировать процессоры уже нельзя. Другими словами, когда нам нужно повысить вычислительную мощность, нам приходится задумываться о предельной вычислительной плотности.

«Мы пришли к выводу, что серверы необходимо изобретать заново, — заявил генеральный директор по передовому оборудованию в Microsoft Марк Шоу (Mark Shaw). — Стойки, питание, серверы, внутренние компоненты — все нужно изменять».

Холодная ванна

Тема жидкостного охлаждения проходила красной линией на протяжении всей длившейся полтора дня конференции OCP Summit. Спустя три года после того, как мы схематично описали пугающую картину погружения сервера в резервуар с минеральным маслом, погружное охлаждение превратилось из карнавального шоу в настоящую науку.

На конференции прозвучал ряд радостных новостей, благодаря которым теперь мы стали увереннее смотреть в будущее погружного охлаждения. Вот эти три новости:

разработано шасси для погружения. До этого мы брали и погружали существующие серверы, разработанные под воздушные системы охлаждения. Но воздух и жидкость — это разные среды. Разрабатываемое в рамках OCP специальное стандартизированное шасси для погружных серверов будет иметь длину, сопоставимую с длиной дверцы холодильника, и толщину, сопоставимую с толщиной шоколадной плитки, которое при полном оснащении будет весить не более 34 кг;

созданы новые диэлектрические жидкости. Готово производство новых жидкостей для погружного охлаждения. И это не минеральное масло, а искусственно созданные углеводородные и фторохимические соединения, обладающие более низкой температурой кипения по сравнению с Н2О. Выделяемые ими пузырьки газа по сути являются крошечными резервуарами для транспортировки тепла. Такие жидкости позволяют создавать резервуары с непрерывно кипящим содержимым, эффективно охлаждающим погруженные в нее серверы. При этом эти новые жидкости настолько быстро испаряются и конденсируются, что извлеченный из резервуара сервер оказывается не только холодным, но и сухим;

Роботизированный манипулятор Asperitas для погружения и извлечения серверов

разработаны способы обслуживания, а поддерживать среду стабильной оказалось проще. Воздушный поток — это непостоянная среда. Резервуар с жидкостью, напротив, представляет собой стабильную среду для серверов, в которой датчики более точно определяют физические характеристики, которые — в свою очередь — гораздо проще стабилизировать. Созданный Asperitas роботизированный манипулятор, прикрепленный к обслуживающей тележке, может извлекать конкретное шасси из резервуара и перемещать его на подобие рабочего стола для обслуживания.

Новые стойки

Сегодня конструкторы погружных охлаждающих систем разрабатывают базирующийся на Open Rack v3 промышленный стандарт длинных и широких серверных шасси, толщина которых будет составлять 22 мм. Для питания серверов в таких шасси рассматривается возможность применения силовых шин с напряжением 54 В (вроде той, которая изображена на фото ниже) вместо полок питания (за которые OCP выступал до сих пор). Однако на сегодняшний день эти конструкции существуют лишь на бумаге.

Стойка иммерсивного охлаждения

«Учитывая объем стойки Open Rack v3, равный примерно 1,2 куб. м, мы вполне можем найти достаточный объем жидкости, чтобы охлаждать оборудование мощностью в сотни киловатт, — заявил Шоу. — Вопрос другой — сможем ли мы поместить в стойку то количество серверов, которое способна охлаждать такая жидкостная система».

Амстердамская компания Asperitas, со своей стороны, предложила использовать шасси для погружного охлаждения шириной 15, 19 и 21 дюйм и высотой 1 или 2 OU («open unit»). Это шасси представляет собой зафиксированную в корпусе вертикально перемещаемую конструкцию. Некоторые инженеры для обозначения таких шасси используют слово «кассета».

«Особенность этого шасси заключается в том, что оно оптимизировано для омывания жидкостью, — объяснил основатель Asperitas Рольф Бринк (Rolf Brink). — Большинство серверных шасси спроектированы для воздушных потоков и не пропускают сквозь имеющихся на них отверстия и зазоры необходимое количество жидкости. Кроме того, шасси создано таким образом, чтобы его было легко обслуживать. Наконец, оно поддерживает самое разное оборудование и позволяет создавать практически любые конфигурации с питанием от разъема C13 или силовой шины».

«Расположение компонентов в сервере с погружным охлаждением напрямую зависит от потоков тепла», — отметил научно-технический работник страсбургского производителя серверов 2CRSI Майкл Элезен (Michael Helezen). Элезен и Бринк оба предложили разделить длинное и плоское шасси Open Rack на три температурные зоны.

Одна из конструкций однофазовой системы погружного охлаждения была представлена членам OCP инженерами Asperitas, Intel, 3M, 2CRSI и Flextronics. Конструкция предполагает наличие трех температурных зон — T0, T1 и T2. В температурной зоне T0 предлагается размещать наиболее греющиеся компоненты (графические ускорители и блоки питания). Центральные процессоры, работающие при чуть меньших температурах по сравнению с графическими ускорителями, могут находиться в средней зоне T1. Наконец, компоненты, которые прекрасно себя чувствуют при температуре окружающей среды до 18 C, могут быть расположены в зоне T2.

По словам Бринка, небольшая часть шасси (или кассеты), которая не содержит вычислительных компонентов, может находиться над охлаждающей жидкостью. «Компоненты с минимальными требованиями к температуре окружающей среды, то есть обладающие очень высокой термостойкостью, могут быть размещены здесь», — сказал он.

Новые жидкости

Конечно, самым увлекательным на конференции OCP были вовсе не доклады, а наблюдение за кипящей жидкостью, которая охлаждала вычислительную систему. К сожалению, поскольку это была виртуальная конференция, мы не могли четко разглядеть пузырьки газа.

Иммерсионная стойка

А теперь забудьте на секунду все, что вы знаете об охлаждении, и подумайте о том, что количество тепла неизменно увеличивается. А поскольку тепло негативно влияет на работу серверов, вся конструкция вычислительной системы должна быть такой, чтобы все лишнее тепло с легкостью ее покидало. Иногда это можно сделать естественным путем, как в случае с однофазовой системой охлаждения, где на место поднимающимся вверх нагретым слоям жидкости приходят более холодные и плотные слои, создавая естественную циркуляцию. В других ситуациях, как в случае с двухфазовыми системами, жидкость кипит. Разработанные инженерами новые охлаждающие жидкости имеют более низкую температуру кипения по сравнению с водой. В процессе кипения жидкость превращается в пузырьки газа, которые транспортируют тепло от сервера. Газ направляется по трубке к прохладной поверхности, попадая на которую он конденсируется и заново превращается в жидкость. Далее эта жидкость вновь поступает в резервуар. Инженеры называют этот процесс «повторным смачиванием». «Повторное смачивание гарантирует, что жидкость находится на месте для того, чтобы заменить ту, которая только что изменила свое агрегатное состояние, превратившись в пузырьки газа», — пояснил Бринк.

В настоящее время на рынке существуют два типа погружных охлаждающих жидкостей:

углеводородные — обычно представляют собой нефтепродукты, меняющие свое агрегатное состояние при нагреве;

фторохимические — искусственно созданные жидкости, разработанные путем соединения водорода с фтором; относятся к тому же классу жидкостей, которые применяются для создания масло- и влагоотталкивающих покрытий, таких как Scotchgard, а также составов для пожаротушения, таких как Novec (оба примера из линейки продуктов 3M).

В ходе виртуальной конференции Asperitas представила синтетическую углеводородную жидкость, о производстве которой договорилась с Shell (да, вы поняли верно: нефтегазовая компания Shell фигурировала на ИТ-мероприятии). Жидкость, получившая название S5X, будет выпускаться исключительно для систем погружного охлаждения.

«Жидкость абсолютно безопасна для работы и не имеет примесей, — заявил Бринк. — Ее свойства отвечают всем требованиям фармацевтических организаций Европейского Союза и США, предъявляемым к чистоте продукта. Кроме того, жидкость обладает очень низкой летучестью, поэтому крайне стабильна. Она не содержит галогенов, аллергенов и пригодна для применения в пищевой промышленности. Аналогичные жидкости используются в качестве базового масла в лекарственных препаратах».

В то же время Шаг из 3M предупредил, что углеводородные жидкости обладают побочным эффектом — они увлажняют компоненты, которые в них погружены, что может изменить физические свойства последних. Как отмечали многие инженеры, обычные минеральные масла, которые использовались на ранних стадиях изучения систем погружного охлаждения, приводили к разрушению разъемов и креплений плат, а также к разложению пластификаторов и покрытий на проводах, придающих им гибкость.

«Электронные детали изготавливаются из множества разнообразных углеводородных полимерных материалов, — пояснил Ша — Электроника и вспомогательное оборудование могут загрязнять масло различными частицами, которые приведут к изменению его свойств и эффективности». Частицы, находящиеся в жидкости, в конечном счете засоряют фильтры и препятствуют циркуляции, добавил он. Это не означает, что выпускаемые масла непригодны или небезопасны для использования в системах погружного охлаждения, просто они требуют регулярного технического обслуживания и фильтрации.

Минеральных масел, заявил Ша стоит избегать. Следует использовать только синтетические жидкости. Синтетические жидкости могут свести к минимуму большинство распространенных неисправностей, связанных с погружным охлаждением, добавил он.

Возможно, самое удивительное заключается в том, что эти новые жидкости не похожи на обычные масла и смазки. Всего лишь через несколько секунд после того, как кассета извлечена из резервуара, те крошечные капли жидкости, которые вы ожидали увидеть на компонентах (остающиеся на ваших руках и одежде), мгновенно испаряются и снова конденсируются в резервуаре, оставляя шасси чистым и почти сухим.

Новое размещение компонентов

Удаление вентилятора с процессора и погружение голого чипа в охлаждающую жидкость оказалось плохой идеей. Для эффективной работы системы погружного охлаждения в этом случае необходимо предварительно увеличить площадь поверхности процессора, соприкасающуюся с жидкостью.

Радиатор иммерсивного охлаждения

В однофазовой системе сделать это можно, прикрепив к чипу медный радиатор, ребра которого направляют потоки жидкости примерно так же, как это делает руль на водном судне. В идеале эти ребра должны быть расположены вдоль потока. Элезен из 2CRSI предположил, что для наиболее эффективного отвода тепла ребра радиатора на чипе должны иметь размер, рассчитанный исходя из вязкости и тепловых свойств охлаждающей жидкости.

Зоны охлаждения

Блоки питания и другие компоненты, которые, скорее, имеют форму кирпича, а не пластины, следует разместить в нижней зоне шасси T0. Для повышения эффективности охлаждения эти компоненты могут быть оснащены открытыми радиаторами. Шасси, обладающие достаточной толщиной, должны быть оснащены разъемами для вертикального монтажа плат PCI Express, как и сами шасси. Одна из проблем, над которой инженеры все еще работают, как сообщили они сами, заключается в том, чтобы найти правильный наклон для разъемов DIMM, которые обычно располагаются под углом. В идеале, сказал один из инженеров, разъем должен позволить модулю входить в него почти параллельно основной плате, как в ноутбуке. Но нужно еще думать над этим.

Идея заполнить шасси компонентами как можно плотнее, с условием, что они не создадут препятствий для циркуляции жидкости, возможно, и неплоха. Но, по словам инженеров, в любом случае необходимо сохранять достаточное расстояние между компонентами в зоне T2, расположенными на самом верху, и верхней точкой жидкости, а также между компонентами в зоне T1, расположенными в самом низу, и дном резервуара.

Вынужденная пауза

Далее успех систем погружного охлаждения будет зависеть от спроса. В текущих условиях, когда в дата-центрах находится минимальное количество персонала, а многие исследовательские центры закрыты, спрос не придет мгновенно. Мы стоим на развилке, возникшей вследствие обстоятельств, лежащих вне нашего контроля. Поэтому сегодня нам остается лишь гадать, прислушаются ли крупные игроки к совету Йоги Берры и последуют ли ему.

Если же экономика вернется к прежним темпам роста уже в ближайшем будущем, вполне вероятно, тогда же начнется эра погружного охлаждения — технологии, способной охлаждать растущие мощности и делать это эффективнее с точки зрения затрат. Конечно, резервуары с охлаждающими жидкостями могут и не попасть в каждый центр обработки данных, пока мы живы. Но, по крайней мере, для высокопроизводительных вычислительных систем (HPC) они вот-вот станут незаменимы. Крупные игроки вполне могут вооружиться этой технологией в числе первых.

Сергей Попсулин
17/06.2020


Комментарии

Похожие статьи:

Эпичный хостинг: изучаем как AMD меняет рынок VDS-хостинга на примере компании VDSina.ru

Сегодня хостеры могут размещать до 1024 виртуалок на одной машине, что позволяет им демпинговать, наращивая клиентскую базу в условиях жёсткой конкуренции. Мы выясним, почему 64-ядерные процессоры AMD EPYC лежат в основе нового в

Что такое NVME-oF? И как работает самый быстрый протокол данных?

В последние годы мы наблюдаем рост производительности технологий хранения данных, которая, в конечном счете, достигла физических пределов, обусловленных устаревшими протоколами обмена данными в дата-центрах. Несмотря на использован

Как Microsoft планирует сделать свои дата-центры "зелёными"

По мере роста облачного бизнеса растет и его влияние на окружающую среду. Многие компании стремятся к нулевым чистым выбросам, но Microsoft идёт ещё дальше: компания не просто сводит выбросы к нулю, а стремится удалить углерод, который она выбрасы

FAQ по применению литий-ионных батарей в ИБП для ЦОД-ов

Литий-ионные аккумуляторы обладают рядом преимуществ перед традиционными свинцово-кислотными батареями с клапанным регулированием (VRLA), широко используемыми сегодня в ИБП. Гораздо более длительный срок службы, меньшие размеры