• nav


Обзор сервера высокой плотности формата 2U: 4 ноды, 8 процессоров AMD, 512 Гб памяти в одном корпусе

Введение

Сегодня основная тенденция в серверном оборудовании - повышение вычислительной плотности оборудования, и причины тому весьма банальны - желание заказчика экономить на обслуживании своей инфраструктуры. С одной стороны, производители процессоров, корпорации Intel и AMD уже давно переключились с гонки гигагерц на гонку количества ядер в одном физическом корпусе процессора. С другой стороны, производители серверного оборудования готовы предложить заказчикам сверхплотные решения, используя как уже обкатанную технологию Blade-серверов, так и относительно новую - размещения нескольких серверных узлов в одном корпусе.

Пока что для тех, кому не хватает денег на Blade-серверы или кому просто не нужна мощность Blade-структуры, промышленность предлагает установку двух физических серверов на 1U высоты корпуса. Соответственно, в 2U корпусе можно разместить 4 физических сервера, причём достаточно мощных - двухпроцессорных, с 16-ю слотами памяти, и даже одним слотом расширения. То есть, по сути, увеличивая плотность в два (для 1U) или четыре (для 2U) раза, заказчик почти ничего не теряет.

Сегодня мы рассмотрим сервер, собранный компанией Server Unit для математических расчётов и программ физического моделирования. Эта машина собрана на процессорах AMD Opteron 6174, каждый из которых имеет 12 физических ядер, установленных на 4-нодовую платформу Supermicro 2022TG-HIBQR высотой 2U. Таким образом, вычислительная плотность составляет 48 ядер на 1U! Эта 56-килограммовая машинка стоимостью в миллион рублей посетила наш тестовый стенд, и я вам скажу - здесь есть, чему удивляться. Но прежде, чем мы продолжим, позвольте небольшое техническое отступление.

Область применения серверов высокой плотности

В подобных серверах достигается возможность размещения большего количества вычислительных ядер и памяти на серверную стойку, а следовательно, и на серверную полку 1U. При этом, возможности по хранению данных такие же, или хуже, чем у традиционных серверов. Ведь если в 2U корпус можно установить 12 жестких дисков формата 3.5 дюйма, то в случае серверов высокой плотности эти диски жестко поделены между модулями. И если каждому физическому узлу доступны по 3 диска, то RAID 6 на них уже не соберёшь. Хотя, RAID 5 на винчестерах большого объёма вполне достаточно для операционной системы и хранения каких-то данных, даже небольших БД. Частично проблема решается использованием SFF винчестеров и внешних СХД.

Кстати, подключение жестких дисков, скорее всего, возможно только к материнской плате модуля, а использование RAID контроллеров для внутренних дисков невозможно. В некоторых моделях может существовать возможность использования Zero Channel контроллеров.

Еще одна проблема серверов высокой плотности - это платы расширения. В лучшем случае, вам будет доступен один слот половинной длины и полной либо половинной высоты. Поэтому производитель старается интегрировать на плату то, что потребуется пользователю. Например, контроллеры интерфейса InfiniBand, использующиеся для MPI в вычислительных кластерах и суперкомпьютерах.

По сравнению с традиционной конструкцией, сервер высокой плотности заранее проигрывает в производительности дисковой подсистемы, а так же в возможностях по расширению. Последнее может стать серьёзной проблемой на пути интеграции в HPC, где все чаще используются GPU платы типа nVidia Tesla. А при использовании таких плат, модульные серверы уже теряют свои преимущества.

Если сравнивать с Blade-серверами, то сервер с несколькими узлами недалеко ушел от своего традиционного аналога. Он не имеет встроенных коммутаторов и KVM консолей, едва ли будет иметь расширенное управление модулями, т.к. в нем отсутствует само понятие «умной полки», как в Blade серверах. Да и по вычислительной плотности Blade-серверы не имеют альтернатив.

Серверы повышенной плотности позволяют покупателю неплохо сэкономить на покупке оборудования (4-модульный сервер будет стоить дешевле 4-х традиционных серверов с той же конфигурацией и от того же производителя) и на эксплуатации. Даже стоимость потребляемой энергии будет ниже, ведь как и в случае с Blade-серверами, здесь используются общие блоки питания и вентиляторы охлаждения. Сопоставьте затраты - 4 традиционных сервера будут иметь от 4-х до 8-ми блоков питания и от 16 системных вентиляторов. А в одном 2U сервере высокой плотности, состоящем из 4-х модулей, будет всего 2 блока питания и 4 системных вентилятора.

Естественно, если вы арендуете места под сервер в дата-центре или просто ограничены в используемом пространстве, то ваша экономия - на лицо.

Сервера высокой плотности не годятся для использования в качестве систем хранения данных, а для баз данных или сервера баз данных потребуется внешняя СХД. Сейчас есть модели с поддержкой GPU плат типа Tesla, но это скорее дань моде, потому что в 2U корпус помещается лишь два модуля с GPU платами, при том, что уже сегодня существуют корпуса формата 1U, поддерживающие установку двух плат типа Tesla. Однако, для задач виртуализации, для веб-хостинга или для математических расчётов на уровне CPU это - идеальный вариант. Они дают серьёзную экономию как на этапе покупки, так и на этапе владения оборудованием, при этом, не уступают в производительности традиционным серверам.

4-модульная серверная платформа

Рассматриваемая нами модель сервера собрана на платформе SuperMicro 2022TG-HIBQR, которая создавалась для нового поколения процессоров AMD Opteron 6-й серии. На сегодняшний день это единственные x86 процессоры, имеющие 12 физических ядер. Соответственно, это лучшее решение для задач по параллельным расчетам, ведь вы можете достичь плотности в 48 ядер на 1 полку 1U при использовании относительно недорогих 2-процессорных конфигураций. Платформа SuperMicro 2022TG-HIBQR имеет четыре двухпроцессорных модуля, 12 отсеков для SATA дисков формата 3.5 дюйма, отказоустойчивый блок питания мощностью 1400 Вт. Каждый модуль имеет интегрированный контроллер QDR InfiniBand с пропускной способностью 40 Гбит/с, что очень пригодится для соединения узлов кластера будущего HPC. К тому же, каждый узел имеет слот расширения PCI Express 16x для плат длиной до 15 сантиметров. Каждый узел может содержать до 256 Гб оперативной памяти. То есть, практически этот сервер ничто не может остановить :)

Сервер Supermicro 2022TG-HUBQR

 

Чтобы понять, какие задачи пришлось решать производителю, достаточно внимательно посмотреть на сервер. Прежде всего, перед нами редкий тип корпуса формата 2U, в котором нашлось место для 12 дисков - по одному столбику из трёх дисков на каждый узел.

Сервер Supermicro 2022TG-HUBQR

В результате на корпусе не осталось места не то, чтобы для USB портов, а даже для кнопок - выключатели и кнопки включения идентификации вынесены на «ушки» крепления в стойку. Правда, надписи на кнопках и индикация без микроскопа не видны.

Если вся лицевая панель занята лотками для HDD, то мы просто обязаны посмотреть на них повнимательнее.

Сервер Supermicro 2022TG-HUBQR

Конструкция лотков напоминает аналогичную у серверов Hewlett Packard, с той разницей, что здесь лоток не имеет решетки для защиты электроники диска, а фронтальная часть представляет собой решетку с низким сопротивлением воздушному потоку. И хотя защелка пластиковая, она очень удобная и создает впечатление надежности.

Сервер Supermicro 2022TG-HUBQR

Посмотрим на сервер сзади - именно отсюда вынимаются узлы и модули блока питания. Для извлечения каждого узла, его предварительно надо отключить, но на работу других узлов это не влияет.

Сервер Supermicro 2022TG-HUBQR

Каждый из узлов щедро наделен средствами для общения с миром: два USB 2.0 порта, VGA порт, выглядящий смешно RS232 порт, три RJ45 и один порт InfiniBand. Из трёх сетевых портов два представляют собой Gigabit Ethernet, а третий, который расположен над USB портами служит для удаленного мониторинга. Если вам этого мало, вы можете установить плату расширения с недостающими интерфейсами. Хотя, что сюда можно установить - трудно представить.

Сервер Supermicro 2022TG-HUBQR

Машина питается от блока питания мощностью 1400 Вт, имеющего сертификат 80Plus Gold. Обычно, серверные блоки питания итак имеют потрясающую эффективность и не нуждаются в сертификатах. По результатам измерений производителя, КПД блока питания колеблется от 84.4% до 92.31% - отличные показатели.

Сервер Supermicro 2022TG-HUBQR

Охлаждающий воздух поступает в сервер не только через фронтальную часть с дисками, но так же через боковые стенки и верхнюю крышку. На охлаждение каждой пары модулей работают по два 80-мм вентилятора мощностью по 17 Вт каждый. Причем, если включены правые два модуля, то пара вентиляторов слева не работают ради экономии электроэнергии.

Сервер Supermicro 2022TG-HUBQR

Меняются вентиляторы парой, и делать это очень неудобно.

Сервер Supermicro 2022TG-HUBQR

Давайте посмотрим, как выглядит отдельный узел кластера. Он имеет странную форму, с длинным «хвостом», которым является плата для соединения с backplane. Интересно выглядит контактная группа на этом «хвосте»: сверху - интерфейсные контакты, снизу - большие силовые. Судя по маркировке, это плата для подключения к SATA бекплейну, а значит есть вариант и с интерфейсом SAS. Но удивительно другое, что питание на всю электронику модуля подается лишь по двум силовым контактам.

Сервер Supermicro 2022TG-HUBQR

Гнезда процессоров и модули памяти установлены в шахматном порядке, по 8 слотов DIMM на каждое CPU гнездо. С тыльной стороны корпуса модуля размещаются чипсет материнской платы, контроллер InfiniBand, а так же единственный слот расширения. Как вы можете видеть, места для установки платы расширения здесь не много - для платы половинной высоты и длиной до 15 см. Для дополнительной сетевой карты может хватить. Места для SD карт здесь не осталось, но есть USB порт, в который можно установить флэшку с операционной системой или ключами доступа. Так же на материнской плате есть разъёмы для подключения планки с портами USB 2.0 и RS232.

В общем-то, несмотря на компактность материнской платы, на ней сохранена типичная серверная компоновка, вам доступны даже дополнительные интерфейсные порты и один слот расширения. Теперь осталось посмотреть, как этот узел работает.

Удаленный мониторинг

Любой современный сервер такого класса обязан иметь функциональную систему мониторинга, и платформы SuperMicro - не исключение. Пользователю доступно несколько вариантов аппаратного мониторинга, в том числе SNMP, но более интересен мониторинг через интернет.

Сервер Supermicro 2022TG-HUBQR

Для этого надо установить утилиту SuperODoctor под Windows, после чего вы получите доступ через Web-интерфейс к серверу. Вам будет доступна KVM консоль, виртуальный диск, а так же данные аппаратного мониторинга в реальном времени.

Сервер Supermicro 2022TG-HUBQR

Однако, видеолога процесса запуска, как у серверов Dell или HP, не имеется. Да и программное обеспечение доступно только под Windows, а под Linux существует лишь сильно урезанная его часть. Однако, если вы не хотите зависеть от операционной системы, то можете подключиться непосредственно к специальному сетевому порту узла и работать уже через HTTP протокол, без дополнительных программ. Правда, централизованное управление узлами недоступно: хотите управлять всеми четырьмя узлами - подключайтесь четырьмя кабелями и открывайте четыре браузера. А если таких узлов 256? В любом случае, такое решение лучше, чем ничего.

Тестирование

Протестируем производительность одного узла сервера высокой плотности, чтобы выяснить производительность, которую он может дать при работе с вычислениями. Начнем с десктопного теста SiSoft Sandra. Мы еще не тестировали серверы на процессорах AMD, поэтому сравним результаты с данными серверов Dell на процессорах Xeon серии Nehalem и HarperTown. Эти серверы тестировались с 12 Гб памяти, так что на 100% наш тест не будет точным, ведь в одном узле нашего испытуемого - 128 Гб памяти. Но тем не менее, результаты будут интересны.

Модель

Supermicro Node

PowerEdge 2950 III

PowerEdge R710

Процессор

2x Opteron 6174, 12 core, 2.2 GHz, 6Mb L2

2x Xeon X5450 QC, 3.0 GHz, 1333 MHz FSB, 12 Mb L2

2 x Xeon X5550 QC, HT, 2.6 GHz, 8 Mb L3

Память

128 Gb PC3-10600

12 Gb PC2-5300 Fully Buffered DIMM

12 Gb PC3-10600 ECC Unbuffered

Дисковая подсистема

1xSeagate Barracuda 7200.10, 500Gb

4x Seagate Barracuda ES2 7200 rpm SAS 250Gb RAID 10, DELL PERC 6/i

4x DELL 146Gb SAS 15000 rpm RAID10, DELL PERC 6/i

Операционная система

MS Windows Server 2008

MS Windows Server 2008

MS Windows Server 2008

Из-за различия дисковых систем, тесты файловой скорости проводить не будем.

В принципе, есть о чем подумать - большее количество ядер дает огромное преимущество в тестах процессорной производительности. Арихитектура AMD дает прорыв и в пропускной способности памяти, хотя и уступает в латентности. Учитывая данные этой синтетики, можно предполагать огромное преимущество AMD-ной платформы в следующих тестах.

MCS Benchmark

Этот синтетический тест показывает в том числе и многоядерную производительность.

Тестирование MCS Benchmark

И первый же тест для нас приносит разочарование - слишком маленькая производительность, сравнимая с процессорами Intel предыдущего поколения. Но может быть, дело в самом коде теста... Перейдем к тестам группы SPEC.

SPEC ViewPerf x64

Странно предполагать, что на подобных системах кто-то будет использовать однопоточные приложения для рендеринга. Однако, чем админ не шутит - наш традиционный тест SPEC ViewPerf мы проводим как в многопоточном, так и в однопоточном режимах.

Тестирование SPEC ViewPERF

В этом тесте платформа AMD просто не имеет шансов перед даже довольно старым поколением процессоров Intel. Конечно, частота и архитектура конвейеров Xeon дает им преимущества. Включаем многозадачность...

Тестирование SPEC ViewPERF

 

Понимайте как хотите, но большее количество физических ядер на узел здесь играет в пользу архитектуры AMD. Не думаю, что имеет значение объем памяти, так как даже 12 Гб хватало для теста с избытком. Обратите внимание - этот тест использует всего 4 потока. В следующем тесте от SPEC мы проверим работу JAVA.

SpecJVM2008

Этот тест может параллелиться на количество ветвей, равных количеству ядер в системе.

Тестирование SPECJVM

Конечно, платформа AMD выигрывает в большинстве тестов, но преимущество какое-то неуверенное. Например, в сложных тестах Derby и Crypto совершенно разная ситуация. Пожалуй, глядя на Scimark.small и Scimark.large, становится понятно, что скорость определяется в большей части не количеством ядер и объемом кеша, а оптимизацией приложения, но в целом потенциал у процессоров Magny-Cours огромный.

Цена вопроса

Давайте сравним экономическую выгоду от использования сервера на несколько узлов по сравнению с покупкой нескольких серверов той же конфигурации. Мы уберем из сравнения жесткие диски, чтобы легче было оценить конфигурацию и не привязываться к системе хранения данных.

Сервер

Цена, руб

Итоговая цена

SuperMicro 2022TG- HIBQR

4 node: 4x(2x AMD Opteron 6174 + 128 Gb DDR3, Infiniband), 1400Wt Redundant PSU

Barebone: 166756

CPU: 8x45479

RAM: 64x6883

971 100

SuperMicro 1022G-URF, 2xAMD Opteron 6174 + 128 Gb DDR3 + AOC-UIBQ-M1 Infiniband card, 700 Wt redundand psu

Barebone: 43543

CPU: 2x45479

RAM: 16x6883

Infiniband: 15702

1 Server: 260331

1 041 324

Как видите, стоимость покупки ниже при выборе сервера на 4 узла, ведь в этом случае вы экономите еще и на infiniband контроллерах, но если они не нужны, то стоимость примерно сопоставима. Самое главное, что такие серверы высокой плотности не стоят ощутимо дороже обычных, но в два раза экономят место в стойке.

Выводы

Наша статья во многом объясняет, почему сервер высокой плотности выгоднее, чем обычный 1-юнитовый сервер, особенно, когда вы строите кластер для математических расчётов. Более того, для этой цели предпочтительнее использовать процессоры с максимальным количеством физических ядер, что наглядно демонстрирует архитектура AMD Magny-Cours.

К недостаткам платформы можно отнести то, что к каждому узлу жестко привязаны по 3 жестких диска с интерфейсом SATA, и у пользователя нет возможности никак менять конфигурацию собственной системы хранения сервера. Но для случаев, когда необходимо для хранения данных использовать собственные ресурсы серверов, можно присмотреться к вариантам с 2.5-дюймовыми жесткими дисками. Да и пока что вариантов для апгрейда вычислительных узлов не предусмотрено.

Серверная платформа Supermicro 2022TG-HIBQR оказывается выгоднее, чем четыре аналогичных платформы формата 1U при использовании интерфейса InfiniBand, как при покупке, так и при эксплуатации. Высокая эффективность энергопотребления и плотность вычисления - 48 ядер на 1U делают ее идеальным решением для построения HPC (High Performance Computer) или кластера для расчетов. И по сравнению с blade-серверами, здесь вы не привязаны к производителю оборудования, и можете со временем заменить один сервер на другой, что так же повышает гибкость вашей инфраструктуры.

Мы благодарим компанию Server Unit за предоставленный сервер.

Михаил Дегтярёв (aka LIKE OFF)
21/03.2011





ПОХОЖИЕ СТАТЬИ:

Что такое Edge Computing и почему граничные вычисления - это побег из облака

Подумайте об устройствах, которые следят за производственным оборудованием на заводе, или видеокамере, которая отправляет запись в реальном времени из удаленного офиса. Пока устройство одно, передавать их по сети довольно легко, но...

Обзор видеокарты Palit GeForce GTX 1660 Super: тестируем новинку в задачах вычислений и машинного обучения

Новая серия видеокарт GTX 1660 Super интересна, прежде всего, памятью GDDR6, имеющей высокую пропускную способность. Это именно то, что надо для задач машинного обучения и работы в Tensorflow. Как минимум, вы можете создать собстве...

Переход с Intel Xeon на AMD EPYC: развенчиваем мифы, обходим подводные камни

Рядовые сисадмины и крупные IT-директора, когда речь заходит об AMD, задают порой совершенно детские вопросы, а мы на них отвечаем. Совместимость с существующим стэком, снижение TCO, вопросы производительности и поддержки.

...

5 основных отличий рабочей станции от настольного ПК

И маленький компьютер для бухгалтера, и рендер-станцию на 6 видеокарт в понимании производителей ПК можно обозвать словом «Workstation», так что если уж руководство поставило перед вами задачу выбора «Рабочей станции», то чтобы не ...

Каковы шансы у AMD на серверном рынке? Часть 2.

Для успешного возвращения на серверный рынок AMD задумала максимально унифицировать производство, связав воедино принципы микроархитектуры Zen, идеологию чипа и финальной сборки процессоров

...

НА ФОРУМЕ ГОВОРЯТ



НОВЫЕ СТАТЬИ
Amazfit GTS – «прокачанные» BIP с чудо экраном

Amazfit GTS, своего рода, можно назвать улучшенной (точнее, очень прокачанной) версией крайне популярных смарт часов Amazfit BIP. Отличий очень много, можно с полной ответственностью заявлять, что это совсем другой продукт,...

HyperX Alloy Origins Core – «короткая» механика от HyperX

От HyperX давно ждали какую-нибудь новую необычную игровую клавиатуру, и дождались-таки. Встречаем - Alloy Origins Core: короткая (без NumPad), на собственных красных свитчах, с RGB подсветкой и с разъёмом подключения...

ЧИТАЙТЕ ТАКЖЕ