Введение
Сегодня основная тенденция в серверном оборудовании - повышение вычислительной плотности оборудования, и причины тому весьма банальны - желание заказчика экономить на обслуживании своей инфраструктуры. С одной стороны, производители процессоров, корпорации Intel и AMD уже давно переключились с гонки гигагерц на гонку количества ядер в одном физическом корпусе процессора. С другой стороны, производители серверного оборудования готовы предложить заказчикам сверхплотные решения, используя как уже обкатанную технологию Blade-серверов, так и относительно новую - размещения нескольких серверных узлов в одном корпусе.
Пока что для тех, кому не хватает денег на Blade-серверы или кому просто не нужна мощность Blade-структуры, промышленность предлагает установку двух физических серверов на 1U высоты корпуса. Соответственно, в 2U корпусе можно разместить 4 физических сервера, причём достаточно мощных - двухпроцессорных, с 16-ю слотами памяти, и даже одним слотом расширения. То есть, по сути, увеличивая плотность в два (для 1U) или четыре (для 2U) раза, заказчик почти ничего не теряет.
Сегодня мы рассмотрим сервер, собранный компанией Server Unit для математических расчётов и программ физического моделирования. Эта машина собрана на процессорах AMD Opteron 6174, каждый из которых имеет 12 физических ядер, установленных на 4-нодовую платформу Supermicro 2022TG-HIBQR высотой 2U. Таким образом, вычислительная плотность составляет 48 ядер на 1U! Эта 56-килограммовая машинка стоимостью в миллион рублей посетила наш тестовый стенд, и я вам скажу - здесь есть, чему удивляться. Но прежде, чем мы продолжим, позвольте небольшое техническое отступление.
Область применения серверов высокой плотности
В подобных серверах достигается возможность размещения большего количества вычислительных ядер и памяти на серверную стойку, а следовательно, и на серверную полку 1U. При этом, возможности по хранению данных такие же, или хуже, чем у традиционных серверов. Ведь если в 2U корпус можно установить 12 жестких дисков формата 3.5 дюйма, то в случае серверов высокой плотности эти диски жестко поделены между модулями. И если каждому физическому узлу доступны по 3 диска, то RAID 6 на них уже не соберёшь. Хотя, RAID 5 на винчестерах большого объёма вполне достаточно для операционной системы и хранения каких-то данных, даже небольших БД. Частично проблема решается использованием SFF винчестеров и внешних СХД.
Кстати, подключение жестких дисков, скорее всего, возможно только к материнской плате модуля, а использование RAID контроллеров для внутренних дисков невозможно. В некоторых моделях может существовать возможность использования Zero Channel контроллеров.
Еще одна проблема серверов высокой плотности - это платы расширения. В лучшем случае, вам будет доступен один слот половинной длины и полной либо половинной высоты. Поэтому производитель старается интегрировать на плату то, что потребуется пользователю. Например, контроллеры интерфейса InfiniBand, использующиеся для MPI в вычислительных кластерах и суперкомпьютерах.
По сравнению с традиционной конструкцией, сервер высокой плотности заранее проигрывает в производительности дисковой подсистемы, а так же в возможностях по расширению. Последнее может стать серьёзной проблемой на пути интеграции в HPC, где все чаще используются GPU платы типа nVidia Tesla. А при использовании таких плат, модульные серверы уже теряют свои преимущества.
Если сравнивать с Blade-серверами, то сервер с несколькими узлами недалеко ушел от своего традиционного аналога. Он не имеет встроенных коммутаторов и KVM консолей, едва ли будет иметь расширенное управление модулями, т.к. в нем отсутствует само понятие «умной полки», как в Blade серверах. Да и по вычислительной плотности Blade-серверы не имеют альтернатив.
Серверы повышенной плотности позволяют покупателю неплохо сэкономить на покупке оборудования (4-модульный сервер будет стоить дешевле 4-х традиционных серверов с той же конфигурацией и от того же производителя) и на эксплуатации. Даже стоимость потребляемой энергии будет ниже, ведь как и в случае с Blade-серверами, здесь используются общие блоки питания и вентиляторы охлаждения. Сопоставьте затраты - 4 традиционных сервера будут иметь от 4-х до 8-ми блоков питания и от 16 системных вентиляторов. А в одном 2U сервере высокой плотности, состоящем из 4-х модулей, будет всего 2 блока питания и 4 системных вентилятора.
Естественно, если вы арендуете места под сервер в дата-центре или просто ограничены в используемом пространстве, то ваша экономия - на лицо.
Сервера высокой плотности не годятся для использования в качестве систем хранения данных, а для баз данных или сервера баз данных потребуется внешняя СХД. Сейчас есть модели с поддержкой GPU плат типа Tesla, но это скорее дань моде, потому что в 2U корпус помещается лишь два модуля с GPU платами, при том, что уже сегодня существуют корпуса формата 1U, поддерживающие установку двух плат типа Tesla. Однако, для задач виртуализации, для веб-хостинга или для математических расчётов на уровне CPU это - идеальный вариант. Они дают серьёзную экономию как на этапе покупки, так и на этапе владения оборудованием, при этом, не уступают в производительности традиционным серверам.
4-модульная серверная платформа
Рассматриваемая нами модель сервера собрана на платформе SuperMicro 2022TG-HIBQR, которая создавалась для нового поколения процессоров AMD Opteron 6-й серии. На сегодняшний день это единственные x86 процессоры, имеющие 12 физических ядер. Соответственно, это лучшее решение для задач по параллельным расчетам, ведь вы можете достичь плотности в 48 ядер на 1 полку 1U при использовании относительно недорогих 2-процессорных конфигураций. Платформа SuperMicro 2022TG-HIBQR имеет четыре двухпроцессорных модуля, 12 отсеков для SATA дисков формата 3.5 дюйма, отказоустойчивый блок питания мощностью 1400 Вт. Каждый модуль имеет интегрированный контроллер QDR InfiniBand с пропускной способностью 40 Гбит/с, что очень пригодится для соединения узлов кластера будущего HPC. К тому же, каждый узел имеет слот расширения PCI Express 16x для плат длиной до 15 сантиметров. Каждый узел может содержать до 256 Гб оперативной памяти. То есть, практически этот сервер ничто не может остановить :)
Чтобы понять, какие задачи пришлось решать производителю, достаточно внимательно посмотреть на сервер. Прежде всего, перед нами редкий тип корпуса формата 2U, в котором нашлось место для 12 дисков - по одному столбику из трёх дисков на каждый узел.
В результате на корпусе не осталось места не то, чтобы для USB портов, а даже для кнопок - выключатели и кнопки включения идентификации вынесены на «ушки» крепления в стойку. Правда, надписи на кнопках и индикация без микроскопа не видны.
Отзывов в форуме: 0