• nav


Обзор материнской платы ASRock Rack EP2C621D12 WS для двух процессоров Xeon LGA3647

Компания Intel активно продвигает свою платформу LGA-3647 не только для серверного рынка, но и для топовых компьютеров, рассчитанных на энтузиастов, а так же для рабочих станций, оптимизированных для сложных параллельных расчётов. Образно говоря, уже сегодня эта платформа позволяет собрать рабочую машину с 56 физическими ядрами (112 CPU потоков) в одном настольном корпусе. Обычно, такая мощность требуется для каких-либо научных расчётов с высокой точностью, выполняемых на процессоре. Тем не менее, и Intel, и производители материнских плат понимают, что заказчик скорее всего будет использовать GPU или дискретные акселераторы для функций машинного обучения, поэтому процессоры Xeon Scalable в данном случае рассматриваются как единственное решение от Intel, имеющее контроллер на 48 линий PCI Exprees 3.0. Хотите подключить больше трёх GPU с интерфейсом PCI-Express 16x? Выбирайте двухпроцессорную материнскую плату, и ставьте хоть самые простые 6-ядерные Xeon Bronze 3104, у вас будет 96 линий PCI-E.

Материнская плата

 

Материнская плата EP2C621D12 WS от компании ASRock Rack - это как раз тот самый универсальный случай, когда вы выбираете платформу для машины под LGA-3647, хотите иметь большое число PCI-Express слотов и базовые на сегодня возможности для системы хранения данных. Самое главное достоинство материнской платы - это целых 7 слотов PCI Express формата 16x. Как обычно, здесь требуется пояснение: слоты PCIE 3 и PCIE 4 делят одну x16 шину и работают либо в формате x16 + 0 либо в формате x8 + x8. Слот PCIE 2 работает в режиме x8, то есть фактически остаётся 5 слотов для скорости x16, три из которых вы сможете занять 2-слотовыми GPU платами без дополнительных удлинителей.

Но помимо традиционных слотов PCI Express для плат расширения, на материнской плате EP2C621D12 WS установлены ещё и два слота M.2 с поддержкой скорости до PCIE (x4). Первый из них подключён к CPU1, а второй - к южному мосту Intel C621 PCH. Оба слота поддерживают накопители с интерфейсом SATA3 размером от Key 2230 до Key 2280. Использование PCI Express накопителей формата M.2 никак не влияет на скорость слотов для карт расширения.

PCI Express

Конечно, основная система хранения в данном случае выносится на SATA-массив. Для загрузки гипервизора на плате предусмотрены два порта для SATA DOM накопителей (красного цвета) с дополнительным питанием, но для основного массива здесь выделены 10 портов SATA 600, из которых 8 подключены к первому контроллеру SATA, а ещё два - ко второму. Суммарно же вам доступны 14 портов SATA, чего будет достаточно без преувеличения для любых нужд хранения. Материнская плата поддерживает RAID уровней 0, 1, 10 и 5 через Intel-овские драйверы.

Но поскольку материнская плата ASRock Rack EP2C621D12 WS создана всё же не для серверов, а для рабочих станций, здесь нет ни SAS контроллера, ни PCI Express портов для подключения 2.5-дюймовых SSD. Насколько это важно? С нашей точки зрения, двух M2 слотов вполне достаточно, чтобы держать операционную систему с GUI и кэшировать данные с SATA накопителей. В крайнем случае, всегда есть возможность установить плату-акселератор для 4-х M.2 накопителей.


Периферийные порты

А вот с периферийными портами ситуация, мягко скажем, странная. Вообще, рассматриваемая плата создана для рабочих станций, но на это указывает только встроенный звуковой тракт, да и то не особо качественный: кодек Realtek ALC892 уходит корнями аж в 2011-й год, на плате аналоговый тракт расположен в нижнем углу, от которого без дополнительного экранирования сигнал просто идёт через всю весьма длинную плату к 3.5 мм гнёздам, которые по своему виду, родом оттуда же, из начала 2000-х годов.

Периферийные порты

Выбор сетевых подключений ещё более странный: 4 интерфейса по 1 Гбит/с, для которых выбран редкий контроллер Marvell 88E1543, отдельный BMC-порт для удалённого управления, и всего 2 порта USB 3.0. Хорошо хоть, что этот сетевой контроллер поддерживается ESXi 6.x+, а на плате есть коннекторы для подключения фронтальных двух USB 3.0 портов и двух USB 2.0: мало, товарищи.

В общем, я считаю, что на материнке формата EEB достаточно места, чтобы установить и USB 3.1 контроллер, и я совершенно не понимаю смысла установки 4 сетевых портов в устройство, которое ну явно не хочет быть сетевым шлюзом. Нужна быстрая сеть - ставь 10/25G, BMC управление для рабочей станции вообще не актуально. В этом плане Asus C621E Sage более понятна и сбалансирована.

Пожалуй, нечего кривить душой - ASRock Rack просто незаслуженно поместила эту плату в раздел "для рабочих станций". Если смотреть на всё то же самое с точки зрения сервера, то всё понятно, кроме Marvell-овского сетевого чипа.

Схемы питания

Материнская плата поддерживает процессоры с TDP до 205 Вт, то есть все существующие на сегодняшний день Xeon-ы серии Skylake, включая топовые Xeon Platinum 8180. К каждому процессору мощность подается через 8-контактный ATX 12V разъём, но ATX 24-pin разъём здесь один, так что одного блока питания для машины будет вполне достаточно.

Разъемы питания

Для модулей памяти используется 2-фазовая схема питания с твердотельными полимерными конденсаторами марки E88E с температурным рейтингом 105 градусов Цельсия.

VRM на материнской плате

Каждый процессор имеет 6+1-фазовую систему питания с контроллером Renesas ISL69127.

С обратной стороны платы располагаются полимерные твердотельные конденсаторы, как на большинстве современных профессиональных материнских платах.

Подключение вентиляторов

Для вентиляторов тут, прямо скажем, рай: 7 сдвоенных 6-контактных разъёмов, каждый из которых имеет собственный светодиодный индикатор поломки. Плата имеет автоматическую регулировку скорости процессорных, фронтальных и корпусных вентиляторов.

IPMI управление

BMC-управление осуществляется за счёт современного чипа Aspeed AST2500, самого современного решения с нормальным HTML5 интерфейсом, совместимым в том числе с мобильными устройствами. Вам не нужно устанавливать никакого клиентского софта на компьютер оператора, не надо заморачиваться с совместимостью с браузерами - всё работает и под PC, и под MacOS, и под Linux и Android.

Из KVM интерфейса можно подключать виртуальные носители с локального компьютера, но это - прошлый век. Куда удобнее смонтировать папку на NAS-е с инсталляторами операционок и выбирать, какой образ и как подключить. Машина сканирует CIFS/NFS папку в поисках .ISO-шек и предлагает вам подключение не только в виде дискеты или CD-ROM, но и в виде HDD, чтобы можно было загружаться по сети. Правда, инсталляция показала, что Virtual Media работает со скоростью приблизительно 1.5 Мб/с, что расстраивает: прорыва не произошло, а зря, ведь это не просто метод установки ОС удаленно, но и практическая замена PXE-загрузки.

Конечно, Java-приложение тоже осталось, но теперь оно нужно только для запуска экранной клавиатуры, если например вам трудно нажать кнопки F11-F12 под MacOS.

Отдельным пунктом выделено управление питанием, отдельно - сенсоры и логи. Жаль, что в интерфейсе нет графиков, мне очень нравилось мониторить изменение температуры, но частично это компенсируется очень понятным интерфейсом просмотра логов.

BIOS

Материнская плата имеет стандартный AMI (Aptio) BIOS со стандартным набором настроек для серверных плат. Хочется обратить внимание, что на материнской плате есть функция Watch Dog, которую почему-то в workstation-модели не ставят (имеет два варианта: NMI и Reset).

В принципе, BIOS имеет всё, что нужно для серверной материнской платы, включая логи загрузки и ошибок.

Тестирование

  • Процессор: 2x Intel Xeon Gold 6146
  • Память: 32 Гб (2x16 Гб) DDR PC2400
  • Vmware ESXi 6.7
  • Debian 9

Протестируем скорость работы Virtual Media:

  • AMI Virtual CD (образ хранится на NAS) - 1512 Кб/с
  • AMI Virtual CD (образ подключается с компьютера) - 1680 Кб/с

Временами скорость подскакивает до 4 Мб/с, но это больше похоже на работу кэша. Так что для нужд BMC мониторинга обычного 100-мегабитного коммутатора будет более чем достаточно.

Выводы

У компании ASRock Rack получаются прекрасные серверные материнские платы, и если рассматривать EP2C621D12 WS как вариант для машины под научные расчёты и машинное обучение, то это лучший вариант. Здесь и 7 слотов PCI Express под платы расширения, и большое количество SATA-портов, ну в общем всё, что должно быть в современной высокоинтегрированной материнской плате.

Что понравилось:

  • Дизайн платы под стоечные корпуса с воздушным потоком, перпендикулярным портам материнки.
  • Два слота M.2, не делящих производительность с другими PCI Express портами
  • Два порта SATA DOM
  • Очень хороший IPMI/BMC интерфейс
  • Традиционный BIOS
  • 6-контактные разъёмы охлаждения для мощных вентиляторов

Что не понравилось:

  • Всего 2 USB порта на панельке платы
  • Отсутствие 10G Ethernet портов
  • Аудио интерфейс подойдет только для работы через RDP
В целом, сегодня на рынке существуют 3-4 подобные материнские платы, доступные в продаже отдельно от серверных платформ. Если вы хотите приобрести рассматриваемую материнскую плату через тендер, указывайте 7 слотов PCI Express физического формата 16x, 12 портов SATA и 4 сетевых порта. Под указанные характеристики не подпадают ни платы Asus, ни Supermicro ни Tyan, так что вы получите именно то, что вам нужно.

Михаил Дегтярёв (aka LIKE OFF)
25/03.2019




ПОХОЖИЕ СТАТЬИ:

Отчёт IDC по серверному рынку за 1 квартал 2019 г: Dell, HPE падают, Inspur растёт

Весь первый квартал продажи серверов Dell и HPE в числовом выражении неуклонно падали двузначными темпами, оставляя место для роста мало известной китайской компании Inspur.

...

Обзор серверной материнской платы ASRock Rack EPYCD8-2T для AMD EPYC 7000

Платформа AMD EPYC 7000 хороша тем, что в 1-сокетном формате вам доступно большое количество каналов PCI Express. Для сборки сервера на несколько GPU это - серьёзное преимущество, ведь 1-процессорная компоновка позволяет собирать к...

Почему Intel Xeon Platinum 9200 не пошёл в массы

На сегодняшний день ни один крупный поставщик, не объявил о поддержке процессоров Intel Xeon Platinum 9200. В этой статье мы поговорим о том, почему.

...

Сравнение трёх кулеров Noctua для рабочих станций на базе AMD EPYC 7000

Из-за гигантских размеров сокета, кулеры для TR4/SP3, как правило, вынесены в отдельную категорию, и ни с чем больше не совместимы (это не относится к СВО). Мы сравним тройку удалых систем охлаждения Noctua и посмотрим, насколько о...

ASRock Rack EPC621D4I-2M - обзор Mini-ITX материнской платы под Xeon LGA3647

Когда процессоры Intel Xeon серии LGA-3647 только появились, многие специалисты шутили, что этот процессорный сокет настолько большой, что плату формата Mini-iTX на нём сделать невозможно. И вот компания ASRock Rack показала всем...


НА ФОРУМЕ ГОВОРЯТ



НОВЫЕ СТАТЬИ
Выясняем на примере QNAP TVS-951X, нужен ли быстрый NAS в цифровой студии

В этой статье мы будем выяснять, нужен ли в компании, занимающейся созданием цифрового контента быстрый 10-гигабитный NAS, ускоренный SSD-накопителями? Изучим новые технологии для работы с SSD и проведём тесты в реальных...

Изучаем шифрование памяти в процессорах AMD, или как EPYC 7000 защищает ваше облако

Как работают технологии SME, TSME и SEV, от каких угроз безопасности они защищают, какими гипервизорами поддерживаются, как закрываются баги и что об этом думают разработчики ПО и облачные провайдеры. Мы привлекли экспертов,...

ЧИТАЙТЕ ТАКЖЕ