• nav


Обзор материнской платы ASRock Rack EP2C621D12 WS для двух процессоров Xeon LGA3647

Компания Intel активно продвигает свою платформу LGA-3647 не только для серверного рынка, но и для топовых компьютеров, рассчитанных на энтузиастов, а так же для рабочих станций, оптимизированных для сложных параллельных расчётов. Образно говоря, уже сегодня эта платформа позволяет собрать рабочую машину с 56 физическими ядрами (112 CPU потоков) в одном настольном корпусе. Обычно, такая мощность требуется для каких-либо научных расчётов с высокой точностью, выполняемых на процессоре. Тем не менее, и Intel, и производители материнских плат понимают, что заказчик скорее всего будет использовать GPU или дискретные акселераторы для функций машинного обучения, поэтому процессоры Xeon Scalable в данном случае рассматриваются как единственное решение от Intel, имеющее контроллер на 48 линий PCI Exprees 3.0. Хотите подключить больше трёх GPU с интерфейсом PCI-Express 16x? Выбирайте двухпроцессорную материнскую плату, и ставьте хоть самые простые 6-ядерные Xeon Bronze 3104, у вас будет 96 линий PCI-E.

Материнская плата

 

Материнская плата EP2C621D12 WS от компании ASRock Rack - это как раз тот самый универсальный случай, когда вы выбираете платформу для машины под LGA-3647, хотите иметь большое число PCI-Express слотов и базовые на сегодня возможности для системы хранения данных. Самое главное достоинство материнской платы - это целых 7 слотов PCI Express формата 16x. Как обычно, здесь требуется пояснение: слоты PCIE 3 и PCIE 4 делят одну x16 шину и работают либо в формате x16 + 0 либо в формате x8 + x8. Слот PCIE 2 работает в режиме x8, то есть фактически остаётся 5 слотов для скорости x16, три из которых вы сможете занять 2-слотовыми GPU платами без дополнительных удлинителей.

Но помимо традиционных слотов PCI Express для плат расширения, на материнской плате EP2C621D12 WS установлены ещё и два слота M.2 с поддержкой скорости до PCIE (x4). Первый из них подключён к CPU1, а второй - к южному мосту Intel C621 PCH. Оба слота поддерживают накопители с интерфейсом SATA3 размером от Key 2230 до Key 2280. Использование PCI Express накопителей формата M.2 никак не влияет на скорость слотов для карт расширения.

PCI Express

Конечно, основная система хранения в данном случае выносится на SATA-массив. Для загрузки гипервизора на плате предусмотрены два порта для SATA DOM накопителей (красного цвета) с дополнительным питанием, но для основного массива здесь выделены 10 портов SATA 600, из которых 8 подключены к первому контроллеру SATA, а ещё два - ко второму. Суммарно же вам доступны 14 портов SATA, чего будет достаточно без преувеличения для любых нужд хранения. Материнская плата поддерживает RAID уровней 0, 1, 10 и 5 через Intel-овские драйверы.

Но поскольку материнская плата ASRock Rack EP2C621D12 WS создана всё же не для серверов, а для рабочих станций, здесь нет ни SAS контроллера, ни PCI Express портов для подключения 2.5-дюймовых SSD. Насколько это важно? С нашей точки зрения, двух M2 слотов вполне достаточно, чтобы держать операционную систему с GUI и кэшировать данные с SATA накопителей. В крайнем случае, всегда есть возможность установить плату-акселератор для 4-х M.2 накопителей.


Периферийные порты

А вот с периферийными портами ситуация, мягко скажем, странная. Вообще, рассматриваемая плата создана для рабочих станций, но на это указывает только встроенный звуковой тракт, да и то не особо качественный: кодек Realtek ALC892 уходит корнями аж в 2011-й год, на плате аналоговый тракт расположен в нижнем углу, от которого без дополнительного экранирования сигнал просто идёт через всю весьма длинную плату к 3.5 мм гнёздам, которые по своему виду, родом оттуда же, из начала 2000-х годов.

Периферийные порты

Выбор сетевых подключений ещё более странный: 4 интерфейса по 1 Гбит/с, для которых выбран редкий контроллер Marvell 88E1543, отдельный BMC-порт для удалённого управления, и всего 2 порта USB 3.0. Хорошо хоть, что этот сетевой контроллер поддерживается ESXi 6.x+, а на плате есть коннекторы для подключения фронтальных двух USB 3.0 портов и двух USB 2.0: мало, товарищи.

В общем, я считаю, что на материнке формата EEB достаточно места, чтобы установить и USB 3.1 контроллер, и я совершенно не понимаю смысла установки 4 сетевых портов в устройство, которое ну явно не хочет быть сетевым шлюзом. Нужна быстрая сеть - ставь 10/25G, BMC управление для рабочей станции вообще не актуально. В этом плане Asus C621E Sage более понятна и сбалансирована.

Пожалуй, нечего кривить душой - ASRock Rack просто незаслуженно поместила эту плату в раздел "для рабочих станций". Если смотреть на всё то же самое с точки зрения сервера, то всё понятно, кроме Marvell-овского сетевого чипа.

Схемы питания

Материнская плата поддерживает процессоры с TDP до 205 Вт, то есть все существующие на сегодняшний день Xeon-ы серии Skylake, включая топовые Xeon Platinum 8180. К каждому процессору мощность подается через 8-контактный ATX 12V разъём, но ATX 24-pin разъём здесь один, так что одного блока питания для машины будет вполне достаточно.

Разъемы питания

Для модулей памяти используется 2-фазовая схема питания с твердотельными полимерными конденсаторами марки E88E с температурным рейтингом 105 градусов Цельсия.

VRM на материнской плате

Каждый процессор имеет 6+1-фазовую систему питания с контроллером Renesas ISL69127.

С обратной стороны платы располагаются полимерные твердотельные конденсаторы, как на большинстве современных профессиональных материнских платах.

Подключение вентиляторов

Для вентиляторов тут, прямо скажем, рай: 7 сдвоенных 6-контактных разъёмов, каждый из которых имеет собственный светодиодный индикатор поломки. Плата имеет автоматическую регулировку скорости процессорных, фронтальных и корпусных вентиляторов.

IPMI управление

BMC-управление осуществляется за счёт современного чипа Aspeed AST2500, самого современного решения с нормальным HTML5 интерфейсом, совместимым в том числе с мобильными устройствами. Вам не нужно устанавливать никакого клиентского софта на компьютер оператора, не надо заморачиваться с совместимостью с браузерами - всё работает и под PC, и под MacOS, и под Linux и Android.

Из KVM интерфейса можно подключать виртуальные носители с локального компьютера, но это - прошлый век. Куда удобнее смонтировать папку на NAS-е с инсталляторами операционок и выбирать, какой образ и как подключить. Машина сканирует CIFS/NFS папку в поисках .ISO-шек и предлагает вам подключение не только в виде дискеты или CD-ROM, но и в виде HDD, чтобы можно было загружаться по сети. Правда, инсталляция показала, что Virtual Media работает со скоростью приблизительно 1.5 Мб/с, что расстраивает: прорыва не произошло, а зря, ведь это не просто метод установки ОС удаленно, но и практическая замена PXE-загрузки.

Конечно, Java-приложение тоже осталось, но теперь оно нужно только для запуска экранной клавиатуры, если например вам трудно нажать кнопки F11-F12 под MacOS.

Отдельным пунктом выделено управление питанием, отдельно - сенсоры и логи. Жаль, что в интерфейсе нет графиков, мне очень нравилось мониторить изменение температуры, но частично это компенсируется очень понятным интерфейсом просмотра логов.

BIOS

Материнская плата имеет стандартный AMI (Aptio) BIOS со стандартным набором настроек для серверных плат. Хочется обратить внимание, что на материнской плате есть функция Watch Dog, которую почему-то в workstation-модели не ставят (имеет два варианта: NMI и Reset).

В принципе, BIOS имеет всё, что нужно для серверной материнской платы, включая логи загрузки и ошибок.

Тестирование

  • Процессор: 2x Intel Xeon Gold 6146
  • Память: 32 Гб (2x16 Гб) DDR PC2400
  • Vmware ESXi 6.7
  • Debian 9

Протестируем скорость работы Virtual Media:

  • AMI Virtual CD (образ хранится на NAS) - 1512 Кб/с
  • AMI Virtual CD (образ подключается с компьютера) - 1680 Кб/с

Временами скорость подскакивает до 4 Мб/с, но это больше похоже на работу кэша. Так что для нужд BMC мониторинга обычного 100-мегабитного коммутатора будет более чем достаточно.

Выводы

У компании ASRock Rack получаются прекрасные серверные материнские платы, и если рассматривать EP2C621D12 WS как вариант для машины под научные расчёты и машинное обучение, то это лучший вариант. Здесь и 7 слотов PCI Express под платы расширения, и большое количество SATA-портов, ну в общем всё, что должно быть в современной высокоинтегрированной материнской плате.

Что понравилось:

  • Дизайн платы под стоечные корпуса с воздушным потоком, перпендикулярным портам материнки.
  • Два слота M.2, не делящих производительность с другими PCI Express портами
  • Два порта SATA DOM
  • Очень хороший IPMI/BMC интерфейс
  • Традиционный BIOS
  • 6-контактные разъёмы охлаждения для мощных вентиляторов

Что не понравилось:

  • Всего 2 USB порта на панельке платы
  • Отсутствие 10G Ethernet портов
  • Аудио интерфейс подойдет только для работы через RDP
В целом, сегодня на рынке существуют 3-4 подобные материнские платы, доступные в продаже отдельно от серверных платформ. Если вы хотите приобрести рассматриваемую материнскую плату через тендер, указывайте 7 слотов PCI Express физического формата 16x, 12 портов SATA и 4 сетевых порта. Под указанные характеристики не подпадают ни платы Asus, ни Supermicro ни Tyan, так что вы получите именно то, что вам нужно.

Михаил Дегтярёв (aka LIKE OFF)
25/03.2019




ПОХОЖИЕ СТАТЬИ:

Обзор видеокарты Palit GTX 1660 Super: тестируем новинку в задачах вычислений и машинного обучения

Новая серия видеокарт GTX 1660 Super интересна, прежде всего, памятью GDDR6, имеющей высокую пропускную способность. Это именно то, что надо для задач машинного обучения и работы в Tensorflow. Как минимум, вы можете создать собст...

Переход с Intel Xeon на AMD EPYC: развенчиваем мифы, обходим подводные камни

Рядовые сисадмины и крупные IT-директора, когда речь заходит об AMD, задают порой совершенно детские вопросы, а мы на них отвечаем. Совместимость с существующим стэком, снижение TCO, вопросы производительности и поддержки.

...

5 основных отличий рабочей станции от настольного ПК

И маленький компьютер для бухгалтера, и рендер-станцию на 6 видеокарт в понимании производителей ПК можно обозвать словом «Workstation», так что если уж руководство поставило перед вами задачу выбора «Рабочей станции», то чтобы не ...

Каковы шансы у AMD на серверном рынке? Часть 2.

Для успешного возвращения на серверный рынок AMD задумала максимально унифицировать производство, связав воедино принципы микроархитектуры Zen, идеологию чипа и финальной сборки процессоров

...

Отчёт IDC по серверному рынку за 1 квартал 2019 г: Dell, HPE падают, Inspur растёт

Весь первый квартал продажи серверов Dell и HPE в числовом выражении неуклонно падали двузначными темпами, оставляя место для роста мало известной китайской компании Inspur.

...

НА ФОРУМЕ ГОВОРЯТ



НОВЫЕ СТАТЬИ
Обзор видеокарты Palit GTX 1660 Super: тестируем новинку в задачах вычислений и машинного обучения

Новая серия видеокарт GTX 1660 Super интересна, прежде всего, памятью GDDR6, имеющей высокую пропускную способность. Это именно то, что надо для задач машинного обучения и работы в Tensorflow. Как минимум, вы можете создать...

Neffos C9 Max – недорогой смартфон с большим IPS-экраном

Мы регулярно тестируем смартфоны бренда Neffos, недавно у нас была модель X20 стоимостью 8500 рублей, а сегодня мы познакомимся с моделью чуть дешевле, за 7000 рублей – C9 Max. Это шестидюймовый смартфон с мощным...