• nav


Обзор материнской платы Asrock Rack EPC612D4U-2T8R для облачных СХД

Для хранения «холодных» данных, где важен, прежде всего, объем в терабайтах на один юнит серверной стойки, выпускаются компактные 1U корпуса, вмещающие 12 жестких дисков формата 3.5 дюйма. Интеграторы и сборщики могут использовать для этих нужд как готовые серверные комплекты, так и собирать СХД самостоятельно в специальных корпусах, таких как Chenbro RM14500.

В таких корпусах материнской плате отводится минимум места, и от неё требуется не так уж и много - иметь максимум SATA/SAS портов и быть насколько это возможно компактной, чтобы как можно больше места отдать под жесткие диски. Именно для таких целей компания ASRock Rack, серверное подразделение знакомой нам всем компании ASRock, выпускает материнскую плату EPC612D4U-2T8R под процессоры Intel Xeon LGA2011 v3.

Эта плата интересна тем, что компания-производитель интегрировала в компактный MicroATX форм-фактор 8-портовый контроллер SAS-12Gbps (чип LSI3008), два 10-гигабитных сетевых порта BASE-T на контроллере Intel X540, два слота PCI Express 3.0 16x и один PCI Express 3.0 8x. Итого, к одной Micro-ATX плате можно подключить целых 16 жестких дисков и 14 сетевых портов, что согласитесь, впечатляет!

Для обеспечения высокоскоростной связи с другими узлами на плате установлен двухпортовый сетевой контроллер Intel X540-T2 с интерфейсами типа RJ45 под медную кабельную среду. Сегодня почти все материнские платы Asrock Rack с 10-гигабитной сетью выпускаются под стандарт BASE-T, поскольку общая тенденция в системах хранения данных идет к применению обычной витой пары для сетевого подключения, а оптическая среда остается для более скоростных интерфейсов. Чип Intel X540 - не самый новый в семействе 10-гигабитных контроллеров, он не имеет энергосберегающих функций Intel Ethernet Power Management, но как и все Intel-овские 10-гигабитные чипы, поддерживает аппаратную разгрузку iSCSI, FCoE и NFS и имеет функцию SR-IOV, позволяющую разделять ресурсы платы между виртуальными машинами. На максимальной 10-гигаитной скорости, длина подключаемого кабеля 6-й категории может составлять до 55 метров, а при использовании кабеля категории 6A - до 100 метров. Сетевые порты можно объединять в группу по стандарту IEEE-802.3ad для повышения пропускной способности и отказоустойчивости.

Следующий важный элемент Asrock Rack EPC612D4U-2T8R - это 12Gb/s SAS контроллер Broadcom (LSI) 3008. Это самый простой чип в семействе SAS-12 чипов Broadcom, имеющий процессор PowerPC 476 с частотой 1.2 ГГц. Он поддерживает RAID 0,1,1E и 10, имеет шину PCI Express 3.0 8x, поддерживает тип защиты данных T-10 и технологию DataBolt, позволяющую работать на скоростях SAS-12Gb/s при использовании дисков и бэкплейнов стандарта SAS-6 Gb/s. Общая производительность контроллера заявлена на уровне 1 миллиона IOPS, так что запас скорости здесь огромный.

Кстати, продолжая тему хранения, еще 8 портов SATA-600 работают на двух SATA-контроллерах, встроенных в чип Intel C612, и устройства можно объединять в массивы RAID 0, 1, 5 и 10.

Из-за такой плотной компоновки, на материнской плате не осталось места под Ultra M2 накопитель, хотя именно здесь он бы очень пригодился для кэширования операций ввода/вывода, или для операционной системы, если планируется устанавливать Windows. Для Linux-ов, VMware и FreeBSD есть внутренний USB 3.0 Type A порт, в который можно устанавливать невысокую флешку с загрузчиком и ядром ОС. 

На плате установлено большое количество разъемов, коннекторов и целый блок джамперов. Перечислим лишь некоторые:

  • Выводы для подключения кнопки NMI (более мягкая альтернатива reset-у)
  • Колодка для подключения TPM
  • Датчик подключения термопары (TR1)
  • Выход на фронтальный VGA порт
  • Выход на два порта USB 3.0
  • Выход на два порта USB 2.0

Перезагрузка через NMI является более "мягкой" альтернативой reset-у, так как помогает избежать потери данных при интенсивной записи на диск.

Один сетевой порт LAN1 выделен для нужд удаленного управления BMC. Удаленный мониторинг возлагается на чип Aspeed AST2400 (сетевой контроллер - Realtek RTL8211E), самое распространенное серверное решение на текущий день. Фактически, хоть плата и заявлена как 3-портовая, активных сетевых портов здесь два, но их суммарной скорости в 20 Гбит/с с лихвой хватит на ближайшие 5-6 лет.

Необходимо отметить, что хоть материнская плата и имеет 3 слота PCI Express 3.0, они делят шину данных со следующими ограничениями:

  • Верхний PCI Express 3.0 16x (слот PCIE5) при включении SAS-контроллера LSI3008, переходит из режима 16x в режим 8x.
  • Нижний PCI Express 3.0 16x (слот PCIE7) делит 8 линий со средним слотом PCI Express 8x (PCIE6), поэтому при подключении туда платы расширения, переходит в режим 8x.

Форм-фактор среднего слота PCIE6 позволяет устанавливать в него длинные платы расширения, рассчитанные на 16x, но при установке материнской платы по прямому назначению, в облачные СХД, скорее всего все три слота останутся пустовать, так как ставить в них просто нечего: все что нужно, уже интегрировано на материнке.

Процессорное гнездо имеет формат Narrow ILM, что важно учитывать при выборе кулера. Для напольных серверов вы можете найти в продаже системы охлаждения Noctua NH D9DX i4 высотой 3U. С низкопрофильными кулерами, в общем-то, проблем нет - для 2U корпусов можно использовать Supermicro SNK-P0048AP4, а для 1U - Dynatron T318 или Dynatron R31.

Материнская плата имеет 4 слота DDR4 RDIMM/LRDIMM с частотами 1600/1866/2133 МГц и 2400 МГц для процессоров Xeon E5-1600/2600 V4. Максимальный поддерживаемый объем одного модуля RDIMM составляет 32 Гб, а модуля LRDIMM - 64 Гб. Если считать, что на 1 Тб дискового пространства желательно иметь 1 Гб ОЗУ под кэш и таблицы дедупликации, то этого хватит на 1U корпус, забитый 12-ю винчестерами объемом по 21 Тб каждый.

Хочется отметить поддержку 6 вентиляторов, каждый из которых подключается в 4-контактное PWM гнездо со светодиодной индикацией. Если кулер остановится, возле PWM-разъема загорится красный свет. Автоматическая регулировка процессорного кулера, как правило, держит скорость вентилятора на минимуме.

На задней панельке лишь минимальный набор выходов: два USB 2.0, два USB 3.0, три порта RJ45, VGA, RS232 и индикатор UID.

Удаленное управление

BMC поддерживает функцию виртуального рабочего стола с возможностью подключать ISO-файлы в качестве CD-ROM, флешки или дисковода, так называемая функция Virtual Media. Любой из датчиков системы, например, температуру процессора, можно открыть в качестве виджета и постоянно отслеживать его изменение на графике. При этом, сёрфинг между окнами web-интерфейса не затрагивает открытые виджеты. Программная KVM-консоль позволяет записывать видео, делать скриншоты и осуществлять дамп параметров "синего экрана смерти" для облегчения диагностики. Правда, если вы планируете использовать GPU для вывода изображения на экран, то виртуальная KVM-консоль станет недоступна, и для таких случаев лучше приобретать отдельный IP-KVM, такой как ATEN KN2124VA.

Мы протестировали скорость Virtual Media и получили примерно 3.7 Мб/с, так что гигабитное подключение здесь явно излишне, и подключив удаленный мониторинг к 100-мегабитному сетевому коммутатору, вы ничего не потеряете, напротив - это очень удобно при установке обновлений, поставляемых в качестве ISO образов для гипервизоров на FreeBSD.

Протестировав BMC в течение двух недель, скажем так - каких-то серьёзных претензий к работе устройства не возникает: курсор мышки синхронизируется практически идеально, нажатия на клавиши передаются без задержек, но вот иногда при интенсивной работе основного сетевого адаптера Intel X540, интерфейс BMC становится недоступным, и понять закономерность такого поведения не удалось. Так же хотелось бы обратить внимание, что управление питанием осуществляется в окне java-виджета, отвечающего за KVM, так что для включения и выключения сервера придётся разрешить в браузере всплывающие окна и JAVA.

Очень радует раздел аппаратного мониторинга - плата выводит показания всех сенсоров температуры, включая системную плату, встроенную сетевую карту, южный мост, модули памяти и процессор, а так же показания всех датчиков напряжения и всех скоростей кулеров, которые есть в системе. 

Итого, за функциональность системы удаленного управления можно смело ставить пятёрку: быстро, удобно и логично.

Совместимость с операционными системами

Мы проверили, насколько ASRock Rack EPC612D4U-2T8R совместима с новейшими операционными системами. Во всех случаях инсталляция проводилась через удаленное подключение к BMC с использованием Virtual Media.

  • Windows 10 x64 build 1807 - требуется установка сетевых драйверов после инсталляции
  • Windows server 2016 build 1705 - всё работает из коробки
  • VMWare ESXi 6.7 - всё работает из коробки, включая аппаратный мониторинг
  • Debian 9 Stretch initial release - всё работает из коробки
В VMware vSphere 6.7 по умолчанию был доступен аппаратный режим PCI Passthrough для сетевого адаптера Intel X540-T2, а так же для USB контроллеров и LSI 3008. Так же при физическом пробросе жестких дисков с интерфейсами SAS и SATA в гостевую операционную систему, последняя получала полный аппаратный доступ к устройству с возможностью чтения S.M.A.R.T. данных.

UEFI (BIOS)

В ASRock Rack EPC612D4U-2T8R используется AMI-BIOS с традиционным текстовым интерфейсом. Именно в общем BIOS-е настраивается встроенный SAS контроллер LSI3008, который кстати, по умолчанию работает в режиме "IT Mode", что важно для современных файловых систем, таких как Btrfs и Zfs.

Вообще, большая часть настроек относится к различным функциям CPU, последовательным портам и системе управления. Поддерживается функция пробуждения материнки из режима сна через сигнал с PCI Express, а так же по сети. Но возможности включения по сигналу с USB не предусмотрено.

Материнская плата имеет встроенный таймер Watch Dog, работающий в двух режимах - простой холодный сброс и вызов прерывания NMI. Последний рекомендуется как раз при использовании умных файловых систем с обширным кэшированием в ОЗУ. Работа таймера Watchdog требует поддержки со стороны операционной системы, и из протестированных ОС, легче всего его работы удалось добиться только в Windows Server 2016.

Тестирование

Для тестирования мы использовали компьютер следующей конфигурации:

  • Intel Xeon E5-2603 v4 (6C 15M L3, 1.7 GHz)
  • 16 Gb DDR4 ECC RDIMM
  • Noctua NH-D9DX i4 3U
  • 8 x SSD Samsung MZ-7KM480E, 480 Gb, SATA-600

Ниже представлены тесты AIDA64 для оценки производительности платы.

Проведем тестирование скорости по iSCSI и сравним время отклика на встроеном и дискретном сетевом контроллере.

Результаты тестирования

Результаты тестирования

При тестировании мы обратили внимание, что единственным сильно греющимся элементом на плате был PCH, чья температура без установленного вентилятора превышала 60 градусов Цельсия, так что если вы захотите использовать материнскую плату ASRock Rack EPC612D4U-2T8R для напольного сервера в непромышленном корпусе или для NAS-а (идеальный, кстати, вариант) - обязательно обеспечьте хороший воздухоток на радиаторы.

Цена вопроса

Средняя стоимость ASRock Rack EPC612D4U-2T8R составляет 570$. Для сравнения, розничная стоимость контроллера LSI 9300-8i на чипе LSI 3008 составляет 210$, а за сетевую карту Intel X540-T2 просят 230$. Таким образом, при сборке облачной СХД экономия на лицо.

Защита на тендерах

ASRock Rack EPC612D4U-2T8R - это уникальная материнская плата, аналогов которой не делают ни Tyan, ни Asus. Очень похожую плату X10SRM-TF производит компания Supermicro, но у неё нет встроенного SAS-контроллера. Поэтому одновременное требование поддержки 10GB LAN, SAS-12G и 3 слотов PCI Express в формате MicroATX не позволит выйти в проект с продукцией других вендоров.

Выводы

Компания ASRock Rack является специалистом по материнским платам, и самое приятное, что в модельном ряду компании есть нестандартные высокоинтегрированные решения в компактном форм-факторе. Такие платы являются универсальными, которые можно использовать и для вычислительных узлов виртуализации, и для SDS-решений, и для высокоплотных систем хранения данных, в том числе для Flash-массивов в корпусах размера 1U и выше.

Универсальный форм-фактор MicroATX позволяет устанавливать плату не только в высокоплотные корпуса полной глубины, но и в укороченные модели половинной глубины, созданные для монтажа в настенные телекоммуникационные шкафы. Такая гибкость дает возможность производителю серверов предложить заказчику уникальное решение, которое не будет иметь конкурентов в розничной продаже и сможет проходить через тендеры без риска поставки аналогов от ушлых конкурентов. Именно эта особенность делает плату ASRock Rack EPC612D4U-2T8R отличной покупкой на российском рынке.

Официальный сайт ASRock Rack - http://www.asrockrack.com

Михаил Дегтярёв (aka LIKE OFF)
21/08.2018




ПОХОЖИЕ СТАТЬИ:

Обзор материнской платы ASRock X470 Master SLI: актуально до сих пор!

Выпущенная в прошлом году, - эта плата остаётся актуальной до сих пор, ведь с релизом BIOS версии 3.30, производитель добавил поддержку Ryzen 5/7/9 на ядре Matisse, включая 105-Ваттные Ryzen 7 3800X и Ryzen 9 3900X.

...

Обзор системы хранения данных QSAN XN8012R: виртуализация + ZFS на борту!

Многие специалисты небольших организаций, достаточно чётко понимают плюсы ZFS и могут обосновать руководству экономию от программного сжатия LZ4 и дедупликации при покупке новой СХД, вот только недорогих решений под эту файловую си...

Обзор материнской платы ASRock X570 Steel Legend

И вот когда вы приценились к топовым платам на X570, продающимся по цене выше 700$, первоначальный раж сходит, и вы задаётесь вопросом, на чём можно сэкономить, и тут на глаза вам попадается наша подопечная: всё то же самое, что и ...

Решение от Tenda для бюджетного Wi-Fi в небольшом офисе

В современном мире достаточно технологий, чтобы пробросить Wi-Fi на всю территорию вашего офиса, не заморачиваясь проводами. Для таких случаев применяется сверхбюджетное оборудование от компании Tenda: не забивайте голову ненужными...

Обзор ASRock X399 Phantom Gaming K6: доступная платформа под ThreadRipper

Топовая платформа AMD Threadripper потихоньку становится всё более доступной, и вот мы уже рассматриваем материнку из ценового диапазона AM4, но под TR4, и вроде бы на ней есть всё, что нужно, так что самое время осуществить свою м...


НА ФОРУМЕ ГОВОРЯТ



НОВЫЕ СТАТЬИ
Обзор автомобильных видеорегистраторов Digma FreeDrive 109 INCAR и 109 TRIPLE

Многие автовладельцы при выборе автомобильного видеорегистратора смотрят и на количество камер – кто-то хочет записывать и обстановку в салоне, или же иметь дополнительную камеру заднего вида. Сегодня мы протестируем...

HIPER TWS Sport – TWS Bluetooth-гарнитура с классическим дизайном

Сегодня мы познакомимся с HIPER TWS Sport – это TWS наушники, имеющие старый-добрый дизайн гарнитур с заушным креплением. Достаточно крупные (по меркам TWS наушников), с хорошей автономностью, с зарядкой по microUSB...