Обзор 4-процессорного сервера Lenovo SR860 V2 на базе Intel Xeon Cooper Lake

Сегодня у нас на тестировании совершенно особенный сервер из семейства вертикально-масштабируемых систем платформы x86. Четырёхпроцессорный Lenovo SR860V2 предназначен для обработки критически важных рабочих нагрузок, таких как транзакционные и резидентные базы данных, аналитика, искусственный интеллект, машинное обучение, большие данные и задачи планирования ресурсов предприятия. Когда-то для некоторых подобных задач требовались суперкомпьютеры, а сегодня их можно переложить на одну компактную платформу высотой 4U.

Если рассматривать Lenovo SR860 V2 в числах, то значения просто поражают:

  • до 12 ТБ оперативной памяти DDR4 3200 MHz,
  • четыре 28-ядерных процессора Intel Xeon Platinum 8380H суммарной мощностью 1000 Вт,
  • четыре сетевых порта суммарной скоростью 100 Гбит/c,
  • четыре блока питания общей мощностью 6.4 КВт
  • до четырёх RAID-контроллеров, не занимающих слоты GPU
  • до 368 ТБ SSD хранилища
  • до 48 накопителей формата 2.5 дюйма
  • до 4 плат Nvidia V100s

Какой бы аспект вы ни рассматривали, здесь этого будет в несколько раза больше, чем в стандартном х86 сервере. И цена подобной системы будет соответствующая. Сервер, протестированный в нашей конфигурации, имел стоимость около 637 000$ (причём со стартовым набором SSD). И хотя с учётом партнёрских скидок для заказчика цена будет существенно ниже, это определённо самое дорогое устройство, которое попадало к нам на тестирование за последние 23 года работы.

Учитывая, что заказчики таких серверов знают, что и для чего они покупают, для них разработчики не экономят на комплектующих и на современных технологиях.

Конструкция

Конечно, было бы странно ожидать от машины стоимостью под миллион долларов каких-то ошибок проектирования, и если кто думал, что при переходе “серверного наследия” IBM к Lenovo качество проработки деталей снизится - спешу обрадовать: конструктивно это - маленький шедевр (если «маленький» можно применять к 4U махине весом 30 Кг), достойно продолжающий школу серверостроения, заложенную ещё во времена IBM. Вам понадобится отвёртка лишь единожды, чтобы открыть замочек верхней крышки корпуса, а дальше вы удивитесь, что вся эта машина собрана без единого винта, на защёлках и кронштейнах, она пересобирается голыми руками, и о возможностях кастомизации лучше всего говорит тот факт, что даже USB порты на лицевой панели вы можете заменить на другие: как говорится, любой каприз за ваши деньги!

Lenovo SR860V2

Обычно вы представляете себе, что в 4-процессорном сервере все CPU установлены в ряд на одной материнской плате, но здесь всё иначе: два процессора расположены на основной материнской плате, а ещё две - на дополнительной плате, что устанавливается над первыми двумя CPU. Да, 4-юнитовый корпус редко когда так столь эффективно использует вертикальное пространство: обычно оно пустует, но здесь перед разработчиками стояла задача разместить 48 слотов памяти - и они её выполнили таким изящным способом. Вы только посмотрите на итоговую компоновку корпуса: здесь вы можете устанавливать платы расширения любой длины, потому что в процессоры они не упираются, а располагаются над ними. Конечно, такая компоновка - оказывается очень неудобной при поломке чего-либо, и например, чтоб получить доступ к слоту памяти на нижних процессорах, или к нижним платам PCI Express, вам надо разобрать весь сервер: вытащить два SSD сзади корпуса, убрать все платы расширения, вытащить суперконденсатор RAID адаптера (при наличии), отключить кабель SATA рамки с райзером, снять верхнюю рамку с райзером, отстегнуть кабели от лотка с процессорами (о них чуть ниже), снять сам лоток, - и уж тогда вам откроется доступ к нужному устройству. После чего - собрать всё в обратной последовательности. Справедливости ради стоит сказать, что в таких машинах, как SR860 V2 “незапланированный простой” случается реже, чем в обычных 1- и 2-сокетных серверах: встроенные системы мониторинга с предиктивным анализом (о них чуть позже) заранее предупреждают о возможном выходе из строя компонента, а в реальных боевых условиях работа оборудования дублируется, так что вместо “внеплановой замены” все операции проводятся в спокойном режиме, в запланированное время, без остановки рабочих процессов.

Интересно, что контактные группы шины UPI между двумя частями материнки - просто огромные, разработанные специально для данной конструкции, и нигде больше не встречающиеся. Чтобы снизить число разъёмных контактов, шины NVMe от процессоров к дисковым корзинам проброшены толстыми кабелями, напоминающими SAS.

Система охлаждения

При таком уникальном расположении процессоров, как-то слишком примитивно выглядят радиаторы, а ведь каждый Intel Xeon 8380H потребляет до 250 Вт. Радиаторы имеют высоту 1U, что казалось бы странным в любом другом, но не этом сервере: здесь 4 процессора уже занимают половину высоты корпусного пространства, а над ними - отсек для плат расширения. Конечно, чтобы отвести тепло в такой плотной конструкции, требуется мощный воздушный поток.

За охлаждение Lenovo ThinkSystem SR860 V2 отвечает блок из 8 сдвоенных 60-мм вентиляторов, расположенных в 2 уровня, причём не симметрично. На верхнем уровне - всего 2 вентилятора, а 6 - на нижнем. Вентиляторы имеют функцию горячей замены, а сам блок с ними может легко сниматься «на холодную». Для 2-процессорных конфигураций система охлаждения представлена одинарными вентиляторами с меньшей мощностью. Само расположение и конструкция вентиляторов для меня выглядят в диковинку: у меня нет сомнений, что разработчики моделировали воздушные потоки, используя неизвестные науке формулы и эффекты, потому что как иначе можно было разместить сквозное отверстие вместо третьего вентилятора на верхнем уровне? И ведь сработало же - процессор напротив этого отверстия всегда оказывается холоднее остальных в сервере.

Каждый вентилятор независимо мониторится и регулируется контроллером сервера. В нашей статье про "Эпичный хостинг" мы обратили внимание, что покупатель самых теплонагруженных конфигураций не застрахован от перегрева, особенно на самых топовых процессорах, к коим и относятся установленные здесь Intel Xeon 8380H. Дело в том, что максимальную загрузку CPU обеспечить не так уж и просто: большинство приложений в той или иной степени упираются в сеть, подсистему хранения данных или особенности программного кода и дают процессорам время на отдых, поэтому даже запуская синтетические Burn-In тесты OCCT или известный всем Cinebench R23, загрузить имеющиеся здесь 112 ядер на полную мощность не получается - в этих тестах температура CPU едва ли перешагивает за 56 градусов Цельсия. Совсем другое дело - масштабные расчёты, активно использующие и шину памяти, и вычислительные блоки, и межсокетную шину. В нашем случае такую нагрузку даёт только финансовый софт, а именно моделирование торговых роботов в программе MetaTrader 5, который сейчас мы можем задействовать для проверки машины на перегрев, наблюдая температурный режим в удобном разделе энергопотребления Lenovo XClarity Controller.

Ещё раз обращаю внимание, что во всех тестах температура 4-го процессора значительно ниже остальных из-за отверстия в панели с вентиляторами, но в целом же, при окружающей температуре 25-26 градусов, удаётся обойтись без троттлинга процессоров, и перегреть машину не удаётся.

Вычислительная подсистема

Самое интересное в рассматриваемом сервере - это, конечно, 4 высокопроизводительных процессора Intel Xeon Platinum 8380H с архитектурой Cooper Lake. Каждый из процессоров имеет 28 ядер плюс поддерживает Hyper-Threading, что суммарно даёт 224 потока. Номинальная частота 1 ядра составляет 2.9 ГГц, а максимальная - 4.3 ГГц, кэш равняется 38.5 МБ, а максимальная мощность - 250 Вт.

В последние 2 года Intel сталкивается с определенным трудностями и вызовами современности. Во-первых, это “тени прошлого” в виде уязвимостей семейства MeltDown / Spectre, исправление которых приводило к замедлению некоторых операций. Во-вторых - это постоянно возрастающее энергопотребление процессоров, которое удорожает подсистему охлаждения и питания топовых моделей серверов. И тут, конечно, новая архитектура Cooper Lake может считаться маленькой победой: эти процессоры неуязвимы к атакам Meltdown & Spectre на аппаратном уровне, так что если вы раньше отключали защиту в угоду более высокой производительности - теперь вам не нужно об этом беспокоиться. Если говорить про энергосбережение, то конечно Intel из кожи вон лезла, чтобы максимально снижать тепловой пакет, будучи ограниченной 14нм техпроцессом. Конечно, максимальная частота заявлена на уровне 4.3 ГГц, но с оговоркой, что она зависит от степени загруженности ядер. Чтобы выяснить, как именно настраивается частота, возьмём в руки тестовую программу CPU-Z, которая неравномерно распределяет потоки стрессовой нагрузки, сначала полностью загружая лишь один процессор, и лишь потом переходя к следующему. Это именно то, что нам надо, чтобы понять частотную матрицу Xeon Platinum 8380H.

Образно говоря, если ваша операционная система хорошо распределяет потоки между сокетами, то в Lenovo SR860 V2 можно увидеть, как 8 потоков будут работать на ядрах с частотой 4.3 ГГц, если они достались 4-м процессорам, ну а если одному, то - почти 4 ГГц, что в общем-то, тоже неплохо. Но обычно, в задачах, где параметр Affinity не задаётся напрямую, предсказать распределение потоков невозможно, и рассчитывать нужно на что-то среднее, около 4 ГГц.

В 4-процессорной конфигурации используется 6-канальная UPI топология, так что каждый из процессоров связан с любым другим напрямую двумя межпроцессорными каналами с максимальной пропускной способностью 10.4 GT/s. Быстрая межсокетная шина позволяет архитектуре Cooper Lake эффективно выполнять высокопараллельные задачи, к которым например, относится реализация алгоритмов вывода искусственного интеллекта.

Как и что мы сравнивали:

Признаюсь честно, у нас нет в наличии сервера, который мы могли бы противопоставить 4-головому монстру от Lenovo. Я запросил наших партнёров, которые имели в распоряжении мощные серверы для сравнения, в том числе 2-процессорную машину на EPYC 7742, но никто не решился участвовать в сравнении. У нас в наличии есть AMD EPYC 7751p первого поколения, который я всё же решил добавить в некоторые тесты не для сравнения, а для понимания масштабов, чтобы вы могли, опираясь на что-то, делать выводы: много это или мало.

OS:

  • VMWare ESXi 7.01

Компания Intel уже давно ратует за использование фреймворков TensorFlow и PyTorch на CPU как минимум в задачах, когда уже готовую модель ИИ нужно применить на практике, а доступа к GPU нет. Для этих целей Intel создала свою среду разработки OpenVINO, цель которой - реализация Python-приложений с нейросетями на CPU. Давайте протестируем одну из задач - "проверка точности" на базе набора данных Resnet 50.

Конкретно в случае Resnet50 результаты тестирования демонстрируют, что какие-то задачи Intel вполне может отбить у Nvidia и вынести на CPU. Конечно, читатель будет прав в том, что с экономической точки зрения запуск Pytorch и Tensorflow на CPU нецелесообразен, и спорить на этот счёт можно бесконечно. Совсем другое дело - когда фреймворк не использует Python, а реализован только на архитектуре x86.

Позвольте сделать небольшое лирическое отступление и поговорить о трейдинге: пожалуй, каждому из нас поступали предложения купить робота для торговли на Forex, фондовом или криптовалютном рынке. Финансовая сфера, где торговые роботы действуют по заранее заданному алгоритму называется "алготрейдинг", и ведёт свою историю с 80-х годов прошлого века. К слову, алготрейдинг - это вершина эволюции в финансово-компьютерном мире, и этот мир в своём развитии на десятки лет опережает всю остальную индустрию. К слову, сейчас из каждого утюга доносятся хвалебные песни нейронным сетям и машинному обучению, так вот - алготрейдинг пережил эту волну где-то в 2008-2010 годах, а сейчас там в ходу квантовые алгоритмы с постоянным дообучением. На деле это выглядит следующим образом: в вычислительный кластер стекаются посты из социальных сетей, ролики из YouTube и CNN, комментарии с форумов и данные с котировок всех торговых пар за всю историю торговли. В реальном времени машина проводит оптимизацию параметров с учётом вероятностей движения рынка, настроения толпы, денежного объёма и прочих значений, которых могут быть сотни и формирует свою торговую стратегию. И, как правило, такие расчёты выполняются на высокопроизводительных вычислительных узлах с высокоскоростными интерфейсами и огромным объёмом памяти, и даже на квантовых компьютерах, ведь удачные трейдеры не стеснены в средствах, и могут позволить себе любое оборудование.

MetaTrader 5

К счастью, чтобы прикоснуться к миру алготрейдинга, не нужно иметь миллионы долларов на счетах. Бесплатная торговая платформа MetaTrader 5, разрабатываемая нашими соотечественниками, сегодня стала стандартом де-факто для алгоритмической торговли и поддерживается всеми без исключения Forex-площадками. И пусть это выглядит как реклама, но адепты алготрейдинга научились прикручивать к торговым роботам MetaTrader 5 сторонние библиотеки, в том числе с использованием нейросетей. Мне же особо доставляет удовольствие видеть, как в процессе обучения роботов, MetaTrader 5 выжимает все соки из сервера, и там, где раньше для расчётов требовались дни и недели, сегодня требуются часы. Я проводил оптимизацию на основе стратегии Боллинджера и индикатора RSI, используя в качестве Big Data данные 15-минутного таймфрейма за последние 10 лет. Был реализован перебор 9842 параметров с критерием оценки "максимальная прибыльность".

А это значит, что существующую модель можно дообучать, дооптимизировать и перезапускать в течение торговой сессии - вот, что имеет ввиду Lenovo, когда говорит, что 4-процессорный сервер SR860V2 предназначен для трейдинга. Это вам не HFT-приложения, которые сейчас уходят на FPGA - здесь даже наш простенький тест по торговой паре EUR/USD с использованием истории торгов за последние 10 лет, задействовал 120 ГБ ОЗУ, и чем сложнее алгоритм торговли, тем выше будет нагрузка на машину, и решить эту задачу в облаке уже просто не удастся из-за высокой нагрузки на RAM.

Вообще, если посмотреть на частотную ёмкость сервера, равную 319 ГГц, то понимаешь, что любой Cloud провайдер не раздумывая продал бы душу за такой мощный хост (о том, почему облачные хостеры используют общую частоту сервера читайте в нашей статье про "Эпичный хостинг"), но вертикально масштабируемые системы в их бизнесе не востребованы из-за непомерно высокой цены: два 2-процессорных сервера будут стоить значительно дешевле одного 4-процессорного. Тем не менее, при выборе системы виртуализации обратите внимание, что и архитектура Cooper Lake, и дисковые контроллеры и сетевой стек в машине от Lenovo требуют новейших операционных систем: для Windows - это Server 2019, для Linux - ядро от 5.x и выше, а для VMware - ESXi 7.0.1, а для старых операционных систем уже нет драйверов. Стоит отметить, что в последнее время это стало обычной практикой как для аппаратных, так и программных вендоров корпоративных систем: новейшее железо требует установки новейших версий ПО.

Если вы ограничены использованием старых операционных систем (например, ввиду наличия сертификатов), то спасает новый гипервизор: даже Windows Server 2008, 2016 и Windows 10 нормально работают под ESXi 7.01.

Я знаю, что читатели не простят мне, если я не проведу тестирование "десктопным" пакетом Cinebench R23, чтобы вы могли сравнить Hi-End сервер со своим ноутбуком, и вот вам сумасшедшие 73-80 тысяч очков.

Много ли это? В количественном выражении - это огромные цифры, но в сравнительном - где-то возле абсолютного рекорда, установленного на момент тестирования одним-единственным десктопным процессором AMD Threadripper 3990. Вообще, задача рендеринга изъезжена вдоль и поперёк, и даже если смотреть на энергопотребление машины, то не раскрывает весь заложенный в сервер потенциал, а вот софт для моделирования - вполне.

Подсистема памяти

Каждый из 4 процессоров Intel Xeon 8380H имеет 6-канальный контроллер памяти DDR4-3200 MHz, итого можно сказать что машина общается с подсистемой памяти по 24 каналам, и вот здесь AMD нечем крыть: даже новейшие EPYC 7xx3 на ядре Milan могут иметь максимум 16 каналов памяти в 2-процессорных машинах.

Обратите внимание, что процессоры Intel Xeon с индексом H, такие как наш тестовый 8380H, позволяют установить до 1.125 ТБ ОЗУ на CPU, а модели с индексом HL - до 4.5 ТБ. Во всей документации к серверу, Lenovo называет память словом TruDDR4, и я считаю нужным отметить, что это чисто маркетинговый термин, означающий, что перед установкой в сервер, память подверглась селекции, и были выбраны лучшие из лучших чипов, ну а технически же - это просто DDR4-3200, без каких-либо нововведений. Так же сервер поддерживает энергонезависимую память Intel Optane Memory 200 в режиме App Direct.

Вообще, я считал, что Redis не может масштабироваться выше 1.2 млн транзакций в секунду, но 4-процессорный сервер сумел меня разубедить. Я рекомендую вам обратиться к нашему тестированию Redis на сервере с двумя топовыми AMD EPYC 7742, где мы не дотянули даже до 1 млн TPS. Всё дело в том, что Redis пока что находится в состоянии развития, и производительность базы данных очень сильно зависит от версии сборки и операционной системы, поэтому я не могу в одной диаграмме показать, как на 2-процессорном сервере AMD мы стоим на уровне 1 млн транзакций в секунду, а на 4-процессорном - на уровне 2.2 млн транзакций в секунду, но вообще-то так и есть, чем ближе софт будет подходить к возможностям железа, тем сильнее будет разница между 16-канальным и 24-канальным доступом к памяти на уровне хоста.

В реляционных базах данных всегда остро стоит вопрос времени доступа к таблице, и чтобы учитывать вычислительные мощности процессоров, мы используем MariaDB 10.3 с тестовой таблицей, содержащей 100 миллионов записей.

И вполне закономерно, что сервер легко справляется с нагрузкой на чтение - можно сказать, что до 32 одновременных запросов на чтение к такой большой таблице обрабатываются с задержкой меньше 4 мс, а до 32 потоков - вообще за полторы миллисекунды. Практически, конечно, вся тестовая таблица может уместиться в памяти машины, но на практике скорость будет упираться в дисковую подсистему.

Подсистема хранения

Всего в сервере имеются 48 слотов для установки HDD/SSD формата 2.5 дюйма и толщиной 15 мм с фронтальной стороны, а также - два SSD толщиной 7 мм с тыльной части. Как правило, эти 7-мм диски используются для загрузки полноценной операционной системы или гипервизора, и если вам необходимо, то вы можете установить туда как SATA, так и NVMe модели, а можете и вовсе выбрать пару внутренних M.2 накопителей вместо или вместе с парой 7-мм, установив для этой цели соответствующий райзер. Пару загрузочных дисков (как SATA, так и M.2) можно объединять в RAID массив.

Фронтальные SSD объединены в корзины по 8 штук, и при конфигурации вам доступны как SAS, так и NVMe накопители с полной полосой пропускания (каждый 4x диск имеет 4x шину). Для того, чтобы смешивать в одной системе накопители с интерфейсами SAS/SATA и NVMe, компания Lenovo разработала универсальные бэкплейны Anybay на 8 дисков, установленные в верхнем блоке фронтальной панели под накопители. Поскольку физически порты SAS, SATA и NVMe идентичны, тип подключения определяется кабелем и осуществляется либо к SAS контроллеру, либо к разъёму возле процессора. В одном сервере SR860V2 могут быть установлены 3 бэкплейна Anybay, то есть суммарное максимальное количество NVMe дисков может составлять 24 штуки.

Непосредственно к процессору могут быть подключены до 16 NVME SSD (по 4 на каждый из CPU), а для установки оставшихся 8 NVME дисков, вам потребуются адаптеры Lenovo 1610-8P, на каждый из которых можно повесить по 4 SSD.

В корпусе сервера выделено место для размещения 4-х суперконденсаторов от различных контроллеров хранения, как с внешними портами, так и с внутренними. Помимо вышеназванных моделей 1610-8p для NVME дисков, вам доступны RAID/HBA-адаптеры с плотностью портов до 16x SAS-12 и 32-портовый RAID адаптер 940-32i с внушительным 8 ГБ кэшем. Поставщиками RAID выступает LSI / Avago / Broadcom, и по умолчанию поддерживаются как простые, так и сложные массивы уровней 50 и 60.

На момент подготовки обзора, сервером поддерживались SSD объёмом до 7.68 ТБ, а так же 2.5-дюймовые HDD, а в качестве OEM-поставщика выступает Samsung, в частности в нашем сервере были установлены SSD MZILT3T8HBLSV3 и MZILT3T8HBLQV3 серии Samsung PM1643a. В плане скорости ничего особенного накопители из себя не представляют, поскольку подразумевается, что для высокой производительности будет установлен кэш из Intel Optane или других SSD с интерфейсом PCI Express.

В нашем тесте ElasticSearch сервер SR860 V2, к сожалению, никаких высот не добился:

$ esrally --distribution-version=7.6.0 --track=http_logs --challenge=append-no-conflicts-index-only --user-tag="Lenovo:SR860V2"

------------------------------------------------------
    _______             __   _____
   / ____(_)___  ____ _/ /  / ___/_________  ________
  / /_  / / __ \/ __ `/ /   \__ \/ ___/ __ \/ ___/ _ \
 / __/ / / / / / /_/ / /   ___/ / /__/ /_/ / /  /  __/
/_/   /_/_/ /_/\__,_/_/   /____/\___/\____/_/   \___/
------------------------------------------------------
            
|                                                         Metric |         Task |       Value |   Unit |
|---------------------------------------------------------------:|-------------:|------------:|-------:|
|                     Cumulative indexing time of primary shards |              |     302.233 |    min |
|             Min cumulative indexing time across primary shards |              |           0 |    min |
|          Median cumulative indexing time across primary shards |              |     2.86752 |    min |
|             Max cumulative indexing time across primary shards |              |     44.2129 |    min |
|            Cumulative indexing throttle time of primary shards |              |           0 |    min |
|    Min cumulative indexing throttle time across primary shards |              |           0 |    min |
| Median cumulative indexing throttle time across primary shards |              |           0 |    min |
|    Max cumulative indexing throttle time across primary shards |              |           0 |    min |
|                        Cumulative merge time of primary shards |              |     86.0147 |    min |
|                       Cumulative merge count of primary shards |              |        1891 |        |
|                Min cumulative merge time across primary shards |              |           0 |    min |
|             Median cumulative merge time across primary shards |              |    0.336142 |    min |
|                Max cumulative merge time across primary shards |              |     16.0277 |    min |
|               Cumulative merge throttle time of primary shards |              |     44.8813 |    min |
|       Min cumulative merge throttle time across primary shards |              |           0 |    min |
|    Median cumulative merge throttle time across primary shards |              |   0.0247833 |    min |
|       Max cumulative merge throttle time across primary shards |              |     9.44482 |    min |
|                      Cumulative refresh time of primary shards |              |     7.15938 |    min |
|                     Cumulative refresh count of primary shards |              |        2528 |        |
|              Min cumulative refresh time across primary shards |              | 3.33333e-05 |    min |
|           Median cumulative refresh time across primary shards |              |   0.0824833 |    min |
|              Max cumulative refresh time across primary shards |              |    0.979233 |    min |
|                        Cumulative flush time of primary shards |              |     3.01417 |    min |
|                       Cumulative flush count of primary shards |              |         115 |        |
|                Min cumulative flush time across primary shards |              |           0 |    min |
|             Median cumulative flush time across primary shards |              |  0.00926667 |    min |
|                Max cumulative flush time across primary shards |              |     0.54535 |    min |
|                                             Total Young Gen GC |              |     166.775 |      s |
|                                               Total Old Gen GC |              |       21.47 |      s |
|                                                     Store size |              |     25.2233 |     GB |
|                                                  Translog size |              | 2.04891e-06 |     GB |
|                                         Heap used for segments |              |     85.2323 |     MB |
|                                       Heap used for doc values |              |    0.104988 |     MB |
|                                            Heap used for terms |              |     77.6266 |     MB |
|                                            Heap used for norms |              |   0.0402832 |     MB |
|                                           Heap used for points |              |           0 |     MB |
|                                    Heap used for stored fields |              |     7.46045 |     MB |
|                                                  Segment count |              |         660 |        |
|                                                 Min Throughput | index-append |      179549 | docs/s |
|                                              Median Throughput | index-append |      181855 | docs/s |
|                                                 Max Throughput | index-append |      183250 | docs/s |
|                                        50th percentile latency | index-append |     193.853 |     ms |
|                                        90th percentile latency | index-append |     292.794 |     ms |
|                                        99th percentile latency | index-append |     491.719 |     ms |
|                                      99.9th percentile latency | index-append |     847.012 |     ms |
|                                     99.99th percentile latency | index-append |     1013.85 |     ms |
|                                       100th percentile latency | index-append |     1072.59 |     ms |
|                                   50th percentile service time | index-append |     193.853 |     ms |
|                                   90th percentile service time | index-append |     292.794 |     ms |
|                                   99th percentile service time | index-append |     491.719 |     ms |
|                                 99.9th percentile service time | index-append |     847.012 |     ms |
|                                99.99th percentile service time | index-append |     1013.85 |     ms |
|                                  100th percentile service time | index-append |     1072.59 |     ms |
|                                                     error rate | index-append |           0 |      % |

То же самое можно сказать про связку 1С + MS SQL в многопоточном тесте Fragster:

И ElasticSearch, и 1C Предприятие - это те задачи, которые в случае с рассматриваемым сервером можно вынести на отдельные виртуальные машины и запихнуть куда-нибудь в стэк, выделив им ну 16, ну или 32 ядра максимум, а остальную мощность задействовать для более ресурсоёмких задач.

Сетевая подсистема

Сервер предлагает несколько вариантов установки сетевых карт: в один слот формата OCP с интерфейсом PCI Express 3.0 x16 или во множество стандартных PCIe слотов. Вариантов плат, устанавливаемых в OCP слот, аж 10 штук: от 4-портовой 1-гигабитной Broadcom 5719 и до 25-гигабитной топовой 2-портовой Mellanox ConnectX 6. В нашем случае было установлено самое простое решение от Broadcom, и под VMWare ESXi 7 эта карта определялась как USB Ethernet адаптер и отказывалась работать, так что пришлось подключать через высокоскоростные адаптеры, которыми комплектовалась тестовая машина.

В стандартные PCIe слоты на выбор предлагается почти всё, что создала индустрия: Lenovo имеет в своём арсенале по 4 разных контроллера для каждого из порога скоростей: 100/200, 25 и 10 Гбит/с, а для 1-гигабитного подключения аж 5 вариантов контроллеров. В нашем случае в сервер были установлены 2 контроллера Mellanox Connect X-4, имеющие по паре 25-гигабитных портов, но почему-то в конфигураторе серверов нет SmartNIC адаптеров, а ведь сегодня это самое новое, что предлагает индустрия.

Установка GPU

Что касается GPU, то в сервер SR860 V2 установить можно адаптеров много, но выбора мало: либо 8 адаптеров вывода ИИ (Nvidia Tesla T4 с пассивным охлаждением), либо 4 адаптера для машинного обучения (Nvidia Tesla V100S с пассивным охлаждением). Если же не зацикливаться на списке совместимости, то огромное внутреннее пространство позволяет устанавливать и ASIC и FPGA платы. Для установки GPU требуются специальные райзеры, а так же следует позаботиться о запасе по мощности, хотя в этом плане у сервера полный порядок.

Подсистема питания

Сервер Lenovo SR860v2 имеет 4 блока питания мощностью по 1800 Вт каждый с уровнем энергоэффективности 80 Plus Platinum, которые могут работать в разных режимах: N+1, N+2 или без резервирования, обеспечивая суммарную мощность до 7.2 КВт.

В менеджере настроек сервера имеется возможность ограничения мощности, которая может потребоваться, если нужно жёстко вписаться в бюджет питания на серверную стойку.

Мониторинг и UEFI

Lenovo SR860 V2 имеет современную систему мониторинга с интеграцией в гипервизор. Во-первых, для On-Site ситуаций здесь установлен выдвигающийся LCD экран, на котором отображается состояние системы и IP-адрес веб-интерфейса XClarity, в котором в единой системе управления собраны и настройки RAID, и функционал для обновления прошивок, и собственно мониторинг, а также удобное меню выбора загрузочной ОС, в которой легко ориентироваться, если у вас установлены несколько операционных систем с UEFI загрузчиком. Очень интересно, что тип RAID можно изменять на лету, без перезагрузки машины, то есть совершенно не обязательно устанавливать в операционную систему управляющий софт.

Для любителей диаграмм и графиков здесь в красивом HTML5 интерфейсе показано энергопотребление различных компонентов, и что более важно - загрузка подсистем. Подключение к консоли поддерживает многопользовательский доступ и использование загрузчика на компьютере оператора.

В сервере Lenovo SR860V2 работает система предсказания сбоев аппаратных компонентов, которая позволяет выявить потенциально неисправный компонент еще до выхода его из строя. При этом сообщения/события/срабатывания этой системы являются гарантийным сервисным случаем, то есть готовый к поломке, но ещё работающий накопитель, вам заменят по гарантии. Система предсказания сбоев интегрируется в VMware vCenter и Microsoft System Center, поддерживая мониторинг процессоров, цепей питания VRM, внутренних накопителей всех типов, вентиляторов, блоков питания, и RAID контроллеров, а также температур окружающего воздуха, ведь вопрос охлаждения для такой теплонагруженной машины крайне актуален.

Единственное, к чему можно придраться - это очень долгое прохождение POST-тестов UEFI, особенно при первом включении. Но это - плата за огромный объём ОЗУ, который нужно протестировать перед запуском.

Заключение

Сегодня в крупных государственных и частных компаниях при проектировании инфраструктуры, рассматривается диверсификация процессорной архитектуры, о чём мы рассуждали в статье про диверсификацию поставщика CPU. Одной из задач ставится переход с платформ Power на более распространённую x86, где ниже санкционные риски, более низкая оплата обслуживающего персонала и проще разработка программного обеспечения.

Lenovo SR860 V2 как раз и выступает таким кандидатом на построение инфраструктуры с вертикально-масштабируемыми узлами, где требуется унификация, диверсификация и устойчивость к политическим рискам.

Что понравилось

С точки зрения конструкции я снимаю шляпу перед разработчиками, создавшими шасси, в которых процессоры устанавливаются друг над другом, а над ними остаётся ещё и место для GPU/FPGA плат расширения. Приятно видеть, что после перехода бизнеса х86 из IBM в Lenovo, последняя продолжает выпускать интересные конструкторские решения с удобной системой мониторинга. Я бы не удивился, если бы где-то внутри сервера попалась табличка с именем мастера, как это бывает в дорогих автомобилях. В то же время, сохраняя объективность, мне есть и за что поругать разработчиков.

Что не понравилось

В частности, мне не понравилось, что встроенная сетевая карта формата OCP не может работать как полноценный сетевой интерфейс в VMware ESXi 7.01 (то есть вообще непонятно для чего остаётся нужна), возможно, эта функция будет поддерживаться в следующих версиях ПО. Также я считаю расточительством отдавать всю лицевую панель под толстые 15-мм накопители, применение которых оправдано в двухконтроллерных СХД, но не в серверах.

И всё же независимо от моих претензий, мне приятно, что мир вертикально масштабируемых систем не исчез под натиском облачных сред и всеобщей унификации, а продолжает развиваться, предлагая корпоративным пользователям аппаратные платформы для самых ресурсоёмких задач.

Михаил Дегтярёв (aka LIKE OFF)
23/03.2021


Похожие статьи:

Обзор Lenovo ThinkAgile VX3320 - гиперконвергентное решение для упрощённого развёртывания vSAN в масштабах предприятия

Гиперконвергентные системы стремительно набирают популярность и уже становятся стандартом для построения платформ виртуализации в корпоративной среде. Компания Lenovo выпустила специальную серию серверов для установки и запуска VMware vSAN с...

Обзор QNAP TS-h1886XU-RP: знакомимся с операционной системой QuTS hero на основе ZFS

Теперь у заказчиков появилась возможность использовать ZFS в СХД начального уровня: теперь у вас есть возможность совместить дедупликацию и SAN-подключение через FC, настроить кеширование Cloud-хранилища на локальном диске и син...

Обзор Synology FlashStation FS6400 - тестируем скорость в 1С и знакомимся с брендированными SSD Synology

Новый флагман корпоративного сегмента от Synology, модель на двух процессорах Xeon Silver с 24 отсеками для SSD и встроенной виртуализацией. Мы протестируем, как на ней работает 1С Предприятие, и познакомимся с новыми брендированными SSD от Syn...

Самые необычные серверные корпуса

Серверные корпуса не всегда были такими унылыми и однообразными. В этой статье мы рассмотрим самые необычные решения для монтирования вашего вычислительного оборудования в стойку, и кто знает, может быть вы захотите чуть разнооб...

Эпичный хостинг: изучаем как AMD меняет рынок VDS-хостинга на примере компании VDSina.ru

Сегодня хостеры могут размещать до 1024 виртуалок на одной машине, что позволяет им демпинговать, наращивая клиентскую базу в условиях жёсткой конкуренции. Мы выясним, почему 64-ядерные процессоры AMD EPYC лежат в основе новог...