• nav


Обзор системы хранения данных QSAN XN8012R: виртуализация + ZFS на борту!

Сегодня многие технические специалисты считают, что ZFS - это что-то, работающее только под FreeBSD, в кластерах, с настройкой из командной строки, и простым смертным туда лучше не соваться, ибо это - удел избранных. На самом деле - нет, и даже порт ZFS On Linux уже дошёл до того уровня стабильности, когда его используют в масштабируемых production-grade аппаратных решениях. И многие сисадмины небольших организаций, достаточно чётко понимают плюсы ZFS и могут обосновать руководству экономию от программного сжатия LZ4 и дедупликации при покупке новой СХД, вот только недорогих решений под эту файловую систему не было. Но свято место пусто не бывает, и компания QSAN решила объединить в одном устройстве всё то, что мы любим в Linux и всё то, что ценим в ZFS.

За что мы любим ZFS? За снэпшоты, дедупликацию и абсолютную надёжность, подаренную нам компанией Oracle. А за что не любим? За FreeBSD, которая умеет делать что-то одно, но застряла в своём развитии где-то в первой декаде 21 века, а значит совершенно не подходит для NAS.

Почему?

Да потому что современный NAS - это не только файлохранилка, но и сервер приложений, на котором выполняются контейнеры, виртуальные машины, базы данных и собственные программы. Мало кто из производителей NAS-ов готов разрабатывать софт под FreeBSD, в том числе и из-за лицензий, а под Linux - пожалуйста: тут тебе и отлаженный гипервизор, и отличная ситуация с драйверами и регулярно обновляемое ядро.

Тестовый стенд

Конфигурация тестового стенда:

Программное обеспечение:

  • VMware ESXi 6.5
  • Windows Server 2016
  • IOmeter с паттернами реальных задач

QSAN XN8012R:

  • Версия прошивки 3.1.6
  • HDD: 3 x Seagate IronWolf 14 Tb, RAID5, Gzip=On
  • SSD: 3 x Kingston 1.92 Tb, 3x RAID5, Gzip=On
  • Интерфейс: Intel X520-DA2

Наверное, именно так и думали разработчики из компании QSAN, старейшего производителя СХД начального уровня. Они решили, что современные процессоры уже готовы к обработке всех прелестей ZFS: память дешевеет, SSD диски - тоже, а значит можно сделать NAS, аналога которому нет на рынке. Раньше мы не тестировали продукцию QSAN, и тем интереснее будет познакомиться с задумкой её авторов: здесь всё иное - иная идеология, иная конструкция… ну не будем затягивать.

Qsan XNR8012

Это одноконтроллерный NAS на базе 4-ядерного процессора Intel Xeon частотой 3.3 ГГц, Головное устройство имеет 12 отсеков для 3.5-дюймовых SATA накопителей плюс 4 отдельных отсека для SATA SSD плюс 2 отсека для NVME SSD 2.5, плюс - 2 отсека для плат расширения, и это - только касаемо «железа». Что же до софта, то производитель обещает многоуровневое хранение (Tiering), поддержку SSD кэширования, встроенную виртуализацию, бэкап в облако и все прелести ZFS, включая сжатие, дедупликацию и прославленную надёжность.

Особенности конструкции

Чтобы уместить в один корпус 12 накопителей большой ёмкости и 6 высокой скорости, разработчики QSAN XN8012R отсеки для SSD разместили с тыльной стороны корпуса. Это очень смелое решение, позволяющее максимально задействовать место в 2U корпусе, но оно имеет некоторые особенности. Дело в том, что накопители, установленные на выходе воздушного потока, имеют свойство перегреваться, и чтобы этого не происходило, QSAN установил отдельный вентилятор на их корзину.

Причём, если для 2.5-дюймовых 7-миллиметровых SATA SSD охлаждение может быть и не нужно, то для 15-миллиметровых NVMe SSD, коих здесь может быть две штуки, это уже обязательное условие для эксплуатации.

Два типа SSD нужны для более точной настройки Tiering-а: обычные HDD представляют собой нижний уровень производительности, SATA SSD - средний, а NVMe SSD - наивысший. Для каждого слоя может использоваться свой RAID-массив, причём именно понятный всем RAID 5/6, а не загадочный RAID Z1/Z2/Z3. Использованию стандартной терминологии можно только порадоваться, но об этом чуть позже.

Я не знаю, кому пришло в голову такой серьёзный NAS поставлять с 1-гигабитными сетевыми интерфейсами. Причём смотрите - под каждым из 4-х RJ45 портов установлен USB 3.0 порт. Сказать, что это неудобно - всё равно, что не сказать ничего, благо, СХД имеет два низкопрофильных слота расширения: PCI-E Gen3 x8 и Gen3 x4, в которые мы поставим две 10-гигабитные сетевые карты, Intel X550-T2 для меди и Intel X520-DA2 для DAC. Хотя QSAN рекомендует использовать свои адаптеры (судя по фото - перемаркированный Intel), с родным Intel-ом у нас проблем не возникло, но упаси вас Бог установить плату с RJ45 портами в левый слот! Из-за того, что отсеки расширения утоплены в корпус, ваши пальцы не пролезут к защёлкам фишек RJ45, и извлечь сетевые кабели без пинцета будет ой как непросто.

Отказоустойчивый блок питания

К счастью, это единственный обнаруженный недостаток конструкции. В остальном же, всё стандартно: отказоустойчивый блок питания производства Delta, система охлаждения по принципу N+1, удобные лоточки для дисков и… даже HDMI порт. Для пользователей Apple компания предлагает Thunderbolt 3 контроллер, а для подключения дисковых полок - SAS-12Gb/s контроллер. По умолчанию, XN8012R поставляется с 8 Гб ОЗУ, но память можно расширить до 64 Гб. Операционная система на базе Linux не требовательна к памяти, так что добавлять ОЗУ стоит только если вы будете использовать дедупликацию и встроенный гипервизор. Ну а раз уж мы заговорили о софте, давайте запустим и настроим NAS.

Софт и виртуализация

Мягко говоря, компания QSAN при разработке операционной системы NAS-а вдохновлялась продукцией Synology. В мире Linux-софта в этом нет ничего зазорного: компании используют OpenSource библиотеки и заимствуют идеи друг у друга, вопрос лишь в том, кто сделает что-то новенькое или что-то лучше остальных, и у QSAN получилось… круто: HTML5, контрольная панель, виджеты, панель задач, мониторинг текущей нагрузки... Работай, да радуйся, только используй Google Chrome, иначе под Firefox не всё отображается как нужно.

Если в вашей компании ради плюшек ZFS использовался FreeNAS, XigmaNAS или просто один из клонов FreeBSD, то вам наверняка не хватало встроенного файлового менеджера: с его помощью удобно копировать любые объёмы данных внутри NAS-а, не используя сетевой интерфейс. Разработчики FreeNAS воспринили в штыки просьбы коммьюнити о реализации файлового менеджера, а администратор сообщества FreeNAS и вовсе написал, что Web-файлменеджер - это "глупейшая идея"? Собственно, QSAN QSM - это операционная система с поддержкой ZFS и нормальным web-based файловым менеджером с предпросмотром картинок, с базовыми функциями (копирование/удаление), но это не единственное, что отличает коммерческий Linux-продукт от бесплатного FreeBSD.

Не так давно под FreeNAS прикрутили гипервизор Bhyde, но у него проблемы совместимости с любыми гостевыми операционными системами, в том числе и с самой FreeBSD, а под Linux у вас - QEMU, промышленный стандарт де-факто с отработанными библиотеками VNC и драйверами, одинаково хорошо поддерживающий и Linux и Windows в качестве гостевых систем. Конечно, под Linux есть любимый многими системными администраторами гипервизор Proxmox, но там нет управления СХД и виртуализацией из единого окна, как в NAS-ах.


Конечно, наличие встроенной виртуализации делает бессмысленной интеграцию многих прочих пакетов, которые не относятся напрямую к NAS-деятельности устройства, поэтому QSAN данным направлением не заморачивается. И хотя здесь есть и SQL сервер (MariaDB, и VPN-сервер), с моей точки зрения внимания заслуживает, разве что, антивирус, сканирующий содержимое NAS-а по расписанию...

Что касается резервного копирования, то здесь есть очень интересные функции. Во-первых, как уже упоминалось выше, вы можете использовать снэпшоты как альтернативу локальным резервным копиям. В файловой системе ZFS снэпшоты участвуют в общем объеме данных, подвергаемом дедупликации, так что с точки зрения расходов на хранение копий, на сегодня снэпшоты под ZFS - лучший выбор. Для крупной инфраструктуры имеет смысл настроить зеркалирование целевой папки на NAS-е на удалённый NAS (Технология Qsan Xmirror) или резервирование в облако. Если вы хотите бэкапить содержимое Windows-компьютеров ваших работников, то Qsan предлагает использовать программу Xreplicator, которую разрабатывал Acronis на основе своего True Image с бесплатной лицензией на 100 машин, а для Linux-хостов используется резервирование через Rsync.

Правда, есть и недостатки: например, отсутствует механизм резервирования виртуальных машин под VMware ESX, в качестве облачного хранилища резервных копий, которые мы настоятельно рекомендуем вам делать, поддерживаются API только трёх поставщиков: Amazon S3, Hicloud S3 и Alibaba Cloud SS. Есть претензии и к работе с браузерами не на Chrome-ядре (в частности, под Firefox в интерфейсе не нажимаются некоторые кнопки), но в основном, всё работает без нареканий.

Дисковые пулы

Как было сказано в начале статьи, QSAN XN8012R не использует ZFS-терминологию типа Zvol/Zdev, в которой путаются даже опытные сисадмины. Здесь всё традиционно: RAID, дисковые пулы, общие папки, но с ядром ZFS. Например, если у вас массив на большое количество дисков, вам пригодится массив RAIDZ3, допускающий одновременную поломку 3-х винчестеров. Сейчас считается хорошим тоном постоянно тестировать жёсткие диски на предмет раннего диагностирования поломок, и в QSM есть запуск по расписанию S.M.A.R.T. тестов, сканирование всего массива (Scrub), а так же поддержка Seagate Ironwolf Health Management (что это такое - читайте в нашей статье).

При создании дискового массива вам предстоит выбрать, какая нагрузка у вас будет: потоковая или транзакционная, а может быть смешанная? Так же надо выбрать уровень данного массива в многослойной Tier-структуре. Для жёстких дисков это - самый низкий уровень, а для разных по скорости SSD - средний или самый высокий, а так же механизм миграции данных: по расписанию или вручную. Отнеситесь к данному этапу ответственно, так как в дальнейшем изменения будут невозможны.

Tiering

Функция Tiering работает следующим образом: файловая система постоянно записывает частоту обращения к блокам, а затем переносит данные по слоям, то что редко используется - хранит на HDD, а наиболее востребованные данные - на SSD или NVMe SSD. При этом, SSD-слой представляет собой такой же массив, как и ваш дисковый RAID, на котором вы можете создавать папки и iSCSI тома. Поскольку вы можете его использовать как обычный массив, его размер можно смело прибавлять к объёму HDD-хранилища, и это - ключевое отличие от SSD-кэша. Используя Tiering, вы для каждого дискового массива указываете при созданию политику хранения данных. Например, что выше по уровню их переносить можно (с SATA SSD на NVMe SSD), а ниже - нельзя. Сам перенос данных с HDD на SSD производится по расписанию, например, ночью или по выходным.

При включении режима "Auto Tiering" операционная система самостоятельно определяет политику хранения для дискового массива, а так же время переноса данных между уровнями. Но следует иметь ввиду, что статистика использования данных может накапливаться очень долго, и то что вы хотели бы видеть на SSD, может лежать мёртвым грузом на HDD, поэтому не полагайтесь только на Tiering, а активно используйте SSD пул для данных, которым важна низкая задержка. Вообще, в Enterprise-среде за функцию Tiering принято доплачивать, и нам особенно приятно, что у QSAN многослойное хранение включено в стоимость СХД.

SSD кэш

ZFS имеет родную поддержку SSD кэширования (L2ARC), и даже один накопитель вы можете использовать для кэширования чтения/записи. Кэш прогревается достаточно быстро, но пиковой производительности SSD не достигает, так что высокоинтенсивные операции производите с данными на SSD-массивах. Для SSD кэша вы можете использовать любое количество накопителей, объединённых в пул. Если у вас задействован только кэш чтения, то имейте ввиду, что он будет обнуляться при перезагрузке машины. В целом же, заполнение SSD кэша происходит блоками, и эффективность вы можете оценить на диаграммах ниже. Обратите внимание: скорость доступа не выходит за 2500 IOPS, так что для высокоинтенсивных нагрузок SSD-кэш поверх HDD не заменит обычный SSD-пул даже в режиме чтения.

Наличие SSD кэша чтения - обязательное условие для задействования функции блочной дедупликации.

Блочная дедупликация

Эта превосходная возможность ZFS работает "на лету", позволяя вам экономить десятки терабайт данных. При записи данных на диск, процессор СХД находит повторяющиеся экстенты и заменяет их ссылками, указывающими на адрес блока, за счёт чего повторяющиеся данные места на диске не занимают, да и вообще повторно не пишутся. В результате вы не только выигрываете в объёме данных, но и повышаете скорость случайного чтения и записи. Если ваша СХД обслуживает среднюю организацию и работает как хранилище бэкапов, виртуалок, обычных архвов документов, то вот сколько вы можете сэкономить:

  • Бэкапы без сжатия со стороны софта (обычно - Rsync): от 85% до 90%
  • Диски виртуальных машин: от 50% до 90%
  • Дампы баз данных: от 45% до 70%
  • Домашние директории пользователей: от 20% до 50%
  • Архивы почты: от 20% до 40%

Чем больше данных в вашей организации, тем сильнее будет выгода. Вы можете включить общую дедупликацию для папок и iSCSI томов, которые в качестве хранилища используют файл. Вообще, дедупликация должна сильно снижать скорость записи на диск, и на графике мы видим, что скорость простой синтетики ощутимо снижается.

Но в паттернах реальных задач дедупликация наоборот, даёт ощутимый прирост скорости.

При тестировании скорости доступа на 64-килобайтных блоках нас поджидал сюрприз: производительность оказалась выше, чем у 4-килобайтных блоков. Мне пришлось перепроверять тесты, но результаты повторились, и тогда я обратился за разъяснением к производителю СХД. Инженеры сообщили, что в этих СХД запись ведётся 64-килобайтными блоками для повышения производительности в большинстве задач. Вообще, такая скорость - просто подарок для тех, кто приобретает себе СХД для использования под Microsoft SQL Server, ведь именно на 64-килобайтный доступ рекомендует настраивать СХД сама Microsoft.

Так что без сомнения, для транзакционного доступа в небольшой организации, QSAN XN8012R - отличный выбор. Что ещё интересно, так это поддержка технологии WORM (Write Once Read Many), что на простом языке означает защиту от записи для каких-то ресурсов. Эта защита может устанавливаться на какое-то ограниченное время, или навсегда. Очень удобно для бэкапов: вы сохранили резервную копию на СХД, и уже можете быть уверены, что ни вирус-шифровальщик, ни хакер не смогут удалить или изменить ваши бэкапы.

Для тестирования скорости последовательного доступа мы использовали 2 порта по 10 Гбит/с, но показатели не превысили возможностей и одного. В нашей тестовой конфигурации на 3 HDD и 3 SSD особо не разгуляешься, но для крупных инсталляций возможно подключение до 8 дисковых полок.

Здесь надо иметь ввиду, что у вас нет никакой отказоустойчивости: судя по схеме, полки подключаются последовательно, без образования петли, поэтому допустим если у вас выйдет из строя 5-я полка, то отключатся и 6-я, и 7-я, и 8-я. Ну а вообще, при подключении 8 полок QSAN XD5324, каждая из которых имеет 24 отсека для 3.5 HDD, вы можете заполнить всю систему хранения данных 14-терабайтными жёсткими дисками, чтобы получить 2.83 с 210 винчестерами объёмом 2886 Тб пространства для ваших нужд.

Стоимость и лицензирование

Стоимость головного устройства QSAN XN8012R без жёстких дисков составляет 6250$. Учтите, что по умолчанию головное устройство поставляется даже без салазок в стойку, с минимальным объёмом памяти и 1-гигабитными интерфейсами. Функция дедупликации в ZFS активно использует ОЗУ для хранения таблиц экстентов, поэтому если вы хотите сэкономить на количестве жёстких дисков, будьте добры сконфигурировать СХД хотя бы с 32 Гб RAM. Весь программный функционал, такой как Tiering, виртуализация и снэпшоты, не требует активации лицензий.

Гарантия

По умолчанию QSAN XN8012R поставляется с 3-летней ограниченной гарантией, которую покупатель может продлить ещё на 2 года, приобретая соответствующий пакет в любое время в течение действия основного гарантийного срока. На момент подготовки обзора, у QSAN не было сервисных пакетов на обслуживание с ограничением срока реагирования, таких как замена на следующий рабочий день или выезд специалиста на площадку.

Выводы

Сегодня каждая СХД поддерживает SSD-диски, но далеко не каждая имеет 6 Hot-Swap отсеков для твердотельных накопителей, которые вы можете использовать не в ущерб HDD. Сегодня каждая СХД имеет поддержку снэпшотов и SSD кэша, но далеко не каждая поддерживает многослойное хранение на NVMe SSD с горячей заменой. Такие фукнции, как Inline дедупликация являются основными критериями выбора поставщика СХД, и практически определяют выбор того или иного решения. И уж если вы выберите QSAN, то эта СХД встретит вас дружелюбным HTML5 интерфейсом, сделанным по канонам традиционных систем хранения данных. Здесь всё просто и понятно, так что даже ребёнок сможет разобраться в настройке сервера, запустить виртуализацию и настроить права доступа пользователей. СХД имеет встроенные системы безопасности, в том числе антивирус и Firewall, так что от каких-то напастей она может защитить себя сама.

Да, конечно, всё, что выходит за рамки обыденности, имеет как свои плюсы, так и минусы: необычная конструкция вызывает затруднения при подключении кабелей, есть проблемы с web-интерфейсом под браузером Firefox, а 8 Гб ОЗУ, да ещё и набранные двумя 4-гигабайтными модулями выглядят несерьёзно.

Но мы не первый год говорим о том, что NAS-ы с блочным доступом за счёт своей универсальности вытеснят SAN-решения из начального ценового диапазона. И вот пожалуйста, стоимость топового QSAN XN8012R с виртуализацией и дедупликацией сопоставима с ценой 2-контроллерных SAN-ов, которые не умеют ничего, кроме как быть 2-контроллерными SAN-ами, а значит памяти можно и добавить, а недостающий софт запустить под виртуалкой. В целом, при грамотном подходе, эта СХД позволит существенно сэкономить на расширении ёмкости при росте объёма данных в вашей организации, и именно эта особенность заставляет присмотреться к серии XCubeNAS уже сегодня.

Мы благодарим компанию "Тайле" за предоставленную систему хранения QSAN XN8012R.

Михаил Дегтярёв (aka LIKE OFF)
28/08/2019




ПОХОЖИЕ СТАТЬИ:

Решение от Tenda для бюджетного Wi-Fi в небольшом офисе

В современном мире достаточно технологий, чтобы пробросить Wi-Fi на всю территорию вашего офиса, не заморачиваясь проводами. Для таких случаев применяется сверхбюджетное оборудование от компании Tenda: не забивайте голову ненужными...

Изучаем шифрование памяти в процессорах AMD, или как EPYC 7000 защищает ваше облако

Как работают технологии SME, TSME и SEV, от каких угроз безопасности они защищают, какими гипервизорами поддерживаются, как закрываются баги и что об этом думают разработчики ПО и облачные провайдеры. Мы привлекли экспертов, разобр...

Что такое SmartNIC и почему сетевые карты для серверов стали умнее

Концепция SmartNIC выходит за рамки простого подключения и уже подразумевает, что сама сетевая карта, а не центральный процессор сервера или СХД производят обработку не только сетевого трафика и протоколов, но даже каких-то вычисле...

Кремниевая фотоника Intel ведёт к снижению стоимости 100G сетей

Уже более 10 лет Intel трубит о преимуществах кремниевой фотоники, которая разрабатывается уже две декады. Сама Intel давно придерживается концепции разукрупненных вычислительных и запоминающих устройств для ЦОД, объединённых через...

Семейство процессоров Intel Xeon D-1600

Intel обновила семейство встраиваемых процессоров серии Broadwell-DE, предназначенных для Edge-приложений. Прежде всего, увеличилась частота каждого из ядер, появилась поддержка 4-х сетевых контроллеров 10GBe и увеличилась производ...


НА ФОРУМЕ ГОВОРЯТ



НОВЫЕ СТАТЬИ
A4 FStyler FG10 – беспроводная офисная мышь из новой линейки

Недавно бренд A4Tech представил новую линейку офисной и домашней периферии с интересным названием FStyler. Линейка включает и мышки, и клавиатуры, и комплекты в проводном и беспроводном исполнении. Сегодня мы рассмотрим ...

Обзор Nobby Expert NBE-PB-10-10 и Nobby Comfort NBC-TC-34-20

Бренд Nobby предлагает целый парк аксессуаров для мобильной техники – чехлы, зарядные устройства, USB кабели, беспроводные наушники и колонки. И сегодня мы протестируем симпатичный powerbank Nobby Expert NBE-PB-10-10...