Intel VROC (performance)

Не удержался я и карточку ASUS HYPER M.2 X16 таки купил, потому что на фоне всего остального нового компьютера карточку вовсе не видно, а два полутерабайтных SSD-PCIe диска Intel 760p тоже не особо заметно.

Помимо Асуса, такие делают Asrock и MSI, причем ASUS-овская мне формально нравится меньше всех (потому что питание берет с материнки, а его и так дефицит), но выбора в нашей рознице не было.

Так вот, если читать большими блоками, то удвоения скорости чтения не получается, получается процентов 85-90 (1.7-1.8 от скорости одного диска), скорость записи (и так небольшая у 760p и быстро падает до ~600MB/sec потому что write cache совсем небольшой) более-менее честно удваивается (3.1GB/sec, вместо 2x1.6).

Эта конструкция сильно проигрывает единичному NVMe-SSD при доступе мелкими блоками, а вот начиная с 2-мегабайтного - все совсем хорошо (это, по всей видимости, достаточно глубокая очередь получается т.к. Stripe size я сделал 32kb, оно заметно быстрее на среднего размера блоках, чем стандартные 128к и не теряет в скорости на больших блоках).

В принципе, есть еще резерв, я поставил две SSD-шки, а можно поставить до 4-х.

Настройка этого дела - чудовищна (речь про материнки на Intel X299, думаю что от чипсета тут тоже все зависит сильно):

1. Нужен PCI x16 слот, т.е. нужен процессор с 44 PCI lanes, но и с таким процессором раскладка по слотам на моей материнке: 16-8-16-0-0, то есть все три свои платы расширения (видяха, 10G, SSD-4x) я должен располагать плотно, без зазоров. А 10G-карточка, к примеру, любит погреться, ей нужен обдув, который воткнуть некуда.

2. На материнке должен включаться режим 4x4 для PCIe-16 слота. Это есть не на всех материнках и узнать это непросто (к примеру, я точил кошелек на материнку Gigabyte Designare EX, так вот там этого добра нет, а узнать удалось только из интернетных форумов; аналогично - этой фичи нет у Асустековских Workstation материнок /хотя как раз workstation то и нужен быстрый сторадж/ - потому что PCI-слоты там разведены через свитчи, а для работы VROC нужны процессорные PCIe-линии).

3. Включаем 4x4, перегружаемся. Диски начинают видеться системой как отдельные диски (можно виндовый software raid поднять, но я не пробовал).
На этом этапе в BIOS появляется возможность включения Intel VMD. Включаем.

4. Перезагружаемся, дисков вообще не видать, но в системе появляется RAID-контроллер без драйвера. Находим к нему драйвера (это не просто - в Intel Rapid Storage/Enterprise лежит много всяких драйверов, при этом для Win10 в явном виде не лежит, а надо ставить от Win8 /и это написано в документации/) - в системе появляется RAID-контроллер с драйверами, но без дисков.
Intel RST Enterprise никаких дисков, ничего не видит.

5. Опять перезагружаемся, идем в BIOS, там появляется Intel RAID чего-то там (он появился после включения VMD, но мы пошли искать правды в системе), где можно создать массив, только RAID0, но можно.

6. И этот том - наконец - виден в системе, виден в RST Enterprise (но модифицировать из RSTe его нельзя), можно пользоваться.

Справедливости ради, Intel за VROC хочет денег, в виде отдельного VROC key (трех видов: для интеловских SSD, для других SSD в режиме RAID 0/1/10, для других в режимах 0/1/10/5) - за отдельные деньги. У меня этого ключа нет, без ключа работает как и заявлено (только stripe/RAID0), но мне ровно этого и надо, потому что мне нужен быстрый сторадж под рабочие файлы (восстановимые) и под тестовые наборы RAW (тоже восстановимые).

Тех 5.6GB/sec, что я вижу - должно хватить на Sony 40Mpix/uncompressed/60fps (там нужно ~4.8GB/s), не хватит - докуплю еще дисков.

P.S. Смутно помню времена, когда для получения 600MB/s 8-канального RAID-контроллера было мало, а 16 - в самый раз.

P.P.S. Прежде чем купить, я долго читал всякие интернеты пока не получилось просветление:

  • То что Asus WS x299 не работает с Asus-овской же картой на самом деле написано в списке совместимых материнок для карты (там нет workstation-материнок), но это же ничего не значит. Но на overclockers.ru таки вычитал, что это невозможно (а дальше додумал про свитчи).
  • Интеловский саппорт (видимый через форумы) - чудовищен. Т.е. где-то с месяц назад я читал там тредик, где поддержка интела утверждала, что с 760p вся конструкция не работает, а юзеру нужны серверные диски (7600p). Смех в том, что у пользователя была Asus/WS материнка и ничего бы и не заработало и с серверными дисками тоже.
  • Пользователи - тоже чудовищны. Они хотят завести на младших процессорах (16/28 lanes), они хотят завести на 8x-слоте (и удивляются что из трех дисков видны два)
  • Тем не менее, если понимать требования (x16 слот, возможность сделать его 4x4, поддержка в BIOS, иначе без ключа вы не сделаете массив) - оно включается и (с виду) работает. Посмотрим как будет вдолгую.

P.P.P.S У меня и в мыслях не было делать загружаемый массив, это "под tmp"

Comments

> . Нужен PCI x16 слот, т.е. нужен процессор с 44 PCI lanes

а вот говорят что например https://www.supermicro.com/products/motherboard/Core/Z390/C9Z390-PGW.cfm где стоит https://www.broadcom.com/products/pcie-switches-bridges/pcie-switches/pe... и можно иметь GPU x16 + RAID x16 с пролетарскими CPU ?

N/A

А вот не знаю

И откуда там возьмется VROC?

Какой-то M.2 array то можно будет сунуть, но скорее не VROC, а Qnap (не знаю, есть ли к нему драйвера для винды) или что-то подобное (highpoint)

я посмотрел тут у highpoint'ов внутри тот же чип PEX 8747... т.е. его вряд ли можно сунуть в разьем который на самой motheboard поддерживается через PEX 8747... а в ASUS HYPER M.2 X16 его нет и для программного RAID 0 же там VROC совсем не нужен... т.е. для чисто скорости должен работать по идее.. еще как вариант https://www.anandtech.com/show/13051/gigabyte-launches-cmt4030-pcie-rise... (если найти сие в розницу)

N/A

Я не знаю что будет, если через два свитча. Так по идее - почему бы и нет, но действительно не знаю.
Вообще, я детальное устройство PCIе не представляю, посему феноменология:
1) Просто вставляем асусовскую карту (с двумя дисками в моем случае) в PCIe-x16 слот: BIOS видит один диск из двух, что там в винде не проверял
2) Включаем в слоте 4x4 (по идее, highpoint сплиттер делает ровно это, там свитч 16 в 16) - BIOS и винда видят оба диска отдельно.
Дальше уже VROC:
3) Включаем этот самый Intel VMD - и диски впрямую опять не видны, но есть Intel VMD Raid controller - собственно вот VROC

Кстати а в чем особенный смысл VROC для raid 0 вместо чисто software через штатные ср-ва windows ?

N/A

А хрен его знаеть, я не сравнивал.

Доброго времени суток.
Подскажите, пожалуйста такой вопрос:
Имеются матплата intel X299, CPU I7-7820X (28линий), asrock m2 card x16, 2 m.2 ssd samsung 970 EVO Plus. Можно ли сделать RAID0 с этими комплектующими? Частично жалею, что купил не асусовскую карту М.2, но вы писали, что вроде как можно сделать и с другими накопителями (не Интел) М.2 ССД, т.е. теоретически можнос сделать нулевой рэйд, я прав? Или все же будет играть неприятную роль использование не асусовской карты?

Спасибо

Общий ответ: не знаю, надо пробовать.
Чтобы работало
1) Материнка (BIOS) должна уметь делить x16-слот на 4x4 PCIe. Не все материнки это умеют (Gigabyte Designare EX вроде не умеет, например)
2) Под два накопителя - вам достаточно x8 PCIe слота, PCI-линии в этом слоте должны быть процессорные (а не чипсетные). Тогда его надо перевести в режим 4x4 и тогда 2 накопителя (вставленные в нужные места m2 card - не знаю какие именно) система увидит отдельно.
3) Если увидела - то надо конфигурировать RAID0. У меня это делается в BIOS, интеловской утилитой я не смог.
4) Ходят слухи, что без VROC Key работают только интеловские SSD (и только в RAID0), но по-моему - врут.

Как-то так.

Если система умеет делить слот 8x в 2x4 (и накопители отдельно вы видите в системе), но BIOS не создает массив - ну можно software raid тогда сделать :)

Потратил 3 вечера после работы безрезультатно. Даже через непроцессорные линии не смог сделать рэйд - пк при установке Windows не видит его. Но все равно через обычные PCIe-линии делать смысла не вижу, так как не понимаю, почему второй слот M2 сделан вертикальным на плате X299. Охлаждение ужасное - даже новенький Samsung 970 EVO Plus в простое 52 градуса (с радиатором средняя температура 38-39 градусов). Через M.2 карту X16 получилось подключить эти 2 накопителя, даже сделал рэйд, но только в самом WIndows.
В биосе кое-как настроил чтобы X16 линия работала X4, но рэйд через VROC не хочет - пишет unsupported.
Могу лишь полагать - думаю, это или из-за того, что использую M2 карту, не совсем предназначенную для платы Интела (что маловероятно), или из-за использования для RAID накопителей Samsung. Возможно, понадобится VROC-key.
Вот ссылка на фото с неприятным результатом - https://d.radikal.ru/d09/1903/12/2c58832031c6.jpg

Скажите, пожалуйста, есть ли у вас какие-нибудь соображения о возможности сделать рэйд? И что за программный рэйд? Он позволит сделать рэйд с картой ASRock M2? (в принципе мне было бы все равно, VROC или обычный PCIe, если бы не плохое охлаждение).

Спасибо

"программный" - я и имел в виду средствами Windows

Unsupported - возможно (но я не могу быть ни в чем уверенным) что это потому что не Intel-SSD.

Я именно из таких соображений и брал 760p

Тогда позвольте еще один вопрос - у меня сейчас сделан программный рейд - выбирал "Создать чередующийся том". Это, если я правильно понял, RAID0. Могу ли установить на этот программный рэйд Windows и, соответственно, сделать его загрузочным?

Спасибо

Не знаю. Зато имею встречный вопрос: а что вы будете делать, если сначала получится, а потом этот том развалится по каким-то внутренним виндовым причинам?

То есть
а) "быстрое" место (NVME в RAID0) явно ж нужно для чего-то хорошего, а не просто так?
б) зачем его тогда тратить на Windows (десятка и так грузится моментом), если можно винду поставить на отдельный дешевый sata?

Если просто том развалится, а не сам накопитель, то это не страшно, потому как я не храню важные данные на системном диске.

Знаю, что меня наверное, можно считать сумасшедшим, но я хотел выжать из своего ПК максимальное быстродействие для системы. К тому же, обидно останавливаться на полпути, когда уже приобрел М2 X16 карту и два M2 накопителя NVMe
Скорее, буду приобретать VROC-ключ для рэйд0 других накопителей.

Да не, это нормальное желание.

VROC - непонятная/сложная тема.
У интела явно написано "без ключа - только с родными интеловскими дисками". Это, очевидно, программное ограничение и, возможно, не все вендоры в своих BIOS его включают (я видел какой-то обзор именно с несколькими самсунгами).

При этом интеловский саппорт в форумах их (т.е. публичный) временами несет всякую херню. Я обчитался этих форумов когда выбирал материнку (и тоже хотел выжать максимум т.е. VROC был для меня явным плюсом, на фоне прочего) и в числе прочего читал как интел "поддерживает" пользователей: они втирали пользователю, что 760p - недостаточно кошерные диски, а ему нужны серверные 7600p. А причина была в том, что у юзера материнка просто не умеет VROC (там все PCIe-разъемы через свитчи, т.е. "слотов с процессорными PCI" просто нет).

Короче, полный дурдом, очень плохо документированный и очень плохо поддержаный софтом (может быть на серверах получше, не знаю).

Так и живем.

Add new comment