Intel VROC (performance)

Не удержался я и карточку ASUS HYPER M.2 X16 таки купил, потому что на фоне всего остального нового компьютера карточку вовсе не видно, а два полутерабайтных SSD-PCIe диска Intel 760p тоже не особо заметно.

Помимо Асуса, такие делают Asrock и MSI, причем ASUS-овская мне формально нравится меньше всех (потому что питание берет с материнки, а его и так дефицит), но выбора в нашей рознице не было.

Так вот, если читать большими блоками, то удвоения скорости чтения не получается, получается процентов 85-90 (1.7-1.8 от скорости одного диска), скорость записи (и так небольшая у 760p и быстро падает до ~600MB/sec потому что write cache совсем небольшой) более-менее честно удваивается (3.1GB/sec, вместо 2x1.6).

Эта конструкция сильно проигрывает единичному NVMe-SSD при доступе мелкими блоками, а вот начиная с 2-мегабайтного - все совсем хорошо (это, по всей видимости, достаточно глубокая очередь получается т.к. Stripe size я сделал 32kb, оно заметно быстрее на среднего размера блоках, чем стандартные 128к и не теряет в скорости на больших блоках).

В принципе, есть еще резерв, я поставил две SSD-шки, а можно поставить до 4-х.

Настройка этого дела - чудовищна (речь про материнки на Intel X299, думаю что от чипсета тут тоже все зависит сильно):

1. Нужен PCI x16 слот, т.е. нужен процессор с 44 PCI lanes, но и с таким процессором раскладка по слотам на моей материнке: 16-8-16-0-0, то есть все три свои платы расширения (видяха, 10G, SSD-4x) я должен располагать плотно, без зазоров. А 10G-карточка, к примеру, любит погреться, ей нужен обдув, который воткнуть некуда.

2. На материнке должен включаться режим 4x4 для PCIe-16 слота. Это есть не на всех материнках и узнать это непросто (к примеру, я точил кошелек на материнку Gigabyte Designare EX, так вот там этого добра нет, а узнать удалось только из интернетных форумов; аналогично - этой фичи нет у Асустековских Workstation материнок /хотя как раз workstation то и нужен быстрый сторадж/ - потому что PCI-слоты там разведены через свитчи, а для работы VROC нужны процессорные PCIe-линии).

3. Включаем 4x4, перегружаемся. Диски начинают видеться системой как отдельные диски (можно виндовый software raid поднять, но я не пробовал).
На этом этапе в BIOS появляется возможность включения Intel VMD. Включаем.

4. Перезагружаемся, дисков вообще не видать, но в системе появляется RAID-контроллер без драйвера. Находим к нему драйвера (это не просто - в Intel Rapid Storage/Enterprise лежит много всяких драйверов, при этом для Win10 в явном виде не лежит, а надо ставить от Win8 /и это написано в документации/) - в системе появляется RAID-контроллер с драйверами, но без дисков.
Intel RST Enterprise никаких дисков, ничего не видит.

5. Опять перезагружаемся, идем в BIOS, там появляется Intel RAID чего-то там (он появился после включения VMD, но мы пошли искать правды в системе), где можно создать массив, только RAID0, но можно.

6. И этот том - наконец - виден в системе, виден в RST Enterprise (но модифицировать из RSTe его нельзя), можно пользоваться.

Справедливости ради, Intel за VROC хочет денег, в виде отдельного VROC key (трех видов: для интеловских SSD, для других SSD в режиме RAID 0/1/10, для других в режимах 0/1/10/5) - за отдельные деньги. У меня этого ключа нет, без ключа работает как и заявлено (только stripe/RAID0), но мне ровно этого и надо, потому что мне нужен быстрый сторадж под рабочие файлы (восстановимые) и под тестовые наборы RAW (тоже восстановимые).

Тех 5.6GB/sec, что я вижу - должно хватить на Sony 40Mpix/uncompressed/60fps (там нужно ~4.8GB/s), не хватит - докуплю еще дисков.

P.S. Смутно помню времена, когда для получения 600MB/s 8-канального RAID-контроллера было мало, а 16 - в самый раз.

P.P.S. Прежде чем купить, я долго читал всякие интернеты пока не получилось просветление:

  • То что Asus WS x299 не работает с Asus-овской же картой на самом деле написано в списке совместимых материнок для карты (там нет workstation-материнок), но это же ничего не значит. Но на overclockers.ru таки вычитал, что это невозможно (а дальше додумал про свитчи).
  • Интеловский саппорт (видимый через форумы) - чудовищен. Т.е. где-то с месяц назад я читал там тредик, где поддержка интела утверждала, что с 760p вся конструкция не работает, а юзеру нужны серверные диски (7600p). Смех в том, что у пользователя была Asus/WS материнка и ничего бы и не заработало и с серверными дисками тоже.
  • Пользователи - тоже чудовищны. Они хотят завести на младших процессорах (16/28 lanes), они хотят завести на 8x-слоте (и удивляются что из трех дисков видны два)
  • Тем не менее, если понимать требования (x16 слот, возможность сделать его 4x4, поддержка в BIOS, иначе без ключа вы не сделаете массив) - оно включается и (с виду) работает. Посмотрим как будет вдолгую.

P.P.P.S У меня и в мыслях не было делать загружаемый массив, это "под tmp"

Comments

> . Нужен PCI x16 слот, т.е. нужен процессор с 44 PCI lanes

а вот говорят что например https://www.supermicro.com/products/motherboard/Core/Z390/C9Z390-PGW.cfm где стоит https://www.broadcom.com/products/pcie-switches-bridges/pcie-switches/pe... и можно иметь GPU x16 + RAID x16 с пролетарскими CPU ?

Z / V

А вот не знаю

И откуда там возьмется VROC?

Какой-то M.2 array то можно будет сунуть, но скорее не VROC, а Qnap (не знаю, есть ли к нему драйвера для винды) или что-то подобное (highpoint)

я посмотрел тут у highpoint'ов внутри тот же чип PEX 8747... т.е. его вряд ли можно сунуть в разьем который на самой motheboard поддерживается через PEX 8747... а в ASUS HYPER M.2 X16 его нет и для программного RAID 0 же там VROC совсем не нужен... т.е. для чисто скорости должен работать по идее.. еще как вариант https://www.anandtech.com/show/13051/gigabyte-launches-cmt4030-pcie-rise... (если найти сие в розницу)

Z / V

Я не знаю что будет, если через два свитча. Так по идее - почему бы и нет, но действительно не знаю.
Вообще, я детальное устройство PCIе не представляю, посему феноменология:
1) Просто вставляем асусовскую карту (с двумя дисками в моем случае) в PCIe-x16 слот: BIOS видит один диск из двух, что там в винде не проверял
2) Включаем в слоте 4x4 (по идее, highpoint сплиттер делает ровно это, там свитч 16 в 16) - BIOS и винда видят оба диска отдельно.
Дальше уже VROC:
3) Включаем этот самый Intel VMD - и диски впрямую опять не видны, но есть Intel VMD Raid controller - собственно вот VROC

Кстати а в чем особенный смысл VROC для raid 0 вместо чисто software через штатные ср-ва windows ?

Z / V

А хрен его знаеть, я не сравнивал.

Доброго времени суток.
Подскажите, пожалуйста такой вопрос:
Имеются матплата intel X299, CPU I7-7820X (28линий), asrock m2 card x16, 2 m.2 ssd samsung 970 EVO Plus. Можно ли сделать RAID0 с этими комплектующими? Частично жалею, что купил не асусовскую карту М.2, но вы писали, что вроде как можно сделать и с другими накопителями (не Интел) М.2 ССД, т.е. теоретически можнос сделать нулевой рэйд, я прав? Или все же будет играть неприятную роль использование не асусовской карты?

Спасибо

Общий ответ: не знаю, надо пробовать.
Чтобы работало
1) Материнка (BIOS) должна уметь делить x16-слот на 4x4 PCIe. Не все материнки это умеют (Gigabyte Designare EX вроде не умеет, например)
2) Под два накопителя - вам достаточно x8 PCIe слота, PCI-линии в этом слоте должны быть процессорные (а не чипсетные). Тогда его надо перевести в режим 4x4 и тогда 2 накопителя (вставленные в нужные места m2 card - не знаю какие именно) система увидит отдельно.
3) Если увидела - то надо конфигурировать RAID0. У меня это делается в BIOS, интеловской утилитой я не смог.
4) Ходят слухи, что без VROC Key работают только интеловские SSD (и только в RAID0), но по-моему - врут.

Как-то так.

Если система умеет делить слот 8x в 2x4 (и накопители отдельно вы видите в системе), но BIOS не создает массив - ну можно software raid тогда сделать :)

Потратил 3 вечера после работы безрезультатно. Даже через непроцессорные линии не смог сделать рэйд - пк при установке Windows не видит его. Но все равно через обычные PCIe-линии делать смысла не вижу, так как не понимаю, почему второй слот M2 сделан вертикальным на плате X299. Охлаждение ужасное - даже новенький Samsung 970 EVO Plus в простое 52 градуса (с радиатором средняя температура 38-39 градусов). Через M.2 карту X16 получилось подключить эти 2 накопителя, даже сделал рэйд, но только в самом WIndows.
В биосе кое-как настроил чтобы X16 линия работала X4, но рэйд через VROC не хочет - пишет unsupported.
Могу лишь полагать - думаю, это или из-за того, что использую M2 карту, не совсем предназначенную для платы Интела (что маловероятно), или из-за использования для RAID накопителей Samsung. Возможно, понадобится VROC-key.
Вот ссылка на фото с неприятным результатом - https://d.radikal.ru/d09/1903/12/2c58832031c6.jpg

Скажите, пожалуйста, есть ли у вас какие-нибудь соображения о возможности сделать рэйд? И что за программный рэйд? Он позволит сделать рэйд с картой ASRock M2? (в принципе мне было бы все равно, VROC или обычный PCIe, если бы не плохое охлаждение).

Спасибо

"программный" - я и имел в виду средствами Windows

Unsupported - возможно (но я не могу быть ни в чем уверенным) что это потому что не Intel-SSD.

Я именно из таких соображений и брал 760p

Здравствуйте. Тоже вперся с этим VROC на x299 (asus mark 1) и asus hyper m2 х 16. Также 2 х samsung 970 evo plus 500g. И сообственно результат - unsupported. Еле сдал распечатанные диски ssd. Если вдруг заглянете сюда, напишите чем у Вас все закночилось? На каких ssd остановились.

Тогда позвольте еще один вопрос - у меня сейчас сделан программный рейд - выбирал "Создать чередующийся том". Это, если я правильно понял, RAID0. Могу ли установить на этот программный рэйд Windows и, соответственно, сделать его загрузочным?

Спасибо

Не знаю. Зато имею встречный вопрос: а что вы будете делать, если сначала получится, а потом этот том развалится по каким-то внутренним виндовым причинам?

То есть
а) "быстрое" место (NVME в RAID0) явно ж нужно для чего-то хорошего, а не просто так?
б) зачем его тогда тратить на Windows (десятка и так грузится моментом), если можно винду поставить на отдельный дешевый sata?

Если просто том развалится, а не сам накопитель, то это не страшно, потому как я не храню важные данные на системном диске.

Знаю, что меня наверное, можно считать сумасшедшим, но я хотел выжать из своего ПК максимальное быстродействие для системы. К тому же, обидно останавливаться на полпути, когда уже приобрел М2 X16 карту и два M2 накопителя NVMe
Скорее, буду приобретать VROC-ключ для рэйд0 других накопителей.

Да не, это нормальное желание.

VROC - непонятная/сложная тема.
У интела явно написано "без ключа - только с родными интеловскими дисками". Это, очевидно, программное ограничение и, возможно, не все вендоры в своих BIOS его включают (я видел какой-то обзор именно с несколькими самсунгами).

При этом интеловский саппорт в форумах их (т.е. публичный) временами несет всякую херню. Я обчитался этих форумов когда выбирал материнку (и тоже хотел выжать максимум т.е. VROC был для меня явным плюсом, на фоне прочего) и в числе прочего читал как интел "поддерживает" пользователей: они втирали пользователю, что 760p - недостаточно кошерные диски, а ему нужны серверные 7600p. А причина была в том, что у юзера материнка просто не умеет VROC (там все PCIe-разъемы через свитчи, т.е. "слотов с процессорными PCI" просто нет).

Короче, полный дурдом, очень плохо документированный и очень плохо поддержаный софтом (может быть на серверах получше, не знаю).

Так и живем.

Здравствуйте. Тоже вперся с этим VROC на x299 (asus mark 1) и asus hyper m2 х 16. Также 2 х samsung 970 evo plus 500g. И сообственно результат - unsupported. Еле сдал распечатанные диски ssd. Если вдруг заглянете сюда, напишите чем у Вас все закночилось? На каких ssd остановились.

Если кому интересно. Поставил два 1Тб 660p. Рейд 0. Полет нормальный.

Честно вот говоря, сомнительное какое-то решение: 660p сами по себе медленные (особенно на запись), а адаптер 4xM.2 стоит заметных денег.

Не проще было ли поставить одиночный Samsung 970 EVO+ или что-то такое подобное?

Завтра буду пробовать wd sn 750 по 500. А 660p в паре нормально себя показали.

Если вопрос еще актуален, - я писал письмо в текхподдержку ASUS, мне подсказали, что рэйд возможен, но только программный (не чипсетный). Если у вас вышло unsupported, значит вы правильно настроили BIOS, я до этих настроек дошел за неделю (методом подбора и тп). Там в настройках можно было без мастера настройки сделать создать рэйд0, а потом в процессе установки виндовс выбрать заранее скачанный драйвер (думаю, желательно на флешку). В первый раз, когда я реально мучался с настройками для создания рэйда, тогда у меня не было нужного драйвера - они не подходили для определения рэйд-массива. Во второй раз, получив нужный драйвер (саппорт ASUS отправил архив с нужными драйверами), я вечер убил, но не смог корректно настроить BIOS, чтобы сделать RAID0, но пока бросил эту затею. Если вам несложно, можете отправить скриншоты настроек всех подразделов BIOSа?

Извините, но нет, не "не сложно", сложно.
Во-первых, надо перезагружаться для этого, а у меня тут программы всякие открыты.
Во-вторых, я понятия не имею как делать в биосе скриншоты.

Фотоаппаратом ))

> Во-вторых, я понятия не имею как делать в биосе скриншоты.

очень просто - берешь сотовый и щелк-щелк

Z / V