Q: Mellanox Infinihost + Windows 8 + SRP?
lexa - 16/Янв/2015 21:09
Граждане читатели!
Вот у меня задуман переход на Win 8.1 (в процессе задуманного апгрейда монитора). А дисковая полка то у меня - по Infiniband+SRP подключена.
Про..этосамое сегодня полдня, вот на таких граблях:
- WinOFED 4.x (от которого опенсорса не могу найти, брал с сайта Mellanox) - совместим с Win8, но не содержит драйверов Mellanox Infinihost. Только ConnectiX.
- WinOFED 3.2, который у меня на Win7 работает: не ставится на Win8, там проверка версии во встроенном скрипте (а не в параметрах MSI, их я умею снять)
- WinOFED 2.1 - ставится на Win8 (проверки в скрипте нет), с виду работает, но там нету SRP (точнее, в релнотесах написано что есть бета, но следов этой беты не видно)
Может кто решал проблему и решил?
Аналогичная проблема должна быть на Windows Server 2012, если вдруг у вас есть для нее драйвера Infinihost+SRP - поделитесь пожалуйста!
P.S. Я могу и на IPoOB + iSCSI пожить, но SRP сильно веселее....
Comments
Замечу в скобках, что свежие
Замечу в скобках, что свежие версии Windows SDK (начиная с 6.0, кажется) отлично ставятся side by side и не дерутся.
Между собой - да.
Между собой - да.
А вот всякие ./configure (условно) - запросто схватят не того, что я хочу.
Уже наедался.
а разобрать msi с WinOFED 3.2
а разобрать msi с WinOFED 3.2, убрать проверку версии и собрать заново простого способа нет?
вот это сходу нагугливается http://www.scriptingsimon.com/2010/08/editing-msi-files-with-microsoft-o... со ссылкой сюда https://support.microsoft.com/kb/255905?wa=wsignin1.0
сам не пробовал :)
Ну вот там WIX-скрипт,
Ну вот там WIX-скрипт, который, как я понимаю, компилируется? Я могу удалить этот скрипт целиком, все ломается. Как удалить одно сравнение - не знаю.
UPD: кажись нашел. Ну и
UPD: кажись нашел. Ну и формат этот ваш MSI!
Не помогло. Проверка версии
Не помогло. Проверка версии спиливается, но вставать - не встает.
Всегда относился к msi как
Всегда относился к msi как "write only". Видимо, не зря они проверку вставили ;(
А написать в техподдержку
А написать в техподдержку Мелланокса?
Кстати, какая у тебя OS на полке?
А Мелланокс не поддерживает
А Мелланокс не поддерживает совсем старые карты (инфинихосты эти - им лет 10 минимум). Покупайте ConnectiX. И я даже почти готов, коннектиксы старые подешевели до приемлемых величин.
На полке - Linux. К которому я каким-то чудом привинтил SRP, попытки его проапгрейдить с грохотом проваливаются.
На самом деле, я почти сдался - у меня еще пара Myricom-10G лежит, в Win 8.1 они работают, проверил, ну буду по iSCSI вместо SRP, на мелких блоках чуть медленнее, но приемлемо.
Опять же, вынесу из этого ящика Linux, поставлю FreeBSD, щастье же!
О, я как раз хотел сказать,
О, я как раз хотел сказать, что в 11-ой FreeBSD запили очень быстрый и хороший iSCSI
А где почитать про?
А где почитать про?
Например, посмотреть 30
Например, посмотреть 30 минутное видео с ruBSD'14 (https://events.yandex.ru/events/yagosti/rubsd14/). А вообще -- man ctladm и man ctld, даже на старых системах, просто в 11 накоммитили дофига очень сильных оптимизаций, что позволяет делать какие-то сотни тыщ иопсов (а так же специальных команд для вирутальных машин, типа провизионинга, особенно хорошо работающих поверх zvol'ов).
Выборочно глянул.
Выборочно глянул.
Интересно, но страшно. Мне то надо всего-то один RAID6-том, сделанный адаптеком, целиком отдать под винду и все.
Хотя, конечно, гибкость ZFS (и zvol и RAID тамошний) в этом месте была бы интересной.
Ну, никто не мешает отдать и
Ну, никто не мешает отдать и весь том. Все улучшения локинга, лэтенси и прочего общего от этого никуда не денутся. Предупреждения о заканчивающемся месте работать не будут, ну так тебе этого и не надо.
latency вот да. SRP у iSCSI
latency вот да. SRP у iSCSI на ровно одном железе выигрывал за счет этого (ну и того, что IPoIB - говно).
Надо поиграться, вдруг оно вообще стало сравнимо.
Вдогонку.
Вдогонку.
Чего мне требовать от Мелланокса, вот в чем вопрос. Я же до сего момента не пользовался их драйверами, я пользовался опенсорсным WinOFED 3.x. В их драйверах нету SRP.
А драйвера 2.x с сайта мелланокса - работают на 8.1(ну как минимум, заводятся), но без SRP толку в них нет (а Infiniband - очень плотно перевязанный стек, никакой слоевой модели там нет ради скорости, поэтому вот шансов совокупить SRP от 3.x и драйвера от 2.x - ничтожны, насколько я в этом деле разбирался три года назад).
То есть, понятно, можно попытаться в это дело погрузиться и самому попытаться скомпилировать драйвера, выяснить отчего они на 8-ку не встают. Но жизнь коротка...
just fyi. Самые дешевые
just fyi. Самые дешевые двухпортовые 10G SFP+ карты у Dell-а. Это перелицованный Intel x520-Da2. Причем так и называется. Стоит раза в 2 дешевле оригинального интела.
б/у Infiniband при этом в
б/у Infiniband при этом в разы дешевле, тот же ConnectiX 2 (10Gbit) на eBay стоят от $35. Однопортовые, правда
Попытка номер Х
Пипец, значит. Я пробовал свежий стек и старые драйвера от 3.1. Нет, что-то не так. И сами по себе они не ставятся. :( А денег на Коннектиксы нету, поставил 2.1 везде...и почему-то вместо 10 Гбит всё равно 2, максимум 3. Кабель 10 метров.
InfiniHost III and Windows 10/2012
А разве WinOFED 3.2 вообще поддерживает серию InfiniHost? Там же в сопроводиловке написано, что "более не поддерживаются, ConnectX only".
Который с сайта OpenFabrics -
Который с сайта OpenFabrics - поддерживал вроде (проверить уже не могу, полностью перешел на Myri 10G)
Ну, нужные inf и sys там есть
Ну, нужные inf и sys там есть. Я тут едва-едва 3.1 поднял, получаю примерно 5 Гбит туда и сюда по SMB (Windows 2012R2 - Windows 10), даже с рамдиска. Не знаете, в чём фишка может быть? Внутренние тесты типа ib_read_bw стабильно дают 980. Последний результат вот: http://static.diary.ru/userdir/4/7/7/8/47785/83588117.png
А как вы Openfabrics подняли
А как вы Openfabrics подняли на Win10?
(вопрос теоретический - но я на 8.1 не осилил, карты пропил0
Так ведь как и на 8.1. Один
Так ведь как и на 8.1. Один добрый немец таки сломал OFED-ы 3.1 и 3.2 на проверку ОС и выложил их тут: http://www.triebwerk23.de/joomla/index.php/downloads/summary/10-obenfabr...
И вот я не знаю, куда копать. Из ttcp выжал примерно 500 Мбайт/с, с буфером 32768, но где затычка, хоть убейте, не пойму. 10 гигабит там точно есть, иначе внутренние тесты показывали бы другие цифры. Карты Voltaire EX400, что ли, но прошиты последним Mellanox. Рылся в SMB настройках, в TCP — ничего не выходит. Лучший результат там я приводил по ссылке, и это, к слову, с рамдиска. А должно быть хотя бы 800. На вас одна и надежда, я никого больше не знаю, кто в этой теме копался так же глубоко.
Ну там не 10 гигабит, а 8
Ну там не 10 гигабит, а 8 (остальное все на коррекцию ошибок уходит), но 8 должно быть.
По сути же вопроса - я ничего уже не помню. В реальном production у меня был SRP, а не SMB, упиралось все в диски и я особо не парился.
Просьба залить офед для вин8
Просьба залить офед для вин8 с поддержкой srp.
Спасибо!
Поступил ответ:
Поступил ответ:
Да не вопрос, выкладываю у себя на дропбоксе последний хакнутый 8.1
8.2 уже не пашет с mHost, проверял
https://www.dropbox.com/s/srvbm3jvrp26l1c/OFED_3-1_win8_x64.rar?dl=0
Сама я гоняю вторые Мелланоксы,
ну...как копаю. Трансиверы есть уже, волокно жду LC-LC 50/125. Твинаксиал на 10 метрах не работает, либо шлёт кашу вместо трафика.
OFED for WIN 10
Огромное спасибо! А нет ли 3,2 версии?
Ну я так понял, что там выше,
Ну я так понял, что там выше, где написано 8.1/8.2 - имелсь в виду именно 3.1/3.2
Вот поди 3.2 и не делает чего-то там.
3,2
Эта версия инсталлера 3,1, в ней самой так и написано и визуально она немного от 3,2 отличается. И по ощущениям немного медленней работает.
OFED for WIN 10
Залейте пожалуйста куда нибудь ОФЕД с выпиленной проверкой. А то сайт на который вы дали ссылку похоже лежит.
Поступил ответ:
Поступил ответ:
Да не вопрос, выкладываю у себя на дропбоксе последний хакнутый 8.1
8.2 уже не пашет с mHost, проверял
https://www.dropbox.com/s/srvbm3jvrp26l1c/OFED_3-1_win8_x64.rar?dl=0
Сама я гоняю вторые Мелланоксы,
ну...как копаю. Трансиверы есть уже, волокно жду LC-LC 50/125. Твинаксиал на 10 метрах не работает, либо шлёт кашу вместо трафика.
Ссылки не работают
Добрый день!
Есть возможность перезалить ?
Все ссылки не работают, а тут внезапно понадобилось.
http://rgho.st/8BR5S66zv
http://rgho.st/8BR5S66zv
Сюда перезалил 3.1 с вырезанной проверкой.
Спасибо
Спасибо
https://www.sendspace.com
https://www.sendspace.com/file/ijgz11
https://www.sendspace.com/file/124iyu
Спасибо
Спасибо
Про 8/10 я в курсе, а не
Про 8/10 я в курсе, а не подскажете, как именно поднять SRP?
На Windows-сервере? Без
На Windows-сервере? Без понятия.
У меня серверная часть была на Linux, ну вот находится инструкция для убунты, у меня как-то так и было: http://www.servethehome.com/set-infiniband-srp-target-ubuntu-1204/
C Windows 8 засада, но не беда
Добрый день!
Сейчас у меня такое решение.
Target: CentOS + ZFS on Linux + SCST + SRPT + OpenSM.
Client: Ubuntu 15.10 + boot-раздел 2Gb на USB + корень(и всё остальное) SRP.
Это самое оптимальное решение, которое удалось получить.
iSCSI пользоваться не хочу.
До этого стораджем была OmniOS + napp-it. Она мне очень нравилась, но многих нужных пакетов нет. Даже OpenSM нет !!! Очень убогие возможности у SRPT.
SCST же очень удобная штука.
Windows 7 загружался по iSCSI(Intel), а другие тома подключались по SRP. Облазил весь интернет, но не нашел способа завести Infinihost III на Windows 8. Уже решил чего-нибудь более новое приобрести.
P.S.
По факту Windows мне практически не нужен.
Пару раз запускал его в Xen c пробросом видеокарты, USB и сетевухи(она просто с TOE - не пропадать же добру). Жесткий диск в этом случае через небольшую прослойку получается, но это лучше iSCSI.
Сначала не доверял ZoL, но она на одном уровне стабильности с нативными ФС. Особенно в сравнении с XFS(ей то я точно пользоваться не буду).