10G дома: Myricom, Windows-SMB, iSCSI

Скорость падает понятно почему - потому что чем меньше блок, тем больше заметен RTT. Что будет на IB - увидим, это все требует времени, которого мало, а спешки у меня тоже нет т.к. вся перестройка запланирована одновременно с апгрейдом workstation на Ivy Bridge, т.е. это не раньше мая скорее всего.

Ну а сейчас - ну кину я 10G то текущего NAS, ну упрусь там в диски на уровне ~200Mb/s, это то все тривиально.

Про OpenSM на солярке вот чего пишут: http://syoyo.wordpress.com/2011/12/13/opensm-on-solaris11-works/

У себя я его поднимал и под виндой и под Linux. Сам собирал - только под Linux (ну и на FreeBSD9 он входит в систему и как-то собирается).

Под Linux тянул за собой какой-то infiniband-devel или что-то такое, что у Убунты было в репозитории и приехало как-то само (я не помню что именно, но помню что никакой проблемы не было с написанием apt-get install).

А OFED линуксовый на солярке - не собирается никак, даже частями?

OFED - это и дрова и тестовые утиля и библиотеки. И OpenSM тоже, во всяком случае оный у меня всегда приезжал с OFED.

Кабели - да, одни и те же. У IB требования, похоже, чуть ниже (или чуть другие) - у меня из 4-х кабелей один работает только с IB, а с Myrinet там carrier дрожит, несколько раз в минуту реконнект. Остальные три - работают и там и сям.

Я не умею правильно померять RTT на Myrinet (не понимаю чем), по пингу - там микросекунд 100-120. У IB моего - 6 микросекунд на коротких пакетах.

На практике меня интересует ситуация, "как бы оно было, если бы на той стороне был бы быстрый массив".
Но быстрого массива нет, вот и эмулирую рамдиском.

Для мелких файлов, чую уже, придется свой софтварий написать.

Да, с кабелями - геморой. У меня так:
- китайские кабели (3м) - работают и с Myri и с IB
- D-Link (фирменный, купленный здесь за безумные $180) - только IB
- два метровых совсем дешевых (по $16) - на IB дали 1x, с ether - не работают.

нету солярки в хозяйстве.

Я боюсь, что MPI хочет взять нормальную топологию из IB, а не догадываться что три машины соединены в кольцо. Не уверен, но подозреваю. Т.е. больше двух машин не будет работать нормально скорее всего.

Но свитчи 10Gb совсем же дешевые. 8 портов стоят вот прямо сейчас на eBay $450. И видел 24-портовые за $999 или около того.
Понятно что еще доставка, встанет баксов в 200 запросто, но цены в любом случае приемлемые.

Так вот прямо на eBay набираю "infiniband switch", сортировка по Price+Shipping, lowest first.

Вылезает вот это: http://www.ebay.com/itm/Flextronics-8-Port-4X-SDR-InfiniBand-Switch-F-X4...

Шиппинг написано $49, но это обман.

Ну и там дальше всякое, в том числе 288 портов за $2k (но перевозка этой телушки обойдется прилично, плюс ее точно не растаможить нормально).

Понятно что первый (или там есть еще 24 порта в 1U за 800-999) - надо доставлять в место вроде Shipito и платить им еще немножко денег за перепаковку. Но это - если слать на частное лицо - пролезает под таможенный бесплатный лимит и финальная цена (с пересылками и т.п.) будет в районе 600-650 за 8-портовик и 1200 за 24-портовик.

Если на eBay порыбачить (и, имея адрес в Shipito - не игнорировать то, что USA Only) - я и за $250 за 8 портов видел варианты.

Надо рыбачить. Я видел близко к этой цене.
Но для 1U цена пересылки будет изрядная, большой разницы 250 или 350 нет.