10G дома: первые успехи

lexa - 10/Фев/2012 15:34
Как я и предполагал в предыдущем посте на тему, дело было в бобине кривом кабеле (а чего я хотел за $16 без доставки...).

Не сдержался, купил 3-метровый D-Link в московской рознице, руки то чешутся.

Все практически мгновенно завелось, с одной тонкостью, результат вполне бодрый: 

ttcp PID=0x1e20 TID=0xd60
ttcp -t: buflen=65000, nbuf=10000, align=16384/0, port=5001  tcp  -> 10.1.1.2
ttcp -t: 650000000 bytes in 718.00 real MilliSeconds = 863.35 MByte/sec +++
ttcp -t: 10000 I/O calls, msec/call = 0.07, calls/sec = 13927.58

Это Connected Mode, MTU 65520, размер пакета - 65000 для ровного счета. Windows - Windows.

А помянутая выше тонкость простая: если нет свитча, то Subnet Manager надо запускать до того, как воткнута карта. Без этого оно о скорости договаривается не всякий раз правильно, бывают и те 1x, которые меня мучали в прошлый раз.

И, сюрприз, IPoIB прекрасно работает при 4x, но не работает на 1x. Хотя Infiniband-пакеты успешно ходят на обеих скоростях.

Плотно займусь рассмотрением скоростей (самба, iscsi, SRP) - не раньше выходных, пока RawDigger не дает отвлечься. C FreeBSD, вероятно, тоже будут приключения.

Comments

blacklion - 10/Фев/2012 16:43

ЗАВИСТЬ.
Я даже полный гигабит не смог раскачать -- не отдаёт самба и всё тут.

lexa - 10/Фев/2012 16:47

Ну так это не самба, это ttcp, бенчмарка.

Что там будет с самбой - отдельная история и скорее всего светит мне iscsi

blacklion - 10/Фев/2012 16:53

Да понятно. Но всё равно ЗАВИСТЬ :)

Fine (not verified) - 10/Фев/2012 21:22

А можна ссылку на кабель? Или полную маркировку.

lexa - 10/Фев/2012 21:51

D-Link DEM-CB300CX, обычный 10G кабель, самый дешевый из сетевых трехметровых.

А неработающий - noname.

J0hn - 10/Фев/2012 23:08

Интересно, а получится ли у меня 10G по этому http://en.wikipedia.org/wiki/Category_6_cable ? Википедия обнадёживает, но меня смущает то, что кабель для ib дороже на порядок.
Cat6 я "в стенах" кинул - он уже заштукатурен.
Может пока не поздно, кинуть между комнатами этот для ib.

lexa - 11/Фев/2012 10:03

Cat6 - это 4 пары, 8 проводов.
CX4 - это, если я правильно посчитал, 8 троек (Rx-Tx-земля), 24 провода
IB-шные карты - это или CX4 разъемы, или SFP (трансиверы в дырку вставляются), других вариантов не видел.
10G Ether бывает всякий (CX4, SFP, Cat6).

Разница в том, что BASE-T карты (пока?) еще достаточно дорогие, баксов 600 и выше за новую.
Ну то есть я вяло думал уже год, что пора 10G поднимать в моем рабочем углу, но over $1000 как-то останавливало, думал "если совсем припрет - куплю лучше еще один 4-портовый 1G за 200-300 и подниму multilink iscsi", а вообще - ждал подешевения 10G до "500-600 за пару карт".

А тут в декабре столкнулся с IB, увидел блог ирландца из которого следовало, что 10G-карты стоят копейки (а 40G - дешевле чем 10G ether) и возбудился.
Кроме того, есть CX4 10G Ether, который тоже стоит дешево, потому что CX4 "никому не надо".

Геморой с кабелями - дорого (а в Москве - отвратительно дорого), толстые, короткие и все такое - имеется. Опять же, практика показала, что бывают нерабочие кабели.
С другой стороны, по тем же кабелям работает SAS (4 линка), и по "нерабочим" скорее всего тоже будет (требования ниже) поэтому к делу я их постепенно пристрою, как мне кажется.
Хотя для SAS последнее время 8088 популярнее 8470, это тоже есть.

В long run, если не целиться на дешевый IB 10G, конечно Cat6 выглядит перспективнее.

J0hn - 11/Фев/2012 12:27

В long run, если не целиться на дешевый IB 10G, конечно Cat6 выглядит перспективнее.

Спасибо, вы меня успокоили. Да, мне именно нужно long run, не прям сейчас. Сейчас мне и 1G хватит.

lexa - 11/Фев/2012 12:49

Если 1G хватает - это здорово. Я то целюсь HDD вообще из рабочей станции (рабочих станций) вынести. Маленький SSD на загрузку (побольше - для рабочих файлов), остальное по сети.

Ну и за IB, как выяснилось в декабре, неплохо платят :)

J0hn - 11/Фев/2012 14:43

Если 1G хватает - это здорово. Я то целюсь HDD вообще из рабочей станции (рабочих станций) вынести. Маленький SSD на загрузку (побольше - для рабочих файлов), остальное по сети.

Не, ну цель хорошая.
У меня тоже похожие стремления, но в меньших масштабах. То есть текущего 2xhdd nas'а с его 20MiB/s мне хватает.
На ноутбуке у меня сетевая вообще только 100Mb выдает, хотя по спекам поддерживает 1G. Я её и так, и эдак, и разные драйвера, OS'и, даже без свитча пробовал кросовером - не идёт. Такое впечатление что что-то сгорело отвечающее за 1G. Саппорт насколько я помню предлагал что-то не реальное, типа прислать им ноутбук...
Короче, обновлю скоро ноутбук, будет на нём 1G - уже будет облегчение.

Ну и за IB, как выяснилось в декабре, неплохо платят :)

Ну хз, главное правильно всё считать. В смысле я не конкретно про ваш случай, а вообще. Мне, например, поминутная оплата мозг не плохо вправила: например если всё считать, то получается что такси дешевле общ.транспорта и т.п.

lexa - 11/Фев/2012 15:53

Если *все* ваше время покупают, то такси запросто будет выгоднее. А сон - чудовищно невыгоден, прямая потеря денег.

Но на деньги я свое время не считаю, а то получится вдруг, что написание этого камента - чудовищный убыток, спать же не смогу (но не спать - это, как написано выше, прибыль)

J0hn - 11/Фев/2012 18:38

Если *все* ваше время покупают, то такси запросто будет выгоднее.
В моём случае - именно *всё*. Причём я посчитал, что такси будет даже выгоднее чем своя машина.

А сон - чудовищно невыгоден, прямая потеря денег.
Но на деньги я свое время не считаю, а то получится вдруг, что написание этого камента - чудовищный убыток, спать же не смогу (но не спать - это, как написано выше, прибыль)
Не, ну если совсем критично-практично, то если не спать, если не видится с родственниками/друзьями, не общаться в сети и т.п, то очень скоро в таком темпе эффективность работы упадёт до нуля, и соответственно краник тоже перекроется.
На эту тему даже есть картинка - http://kohanov.com/tmp/fun048.jpg (правда там SAP, но не суть)

J0hn - 11/Фев/2012 18:51

что написание этого камента - чудовищный убыток, спать же не смогу

И тут смотря как посмотреть.
Можно, например, так http://www.alexa.com/search?q=http%3A%2F%2Fblog.lexa.ru&r=home_home&p=bi... .
Либо внизу страницы "спонсоры проекта". Или ещё как-нибудь, не суть.

Тут главное не впадать в крайности.
Например если взять тот же пример с такси и общ.транспортом - я например с удовольствием разницу по времени поработаю, вместо толкания в тарнспорте. У вас тоже наверняка найдётся не один способ как с пользой провести время.
Просто когда повременная оплата - это что ли лучше замечается...

lexa - 11/Фев/2012 19:08

А я с удовольствием езжу в автобусе/метро, книжку можно почитать, на людей посмотреть. Но, правда, даже не каждую неделю это делаю :)