10G дома: Myricom 10G

Помимо Infiniband-карточек, я, как и собирался, запасся картами Myrinet 10G. Портов меньше, дороже (получилось $80 за карту), но тоже интересно.

После пары дней мучений (о которых ниже) удалось получить такое вот (tcp, 1 поток):

------------------------------------------------------------
Client connecting to 10.3.1.2, TCP port 5001
TCP window size:  256 KByte
------------------------------------------------------------
[  3] local 10.3.1.1 port 1383 connected with 10.3.1.2 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  7.77 GBytes  6.68 Gbits/sec
Это Iperf, между Win7 и Linux. Медленнее чем IB в connected mode, быстрее чем в обычном режиме. Что неудивительно, ибо в connected mode размер пакета 64k, в обычной - 2k, а тут чем больше - тем лучше.

Плюсы (в сравнении с Mellanox):

  • Есть драйвера для мака (не пробовал). Ну и вообще, все кроме Windows поддерживают сходу, для виндов - просто ставятся драйвера.
  • Аппаратные контрольные суммы для IP, в случае IPoIB все считается, как я подозреваю, софтом. В результате 26Gbit (два двунаправленных потока по IB) грузят i7-920 ровно наполовину. Мне, впрочем, нужно меньше, оттого я не сильно парюсь.

Минусы:

  • Никаких наворотов, вроде Winsock Direct, SRP, SDP, RDMA. Просто Ethernet 10G. Это может быть и плюс, если хочется просто работать (Subnet Manager не нужен, ARP как у людей и т.п.), но IB-шные навороты в локальном масштабе вполне могут быть и полезны.
  • Один порт. Т.е. цена за порт выше раза в 4 (хотя и остается низкой).
  • Карты сильно греются, пришлось искать слот с обдувом.
В бой поставлю, пожалуй, IB, а пару этих оставлю в заначке, может и пригодятся.

Comments

интересно таки отчего 6.68
с какой стороны у тебя тормоза?
у меня практически теоретический предел

У меня tcp window маленькое. При реальных ~800 Mb/sec, 256к пролетает за 0.3 мс, что по порядку величины похоже на реальную задержку (по пингу). Но больше линукс не дал поставить, там надо тюнить, а мне было не до того.

У меня была задача избавиться от моргания, что и получилось перестановкой в другой слот. Т.е. карты хорошие, кабель хороший, а потюнить... ну да, можно конечно, но оно все одно в диски упрется.

А какие именно IB-шные навороты в локальном масштабе могут быть нужны, и зачем?

PS: А длина кабеля какая?

Для хождения к NAS - SRP.
А для развлечений - все остальные.

Небольшой оффтоп пытаюсь комментировать вот тут:
http://www.rawdigger.ru/howtouse/pixel-capacity-and-amplifier-gain#comme...

Но эффект, нажимаю "Save", комментарий пропадает, никакого сообщения не выводится. Подозреваю премодерацию, но смущает отсутствие сообщения.

Win7, Chrome.

Анонимусы (неавторизованные) попадают на премодерацию (до капчи руки еще не дошли).
О чем, в принципе, там пишется, но надо видеть где.
А премодерацию мы делаем не каждый час.

Достал три ваших комментария оттуда. И ответил на два (третий - дубль)

Там можно или через FB авторизоваться, или банально зарегистрироваться и тогда ответы сразу будут вылезать

Вопрос - а где вы их по 80баксов взяли? интересно,хочу попробывать.

На eBay. Но у меня была оказия с доставкой из штатов, потому платил только за Overnight delivery по US
Покупал вот тут, кажется: http://www.ebay.com/itm/MYRICOM-10G-PCIE-8A-C-10GB-NETWORK-ADAPTER-CX4-N...

Если IB покажет себя хорошо, то у меня будет лишний комплект Myricom-ов (и кабель), потому как у IB - два порта (которые мне и нужны), а слоты в дефиците.
Выяснится в течение пары недель, я думаю. Следите за объявлениями :)