Помимо Infiniband-карточек, я, как и собирался, запасся картами Myrinet 10G. Портов меньше, дороже (получилось $80 за карту), но тоже интересно.
После пары дней мучений (о которых ниже) удалось получить такое вот (tcp, 1 поток):
------------------------------------------------------------ Client connecting to 10.3.1.2, TCP port 5001 TCP window size: 256 KByte ------------------------------------------------------------ [ 3] local 10.3.1.1 port 1383 connected with 10.3.1.2 port 5001 [ ID] Interval Transfer Bandwidth [ 3] 0.0-10.0 sec 7.77 GBytes 6.68 Gbits/secЭто Iperf, между Win7 и Linux. Медленнее чем IB в connected mode, быстрее чем в обычном режиме. Что неудивительно, ибо в connected mode размер пакета 64k, в обычной - 2k, а тут чем больше - тем лучше.
Плюсы (в сравнении с Mellanox):
- Есть драйвера для мака (не пробовал). Ну и вообще, все кроме Windows поддерживают сходу, для виндов - просто ставятся драйвера.
- Аппаратные контрольные суммы для IP, в случае IPoIB все считается, как я подозреваю, софтом. В результате 26Gbit (два двунаправленных потока по IB) грузят i7-920 ровно наполовину. Мне, впрочем, нужно меньше, оттого я не сильно парюсь.
Минусы:
- Никаких наворотов, вроде Winsock Direct, SRP, SDP, RDMA. Просто Ethernet 10G. Это может быть и плюс, если хочется просто работать (Subnet Manager не нужен, ARP как у людей и т.п.), но IB-шные навороты в локальном масштабе вполне могут быть и полезны.
- Один порт. Т.е. цена за порт выше раза в 4 (хотя и остается низкой).
- Карты сильно греются, пришлось искать слот с обдувом.
Comments
интересно таки отчего 6.68 с какой стороны у тебя тормоза? у
интересно таки отчего 6.68
с какой стороны у тебя тормоза?
у меня практически теоретический предел
У меня tcp window маленькое. При реальных ~800 Mb/sec, 256к
У меня tcp window маленькое. При реальных ~800 Mb/sec, 256к пролетает за 0.3 мс, что по порядку величины похоже на реальную задержку (по пингу). Но больше линукс не дал поставить, там надо тюнить, а мне было не до того.
У меня была задача избавиться от моргания, что и получилось перестановкой в другой слот. Т.е. карты хорошие, кабель хороший, а потюнить... ну да, можно конечно, но оно все одно в диски упрется.
А какие именно IB-шные навороты в локальном масштабе могут б
А какие именно IB-шные навороты в локальном масштабе могут быть нужны, и зачем?
PS: А длина кабеля какая?
Для хождения к NAS - SRP. А для развлечений - все остальные.
Для хождения к NAS - SRP.
А для развлечений - все остальные.
Оффтоп
Небольшой оффтоп — пытаюсь комментировать вот тут:
http://www.rawdigger.ru/howtouse/pixel-capacity-and-amplifier-gain#comme...
Но эффект, нажимаю "Save", комментарий пропадает, никакого сообщения не выводится. Подозреваю премодерацию, но смущает отсутствие сообщения.
Win7, Chrome.
Win7, Chrome.
Анонимусы (неавторизованные)
Анонимусы (неавторизованные) попадают на премодерацию (до капчи руки еще не дошли).
О чем, в принципе, там пишется, но надо видеть где.
А премодерацию мы делаем не каждый час.
Достал три ваших комментария оттуда. И ответил на два (третий - дубль)
Там можно или через FB авторизоваться, или банально зарегистрироваться и тогда ответы сразу будут вылезать
Вопрос - а где вы их по
Вопрос - а где вы их по 80баксов взяли? интересно,хочу попробывать.
На eBay. Но у меня была
На eBay. Но у меня была оказия с доставкой из штатов, потому платил только за Overnight delivery по US
Покупал вот тут, кажется: http://www.ebay.com/itm/MYRICOM-10G-PCIE-8A-C-10GB-NETWORK-ADAPTER-CX4-N...
Если IB покажет себя хорошо, то у меня будет лишний комплект Myricom-ов (и кабель), потому как у IB - два порта (которые мне и нужны), а слоты в дефиците.
Выяснится в течение пары недель, я думаю. Следите за объявлениями :)
Post new comment