Про Infiniband и FreeBSD (again)
lexa - 24/Мар/2012 20:41
Все-таки Infiniband на линке FreeBSD-FreeBSD получается какой-то очень мучительный:
- Datagam Mode - устойчиво теряет несколько процентов пакетов на ping -f (icmplim, естественно, задран до небес, разрешающее правило в ipfw - первое). Ну и всякие iperf работают в лучшем случае на гигабит, а обычно и меньше.
- Connected Mode на первый взгляд лучше: packet loss 0%, гигабитов эффективных примерно 5, но:
- Установить эту самую Connected Mode между двумя машинами получается не с первого раза. Иногда надо ifconfig down сказать, иногда хватает с одной стороны, иногда надо с двух.
- Могучий tcp-поток с одной из моих машин на вторую (ftp get /dev/zero /dev/null) может отправить ее в ребут или просто в транс. При этом в другую - все в порядке и я даже zfs send/zfs receive на 6Tb в середине недели успешно исполнил.
Да, попытка поднять Connected Mode между FreeBSD и Windows один раз таки удалась. После каких-то перезагрузок, подниманий-опусканий интерфейса и т.п. При этом отвалились пинги с Windows, а вся конструкция прожила минут 20, а потом FreeBSD-шная сторона перезагрузилась.
Не исключено, конечно, что какое-то железо где-то как-то криво, но с Windows все, повторяю, работает.
Такие вот вести с полей.
Comments
мириком таки рулит ИБ я бы не осилил
мириком таки рулит
ИБ я бы не осилил
С мирикомом у меня проблем бы этих не было - слотов свободны
С мирикомом у меня проблем бы этих не было - слотов свободных мало, а карты однопортовые.
А по одному линку - FreeBSD-Windows - все работает прекрасно и по IB и по 10G.
я понимаю, что уже поздно, но
я понимаю, что уже поздно, но всё-таки...
в плане latency IPoIB лучше/хуже 10G IPoE?
IPoIB это скорее всего вовсе
IPoIB это скорее всего вовсе жопа, как минимум со старыми картами (но ведь вопрос именно про них, а не про конвергентные, которые умеют и IB и E) - там IP делается софтом на хосте, никаких тебе контрольных сумм на карте, ничего.
Вообще, в раньшие годы IB (без IP) считался лучше по латентности, чем E (в свитчеваной сети, не P2P). Но вроде бы создатели E-свитчей этим озаботились всерьез и подошли близко очень.