Про китайский 10G Ethernet
Вот если честно, то толстые CX-4 кабели меня задолбали (сами разъемы длинные, ну и вообще неудобно), несмотря на то что дают кисть.
И решил я купить на грош пятаков пару китайских (фейковых?) интелов X540-T2. В воскресенье пришли, вчера-сегодня по много часов их гонял, имею сказать:
1. Обе карты, будучи вставлены в FreeBSD, сказали мне 'EEPROM Checksum error'. Я опечалился, закомментарил в ядре две строчки, пересобрал, карты заработали. Отлегло (потому что я в процессе начитался ужасов, как у родных настоящих интеловых карт эта ошибка не пропадает и про то есть цельная секция в документации).
2. После этого я их перепрошил. Одну - фирмварью, найденной на сайте Lenovo (не разобрался сначала в сайте Интела, а хотелось поскорее), ошибка пропала. Тогда я вдумчиво поискал на сайте Интела и перешил вторую карту уже последней версией прошивки. Ошибка тоже пропала.
3. Кабелей 6A у меня нет (уже на почте, но еще не забрал), нашел метровый 5E-STP и гонял дальше на нем. iperf, FreeBSD 10.3 - FreeBSD 11-Current:
- В одну сторону вот так:
[ 3] 0.0-28800.0 sec 33183 GBytes 9.90 Gbits/sec - Во вторую - совершенно аналогично
- А в две стороны сразу (iperf -d) - у меня кончается CPU (по top 130%) и получается 9.9 в одну сторону и 7 в другую.
- Ошибок, дропов - ноль.
- Ничего не настраивал, кстати, настройки есть, но с моим паттерном я и 9.9Gbit (суммарно в обе стороны) забить не смогу.
На чем я и успокоился.
Выбирал не самые дешевые карты, а нашел положительный отзыв именно о конкретном X540-T2 картах, это было не у самого дешевого продавца.
Вот, собственно, конкретный лот
Предложил $320 за пару, сторговались на $340, плюс доставка, доехало за 10 дней (до EMS за 7, а дальше они мне по Москве несли три дня).
Завтра-послезавтра заберу кабели с почты и одну пару Myricom освобожу от работы.
Да, у них есть RDMA. Надо попробовать SCST вернуть, не уверен что возможно.
Подозреваю, что это в чистом виде отбраковка: криво прошились на заводе, EEPROM Checksum, в отвал. А перешивкой на заводе заниматься ленятся (или вообще считают что неправильно оно).
UPD: тестировал только одну пару портов, сейчас займусь второй.
Comments
недешево.. я пару 20Gbps
недешево.. я пару 20Gbps мелланоксов взял за ысячу ублей, плюс кабель за ту же тысячу. имею 1,6GB/sec через IB/SRP.
А вот где можно взять CX4
А вот где можно взять CX4 кабель на 20G за тысячу? И желательно метра на 3 :) А то у меня три кабеля метровых есть, но на 20G error rate такой, что вешайся, а на 10G пашет влёт.
у меня за тысячу метровый.
у меня за тысячу метровый. "ловил" на авито и скидку просил ;) наверное еще лучший вариант - ebay.
Там непонятная лотерея.
Там непонятная лотерея.
У меня фирменный D-link-овский кабель за $180 не работал с Myricom (но работал с Mellanox на 10G), а самый дешевый кетай за $19 - работал прекрасно.
Визуальное изучение "как разъемы распаяны" (я развинчивал, смотрел) - каких-то косяков не выявило.
Дядь, как-то безумно дорого.
Дядь, как-то безумно дорого. мы брали пару китайских же x520 с одним sfp+ (E10G41BTDA) тыщ за 12, кажись, за пару. С не менее китайскими sfp+ работает наура.
http://paste.org.ru/?1un2am
Ну да, однопортовые и старые
Ну да, однопортовые и старые - дешевле.
Я хотел
а) двухпортовые
б) без вентилятора - и это получается X540
И RJ45 хотел, кстати, потому
И RJ45 хотел, кстати, потому что наплатные 10Gb/RJ45 уже появляются за суразные деньги.
X520-DA1 кстати есть и не
X520-DA1 кстати есть и не китайские, а натуральные. Дешево за б/у, пара с доставкой будет в районе 150.
E10G42BTDA - два порта. Чуть
E10G42BTDA - два порта. Чуть дороже, каэшно, но всё равно вменяемо.
Медь на 10г очень капризная. Мы отказались от direct connect sfp+ из-за этого.
Ну и вентиляторов там никаких нет, конечно же.
Ну посмотрим как оно будет с
Ну посмотрим как оно будет с медью. Мне расстояния то нужны 2-3 метра.
Я использую десяток Mellanox
Я использую десяток Mellanox connectx 1-2 вполне работают.
Ну вот IB на FreeBSD оказался
Ну вот IB на FreeBSD оказался гемороем. Зато на Linux есть SRP.
Все такое вкусное....
У меня почему-то не
У меня почему-то не получается выжать 10Gbit, упираюсь в 4.8 примерно, т.е. половину. На одной стороне Linux под гипервизором (X540-T2 проброшена в VM со всеми портами), на другой Win10 на железе.
Если в iperf дам параметр параллельности -P, то в 4-5 потоков упираюсь в 10, дальше не растёт. Пробовал то же самое между виндой под гипервизором и виндой на десктопе - та же абсолютно картина. Пытаюсь понять, кто виноват - винда, линукс, гипервизор, или так и должно быть (т.е. iperf не показатель).
>> Пытаюсь понять, кто
>> Пытаюсь понять, кто виноват - винда, линукс, гипервизор, или так и должно быть
Ну я надеюсь - постепенной отменой всего вышеперечисленного?
У меня 9.9 в одну сторону и ~15 в сумме было на FreeBSD/FreeBSD (10-я и 11-я версии)
Как-то так, да, буду
Как-то так, да, буду грузиться на обоих боксах с Live-USB и пробовать.
С какими ключами был запущен iperf (какой версии?) на FreeBSD?
[lexa@iscsi ~]$ pkg info |
[lexa@iscsi ~]$ pkg info | grep iperf
iperf-2.0.5 Tool to measure maximum TCP and UDP bandwidth
В history нашлись такие ключи:
iperf -w 1024k -l 1M -f m -c 10.6.0.1 -i 900 -t 28800
А если просто, без ключей,
А если просто, без ключей, только с "-s" на одной стороне и "-c" на другой - что покажет?
Да тоже нормально
Да тоже нормально
root@iscsi:/home/lexa # iperf -c 10.5.0.1 -t 60
------------------------------------------------------------
Client connecting to 10.5.0.1, TCP port 5001
TCP window size: 35.0 KByte (default)
------------------------------------------------------------
[ 3] local 10.5.0.2 port 53177 connected with 10.5.0.1 port 5001
[ ID] Interval Transfer Bandwidth
[ 3] 0.0-60.0 sec 69.1 GBytes 9.89 Gbits/sec
При этом у меня, конечно так:
ifconfig ix1 10.5.0.2/24 mtu 9000 lro
Кстати, и с -d стало
Кстати, и с -d стало нормально (я с тех пор на FreeBSD-11 ядро пересобрал без расширенных проверок, может в этом дело):
root@iscsi:/home/lexa # iperf -c 10.5.0.1 -t 10 -d
...
[ ID] Interval Transfer Bandwidth
[ 4] 0.0-10.0 sec 11.4 GBytes 9.76 Gbits/sec
[ 5] 0.0-10.0 sec 11.3 GBytes 9.70 Gbits/sec
Но про FreeBSD 11 я наврал.
Но про FreeBSD 11 я наврал. Там -CURRENT:
root@iscsi:/home/lexa # uname -a
FreeBSD iscsi.lexa.ru 12.0-CURRENT FreeBSD 12.0-CURRENT #4 r302772M: Wed Jul 13 21:38:55 MSK 2016 root@iscsi.lexa.ru:/usr/obj/usr/src/sys/GENERIC amd64
А на другой стороне так:
lexa@home-gw:~# uname -a
FreeBSD home-gw.lexa.ru 10.3-STABLE FreeBSD 10.3-STABLE #11 r300047M: Tue May 17 16:19:12 MSK 2016 lexa@home-gw.lexa.ru:/usr/obj/usr/src/sys/GENERIC amd64
Дата сборки ядра примерно равна дате svn up
собственно, svn revision
собственно, svn revision видна ж
Загрузиться с LiveUSB у меня
Загрузиться с LiveUSB у меня так и не вышло - ни один из современных дистрибутивов почему-то не взлетел в графическом режиме, а в текстовом я свежих не нашёл. Чертовщина какая-то... Искать дальше уже не стал, отложу на потом, когда фаза Луны сменится :)
Вот как-то так получилось с винды на VM линукс.
Т.е. честных 10G там есть, надо только нагружать правильно.
Если разница в window size,
Если разница в window size, значит оно где-то (Linux, Windows, оба) не разгоняется (как положено новыми TCP ext) до вменяемых для 10G значений.
FreeBSD лежит в обычном месте: ftp://ftp.freebsd.org/pub/FreeBSD/releases/amd64/amd64/ISO-IMAGES/11.0/
(-memstick поди решит задачу)