Q: HPE OfficeConnect 1850 6GXT?

lexa - 12/Фев/2019 13:58

Пока я думал и чесался, свитчи Netgear XS505M из продажи куда-то делись. А ASUS продолжает виснуть, правда как-то пореже чем раньше (долго не было, но сегодня вот опять).

Пошел шопиться и предварительно нашопил вот это вот: HPE OfficeConnect 1850 6XGT and 2XGT/SPF+ Switch

Оно, конечно, ~$650, но с другой стороны мне 8 портов (впритык) хватает, а если BMC на серверах перевести в in-band режим, чтобы портов не занимали, то даже и будет два резервных, то есть ASUS можно будет до поры припрятать на полку.

ВОПРОС, собственно: про Office Connect 1850 что-нибудь плохое известно? А про конкретную 6+2/2 10G модель? Мне, собственно, много не надо, вот чтобы не висло с Jumbo Frames на 10G, собственно и все...
 

Comments

marck - 12/Фев/2019 18:18

бывает ещё http://dlink.ru/ru/products/1/2023_b.html -- но я не знаю, можно ли его купить со стороны

мы сейчас такие будет пробовать

marck - 12/Фев/2019 18:20

или даже http://dlink.ru/ru/products/1/2138_b.html может тебе хватить.

но пока мы ничего совсем конкретного про них сказать не можем

lexa - 12/Фев/2019 19:44

Ну вот он стоит ~50k, а HP - 40. А 12-портовый - вообще 80+.

Мне и 40 жалко, если честно.

Andrey Melnikov (not verified) - 12/Фев/2019 22:02

Бывает еще такое http://dlink.ru/ru/products/1/1956.html - с буковкой X. управление убогое, консоль тошнотворная, но зато работает. При выборе HP vs Dlink - проще брать dlink. HP вместо свичей делает откровенное дорогущее унылое говно.
И стоит 25. Jumbo в 9к - умеет.

PS: А то, что у тебя асус виснет - так то видать чипсетопроблемы. Впрочем, что моно ждать от свича с достоинствами в виде "тонкий стильный корпус". Микротик блин какой-то.

lexa - 13/Фев/2019 08:10

Там десятки - SFP+, а у меня медь RJ45. А с такими SFP+ экономика совсем другая.

Andrey Melnikov (not verified) - 13/Фев/2019 11:16

Экономика - другая, да. Но невооруженным глазом видно, что с SFP+ портами у тебя выбор железа огромен, да и можно DAC'и покупать для соединения ближайших железок. А вот с RJ45 - одни хипсторские поделки. А с утчетом нового стандарта на 2.5G - менять прийдеться и то и другое.
По $80 на амазоне есть SFP+ RJ45 модули. И на ebay'e - тоже.
Попробуй блок питания своему асусу сменить на более человеческий - типа такого http://www.mean-well.ru/store/GS18A05-P1J/

lexa - 13/Фев/2019 13:57

У меня уже медь везде. И в одном месте распаяна на плате, т.е. это не замена карточки.

Andrey Melnikov (not verified) - 13/Фев/2019 18:30

Так всяко Dlink за 25 + 2 модуля по 5 - дешевле очередной soho железки от HP за 45, нет?
Или я считать не умею?
На разницу в 10 штук - можно оптикой и DAC'ами обмотаться. И изначально идея "везде медь" сомнительна, но что есть - то есть.

lexa - 14/Фев/2019 14:06

Ну сравнивать 2 10G порта с 8-ю портами 10G тоже как-то не але?

Т.е. вот те 2 порта что есть - это минимальный минимум, потому что устройств сейчас три (из них два повязаны P2P) и, в принципе, хочется и 4-е (потому что вроде появляются вменяемые адаптеры Tbotl - 10G)

lexa - 14/Фев/2019 14:08

Проглядел сгоряча, там 4 порта у D-link.

Ну может быть и да. Ну то есть к примеру вообще одну SFP+/RJ45, а остальное на direct attach.

lexa - 14/Фев/2019 14:12

Но вот вопрос про SFP+/RJ45 "по пять".

Я вижу на ebay - по $85, это 5700, но не бывает ли там проблем с совместимостью?

Andrey Melnikov (not verified) - 15/Фев/2019 12:40

Dlink не циска - жрет всё подряд.
Да и SFP модули - очередной SerDes конвертор в мигающий светодиодик. Проблемы с совместимостью - это пристальное рассматривание содержимого прошивки по i2c - а написано ли там специальное петушиное слово или нет.
Судя по тому, что все представленные модули сразу умеют 2.5/5 - похоже, что это клоны. Одни "для циски" - подороже, другие для убиков - подешевле.

Igor - 12/Фев/2019 20:45

Если вас по прежнему устраивает 2*10G, то есть https://www.amazon.com/dp/B0765ZPY18/?coliid=IWI7CAGX2AM9B&colid=JX43KPG... или даже неуправляемый https://www.amazon.com/dp/B076642YPN/?coliid=I308K6C5XEN6IK&colid=JX43KP...

Или нужно вот прямо сейчас?

lexa - 12/Фев/2019 20:59

Ну там есть, к примеру, такой отзыв:

Switch doesn't support jumbo frames as specified in datasheet. I opened a ticket with Netgear Support, and they where quickly able to reproduce the issue and said they were working on a fix. Then, for the next 25 days, they didn't initiate any communication on this ticket. When I would ask about the status of this ticket, they would only say I'll check with so and so in that department and then never get back to me until I asked for another update.

При этом, на MTU1500 у меня самба работает шибко медленно (правда через асусий свитч).
И, соответственно, пробовать на себе - поддерживает, не поддерживает - не хочется.
HP то поддерживает.

marck - 12/Фев/2019 21:00

HP _пишет_ что поддерживает. NetGear тоже ;-P

lexa - 12/Фев/2019 21:06

Угу, все пишут.
И Asus поддерживает. Только виснет (без jumbo я не пробовал за полной ненужностью этого для меня)

lexa - 12/Фев/2019 21:11

Вот попробую MTU 4000 пока.

marck - 12/Фев/2019 21:02

а, да, и Асус-то -- тоже:

Jumbo Frame : up to 16 KB

Andrey Melnikov (not verified) - 12/Фев/2019 23:55

А где вы взяли то про 16K?

Берем весёлые картинки от китайцев http://koolshare.cn/thread-79065-1-1.html с внутрянкой этого soho железа, видим свитч-чип 88E6190X и SerDes приемо-передатчик 88X3220. Идем в датащит от старшего 88E6390X и видим максимум jumbo в 10K. Хорошо, ходим в исходники ядра linux, смотрим, что таки да - 9160 конфигурится как 9360 серия, и max mtu 9676. Откуда 16K то?

lexa - 13/Фев/2019 08:13

А на практике бывает больше чем ~9000? Какие карты умеют 16к?

Andrey Melnikov (not verified) - 13/Фев/2019 10:51

Бывает. Попадались dlink'и свичи - с 13k. Вот DXE-810S пишут поддерживает 16k. Но из карт имеет смысл играть только с интелевыми.

lexa - 13/Фев/2019 11:07

Свитчи то понятно что могут иметь (запас на размер пакета).

Погуглил маленько, про super jumbo frames разговоры всякие есть, а чтобы вот что-то поддерживало (и в гугле на первое место вылазило) - не видать.

Польза, по идее, может быть от них...

Igor - 12/Фев/2019 22:12

Мне хоть и не срочно, но я и сам присматривался к тому, что смарт. Глянул на апдейт firmware, июльский. Печально :(

blacklion - 13/Фев/2019 00:46

ОфисКоннект - наследие 3Кома. Не знаю как сейчас и с десяткой, но с гигабитами у меня с ими был хуже опыт, чем с родными ПроКурвами.

marck - 13/Фев/2019 00:54

Подписуюсь.

8-портовый 3cdsg8 был *очень* далёк от wire speed.

lexa - 13/Фев/2019 08:38

Это было per port ограничение или per switch?

Потому что заявлено там (у обсуждаемого исходно HPE) 160Gbit на fabric (т.е. 8 десяток x 10G x duplex), а по факту у меня ну три порта десяточных (и никакого фул-дуплекса там не будет естественно если в полный рост)

geomflash - 13/Фев/2019 13:57

Уже есть уверенность, что именно в этом причина?
У меня сейчас заканчивается переливка данных со старой машины (core 2 duo 2,4GHz) по вставленной для этого 10Gbit сетевой. Как закончится гляну как влияет изменение mtu.

lexa - 13/Фев/2019 14:11

Нет, уверенности нету.

Переставил MTU на 4074, продолжаю наблюдения над асусом. Пока не висло, но это ни о чем не говорит, оно должно хотя бы месяц так продержаться.

geomflash - 13/Фев/2019 15:27

Помню от jumbo клинило когда ещё был только 1Gbit. Под нагрузкой это происходило через день-два в самый неподходящий момент. Почему это происходило так и не понял, но когда возвращал 1500 забывал о сети вообще. Коммутаторы тогда использовались 3com и hp procurve. Какие конкретно не помню, но поддержка jumbo была у всех. Причём когда забывал и опять включал на некоторых машинах jumbo нарывался по-новой :-).

iperf3 -с 127.0.0.1 на медленной системе (FreeBSD 12.0):
[ 5] 0.00-10.00 sec 19.2 GBytes 16.5 Gbits/sec 0 sender
[ 5] 0.00-10.01 sec 19.2 GBytes 16.5 Gbits/sec receiver

на быстрой системе (FreeBSD 11.1 правда под рабочей нагрузкой):
[ 5] 0.00-10.00 sec 48.7 GBytes 41.9 Gbits/sec 0 sender
[ 5] 0.00-10.00 sec 48.7 GBytes 41.9 Gbits/sec receiver

iperf3 между медленной и быстрой.

mtu 9000
сервер быстрая система:
[ 5] 0.00-10.00 sec 11.4 GBytes 9.80 Gbits/sec 0 sender
[ 5] 0.00-10.00 sec 11.4 GBytes 9.79 Gbits/sec receiver
сервер медленная система:
[ 5] 0.00-10.00 sec 9.33 GBytes 8.01 Gbits/sec 0 sender
[ 5] 0.00-10.04 sec 9.33 GBytes 7.98 Gbits/sec receiver

mtu 1500
сервер быстрая система:
[ 5] 0.00-10.00 sec 8.60 GBytes 7.39 Gbits/sec 0 sender
[ 5] 0.00-10.00 sec 8.60 GBytes 7.39 Gbits/sec receiver
сервер медленная система
[ 5] 0.00-10.00 sec 6.59 GBytes 5.66 Gbits/sec 1324 sender
[ 5] 0.00-10.10 sec 6.59 GBytes 5.60 Gbits/sec receiver

Получается на медленных системах изменение mtu очень заметно.

lexa - 13/Фев/2019 15:53

Ну на самом деле, я могу сервер с рабочей станцией соединить прямой соплей (мимо асуса и mtu 9k будет работать) а в асус сунуть бэкапный процесс и медленных клиентов (и mtu1500).

Но для начала хотелось бы понять, виснет ли асус на mtu 4074

geomflash - 25/Фев/2019 13:39

Обнаружилось, что 12.0 <->11.1 резко добавляет производительности в связке дисковая подсистема-сеть по сравнению с 11.1<->11.1, если версию менять на медленной машине. У меня наблюдается стабильный прирост 15-16% для одиночного hdd отданного по iscsi и 42% для страйпа из двух hdd отданных по iscsi на 10Gbit/s. С iperf3 похожая картина. Проверил несколько раз. Наверно буду не спеша переходить. Неожиданно :-).

lexa - 25/Фев/2019 14:13

Интересно, да, спасибо.
Наверное обновлюсь тоже, начну с чего-нибудь ненужного (холодный ящик).

lexa - 25/Фев/2019 18:13

Не выдержал, обновил боевой ящик. 980MB/sec при копировании эксплорером с самбы. Было 800. Это, понятно, файл из одной большой дырки, диск не участвует.

Отлично!

geomflash - 25/Фев/2019 18:20

Не, я так не могу :-). На основных рабочих машинах ещё не скоро обновлюсь. Но обрадовали с уменьшением сетевых издержек. Для медленных машин самое то.

lexa - 25/Фев/2019 19:23

Ну я подумал, что мне откатиться то обратно - 10 минут если вдруг че.

MTU 9000 - гигабайт/сек
MTU 4072 - полгигабайта/сек

Через асусий свитч.

geomflash - 26/Фев/2019 10:51

Наблюдая за работой 10Gbit на core 2 duo, мне на данный момент кажется, что всё упирается в скорость обработки пакетов и она слабо зависит от длины самого пакета. Загрузку 2 ядер видел максимум на 75%. При 4072 пропускная способность было чуть ниже, чем на 9000. Провал начинался где-то с 2500. Всё это происходило на прямом соединении. Решил не выбрасывать своего старичка (hp ML110G4) и приспособить его для бэкапа по требованию. Уже заказал за 9$ чуть более быстрый xeon, посмотрим удастся ли полностью утилизировать на нём 10Gbit.
Свичи и большой MTU это отдельная история и не только в плане стабильности. На нормальном оборудовании, если на маршруте следования пакета будет несколько свичей, то по сравнению с малыми пакетами возрастает latency и в итоге можно проиграть ещё и в пропускной способности. Поэтому практикую 9000 на прямых соединениях - где хочется выжать всё по максимуму, а на всём остальном 1500.

lexa - 26/Фев/2019 11:01

Я пока наблюдаю асусий свитч, не могу сказать что прямо бесит он, по ряду вторичных причин менять топологию сети не хочется.

geomflash - 01/Мар/2019 10:00

Пока вина свича не доказана - это только одна из возможных версий и спешить что то менять нет смысла. Кстати, а не ты ли раньше писал про пропадание линка 10G и переход трафика на 1G? Если да, то может там участвовала та же сетевая карта?

lexa - 01/Мар/2019 10:07

Не, у меня 1G переходил в 100Mbit, по причине плохого кабеля.

geomflash - 01/Мар/2019 10:58

Значит спутал. Помнится мне, кто-то описывал про пропадание прямого соединения 10G и автоматический переход трафика на параллельную сеть 1G при выполнении ночного бекапа. Не могу вспомнить где это было, но как вариант, карты тоже могут затыкаться. Лет десять назад у меня на ESXi горели интеловские 1G карты. Штук пять сгорело от предположительно нагрузки/перегрева. Причём вели они себя после этого очень интересно. При старте системы они работали и через некоторое время затыкались. К чипу карты прикоснуться было нельзя. Выключив/включив систему они опять работали.

lexa - 01/Мар/2019 11:25

Такое было, да (но это не сброс скорости 10-1, а именно отвал сети), насколько я помню - это было на Myricom.

Во всяком случае, direct connect интелов - до обзаведения свитчом - таких проблем давно не доставлял.

lexa - 01/Мар/2019 11:29

А, ну конечно, да.

Был (бывал) перегрев. X540, если перегревается, то выключается и пишет гадости в syslog (и вернуть в чувство можно только перезагрузкой, во всяком случае она сама так пишет).

Это вылечилось
а)установкой кулеров, дующих на тамошние радиаторы
б) в новом серверном ящике, да и в новом workstation ящике - гораздо более мягкий тепловой режим в районе материнки, чем был в старых, спасибо отдельному отсеку с материнкой в сервере и водянке в workstation (ну и корпус у WS больше по объему раза в три чем старый).

То есть это был не какой-то тайный сбой, а именно самовыключение сетевой карты с понятной диагностикой.

Andrey111 (not verified) - 13/Фев/2019 22:31

HP -- скорее всего 3Com. Стоит посмотреть описание на чипсет, какой там стоит. Там всего-то несколько производителей. Какие еще железяки сделаны на этом чипсете -- читать отзывы.
У нас везде sfp+ и нексусы )

temik (not verified) - 18/Фев/2019 02:42

А медь вот совсем нужна или хочется одну общую сеть? Нынче 40/56G что карточки, что 15м оптика стоят по $30.
NTttcp в четыре потока с селерона на i7 кажет >40Gbps. Вот с свитчами конечно непонятно

lexa - 18/Фев/2019 07:11

10G/RJ45 как бы уже есть, в том числе распаяное на материнке (и карточку в этот корпус не вставить).

lexa - 18/Фев/2019 07:23

Вдогонку: а что за дешевый 40G?

temik (not verified) - 18/Фев/2019 15:08

HP-шные ConnectX-3, искать на ebay 649281-B21
(это MCX354A-FCBT - IB FDR/40GBE QSFP+, перепрошивкой делается 56GBE)

PS: вообще, если искать по партнамберам HP/Dell/Lenovo, то бывает куча всего дёшево

lexa - 18/Фев/2019 17:58

Отличная игрушка, жалко я не могу их применить к делу.

deejjjaaaa - 18/Фев/2019 17:11

infiniband / EoIB ?

Z / V

temik (not verified) - 18/Фев/2019 17:13

Оно VPI - и Eth, и IPoIB

Igor - 20/Фев/2019 17:34

JFY Обнаружил, что в марте должен выйти CRS312-4C+8XG. Цена и ф-ии обещают быть заманчивыми.

Igor - 20/Фев/2019 17:35

s/JFY/Just FYI/ то есть

lexa - 20/Фев/2019 17:43

Цена хорошая, примерно как мой асус 8/1+2/10. Подожду.

Andrey Melnikov (not verified) - 20/Фев/2019 18:00

Если выйдет.
И маркетинговые цифры микротика надо смело делить на 3 чтоб получить реальные.

lexa - 20/Фев/2019 20:01

Э, там вместо 8+4 порта будет.... 3+1 примерно?

marck - 20/Фев/2019 20:06

wire speed там не будет

lexa - 20/Фев/2019 20:07

В сумме по всем портам?

Или даже для пары портов (остальные не работают) - уже не будет?

marck - 20/Фев/2019 20:16

чорт его знает, надо эксперименты ставить. два-три порта могут и провайрспидить.

temik (not verified) - 20/Фев/2019 23:39

Там даже на двух port-to-port 10G не будет?

Andrey Melnikov (not verified) - 20/Фев/2019 20:42

Нет.
Портов будет как натыкано, но только вот при интенсивном обмене - будут не те цифры, как в бумажках.

lexa - 21/Фев/2019 09:05

Я понимаю, что без экспериментов с конкретной железкой не скажешь, тем не менее интересно было бы предсказание:

В моей реальной реальности я ожидаю (максимум) два потока по 10G между двумя парами портов, не full-duplex (т.е. в обратную сторону идут ACK и все). Остальные 8 портов - половина условно пустые (ну там всякие консоли и подобные неиспользуемые) и еще 4 гигабита используются, допустим даже в сумме полностью (т.е. 8gbit если с дуплексом).

Итого: гигабит 30 в сумме по всем портам, из них два потока полной десятки но в одну сторону каждый (и не в один порт, коллизий и прочего нет).

Вправе ли я ждать чего-то такого (если да, то меня все устраивает для дома то, да за 15 тыщ)?

Fyodor Ustinov (not verified) - 25/Фев/2019 21:41

Я сильно подозреваю что asic там унутре ровно такой-же как в CRS317-1G-16S+
40G (2*10 на приём + 2*10 на передачу) я через эту железку получал. Не в том смысле что больше не получалось, а втом что мне больше не надо.

Andrey Melnikov (not verified) - 26/Фев/2019 21:44

Сходи сюда https://forum.nag.ru/index.php?/topic/144541-crs-326-perepolnenie-bufera... и почитай. Вот тут тоже https://forum.mikrotik.com/viewtopic.php?t=127323 интересные вопросы без ответов.

Вангую те-же системные проблемы из-за применяемых самых дешевых чипов без большого количества буферной памяти (да и вообще, во всех их железе присутствует "экономия" на спичках и специфические хардварные хаки) - может оказаться как у rb260gs - один порт переключился на 100Mbps - и ага, полетели коммутируемые пакеты за шину.
А у тебя уже конфигурация - mix 1/10G. Я бы сделал отдельный хвост от компа до хранилища с 10G и mtu 9k, а всё остальное оставил на 1G/mtu 1.5k. И карты проще покупать и всяких граблей из-за jumbo/mtu и кривых/ломанных pmtud любителями резать icmp - меньше.

lexa - 27/Фев/2019 16:16

Ну вот проблема в том, что у меня больше одного линка 10G, а в основном хранилище - только два интерфейса (и оба 10G)
И будет еще больше, вот облизываюсь на 10G внешний для мака.

Т.е. я могу один линк кинуть, хранилище - WS, соплей. Но все остальное - будет ходить по второму 10G-интерфейсу хранилища.
Можно, конечно, завести две отдельные сети дома, физически отдельные, 10 и 1, но блин 21-й век на дворе.

Andrey Melnikov (not verified) - 27/Фев/2019 21:59

Вопрос не в том, гиг там, два-и-пять или десять. Вопрос в mtu, который с одной стороны - свойство сетевой карты, а с другой - настройка сетевого стека, разом влияющая на всё ходящее через этот стек и карту.
А стек заточен под mtu 1500 и 99% софта и программистов - веруют в буфера по 1500 байт и гарантированную доставку с жесткой очередностью.

А про линки и позор - делай скидку, там "одмины сильные мышкой", а микротик хоть и затачивается под таких, но имеет кучу возможностей отстрелить себе ноги. Иногда на ровном месте. Хорошо знающим *nix - прямо противопоказан (кроме как повесить wifi точку в будку для собак).

Есть еще edgeswitch-16-xg (ES-16-XG) брат близнец которого US-16-XG - но ценник опять в 40 штук. У этих огораживание правда пошло еще дальше, для US-16-XG контроллер надо на жабе ставить, и по SNMP нефига обычно не видно, но хоть честно пишут - Total Non‑Blocking Throughput: 160 Gbps, Switching Capacity: 320 Gbps.
Но в нем стоит bcm5341x SoC уже с поддержкой 1G/2.5G/5G/10G скоростей. Жаль только, что убиковскую прошивку оттудова выкинуть нельзя.

lexa - 27/Фев/2019 22:27

А вот просто десятка портов медных 1/10G и тупо L2 без фильтрации-хренации - нету?

marck - 27/Фев/2019 23:04

не-а. ты в это уже играл, это IB и FC (уже почти сошёл с рынка)

temik (not verified) - 27/Фев/2019 23:12

JFYI
Зато для "дома" IB нынче есть совсем за смешные деньги. Вот текущее на ебее про свитчи:
IS5022 - $70, это 8 портов QDR, QSFP+
SX6005 - $90, это 12 портов FDR, QSFP+
орут, правда, как потерпевшие (громко!), надо кулеры менять. Но за такие деньги...

PS: почему-то мне кажется, что 10G по меди - пока ещё или дорого, или сырое.

Andrey Melnikov (not verified) - 27/Фев/2019 23:22

Нету.
Switch (именно чип, точнее IP block) умеет и фильтрацию и хренацию и прочие egres-ingres ACL - без всех этих наворотов оно нафиг никому не сдалось, т.е. - не продашь.
Если тебе рассказывают про такое в 21 веке - знай, производитель такого чудо-железа жлоб, который или не смог купить программиста разбирающегося в vendor sdk, либо сильно сэкономил. Впрочем, что ты и наблюдаешь на собственном примере с своим asus'ом.
Да и иметь свитч, с которого нельзя снять счетчики ошибок - придумывать себе затейливый геморрой.

lexa - 27/Фев/2019 16:20

Линки почитал, это какой-то позор. 400Mbit - это вообще ниочем же