Q: HPE OfficeConnect 1850 6GXT?
Пока я думал и чесался, свитчи Netgear XS505M из продажи куда-то делись. А ASUS продолжает виснуть, правда как-то пореже чем раньше (долго не было, но сегодня вот опять).
Пошел шопиться и предварительно нашопил вот это вот: HPE OfficeConnect 1850 6XGT and 2XGT/SPF+ Switch
Оно, конечно, ~$650, но с другой стороны мне 8 портов (впритык) хватает, а если BMC на серверах перевести в in-band режим, чтобы портов не занимали, то даже и будет два резервных, то есть ASUS можно будет до поры припрятать на полку.
ВОПРОС, собственно: про Office Connect 1850 что-нибудь плохое известно? А про конкретную 6+2/2 10G модель? Мне, собственно, много не надо, вот чтобы не висло с Jumbo Frames на 10G, собственно и все...
Comments
бывает ещё http://dlink.ru/ru
бывает ещё http://dlink.ru/ru/products/1/2023_b.html -- но я не знаю, можно ли его купить со стороны
мы сейчас такие будет пробовать
или даже http://dlink.ru/ru
или даже http://dlink.ru/ru/products/1/2138_b.html может тебе хватить.
но пока мы ничего совсем конкретного про них сказать не можем
Ну вот он стоит ~50k, а HP -
Ну вот он стоит ~50k, а HP - 40. А 12-портовый - вообще 80+.
Мне и 40 жалко, если честно.
Бывает еще такое http://dlink
Бывает еще такое http://dlink.ru/ru/products/1/1956.html - с буковкой X. управление убогое, консоль тошнотворная, но зато работает. При выборе HP vs Dlink - проще брать dlink. HP вместо свичей делает откровенное дорогущее унылое говно.
И стоит 25. Jumbo в 9к - умеет.
PS: А то, что у тебя асус виснет - так то видать чипсетопроблемы. Впрочем, что моно ждать от свича с достоинствами в виде "тонкий стильный корпус". Микротик блин какой-то.
Там десятки - SFP+, а у меня
Там десятки - SFP+, а у меня медь RJ45. А с такими SFP+ экономика совсем другая.
Экономика - другая, да. Но
Экономика - другая, да. Но невооруженным глазом видно, что с SFP+ портами у тебя выбор железа огромен, да и можно DAC'и покупать для соединения ближайших железок. А вот с RJ45 - одни хипсторские поделки. А с утчетом нового стандарта на 2.5G - менять прийдеться и то и другое.
По $80 на амазоне есть SFP+ RJ45 модули. И на ebay'e - тоже.
Попробуй блок питания своему асусу сменить на более человеческий - типа такого http://www.mean-well.ru/store/GS18A05-P1J/
У меня уже медь везде. И в
У меня уже медь везде. И в одном месте распаяна на плате, т.е. это не замена карточки.
Так всяко Dlink за 25 + 2
Так всяко Dlink за 25 + 2 модуля по 5 - дешевле очередной soho железки от HP за 45, нет?
Или я считать не умею?
На разницу в 10 штук - можно оптикой и DAC'ами обмотаться. И изначально идея "везде медь" сомнительна, но что есть - то есть.
Ну сравнивать 2 10G порта с 8
Ну сравнивать 2 10G порта с 8-ю портами 10G тоже как-то не але?
Т.е. вот те 2 порта что есть - это минимальный минимум, потому что устройств сейчас три (из них два повязаны P2P) и, в принципе, хочется и 4-е (потому что вроде появляются вменяемые адаптеры Tbotl - 10G)
Проглядел сгоряча, там 4
Проглядел сгоряча, там 4 порта у D-link.
Ну может быть и да. Ну то есть к примеру вообще одну SFP+/RJ45, а остальное на direct attach.
Но вот вопрос про SFP+/RJ45
Но вот вопрос про SFP+/RJ45 "по пять".
Я вижу на ebay - по $85, это 5700, но не бывает ли там проблем с совместимостью?
Dlink не циска - жрет всё
Dlink не циска - жрет всё подряд.
Да и SFP модули - очередной SerDes конвертор в мигающий светодиодик. Проблемы с совместимостью - это пристальное рассматривание содержимого прошивки по i2c - а написано ли там специальное петушиное слово или нет.
Судя по тому, что все представленные модули сразу умеют 2.5/5 - похоже, что это клоны. Одни "для циски" - подороже, другие для убиков - подешевле.
Если вас по прежнему
Если вас по прежнему устраивает 2*10G, то есть https://www.amazon.com/dp/B0765ZPY18/?coliid=IWI7CAGX2AM9B&colid=JX43KPG... или даже неуправляемый https://www.amazon.com/dp/B076642YPN/?coliid=I308K6C5XEN6IK&colid=JX43KP...
Или нужно вот прямо сейчас?
Ну там есть, к примеру, такой
Ну там есть, к примеру, такой отзыв:
Switch doesn't support jumbo frames as specified in datasheet. I opened a ticket with Netgear Support, and they where quickly able to reproduce the issue and said they were working on a fix. Then, for the next 25 days, they didn't initiate any communication on this ticket. When I would ask about the status of this ticket, they would only say I'll check with so and so in that department and then never get back to me until I asked for another update.
При этом, на MTU1500 у меня самба работает шибко медленно (правда через асусий свитч).
И, соответственно, пробовать на себе - поддерживает, не поддерживает - не хочется.
HP то поддерживает.
HP _пишет_ что поддерживает.
HP _пишет_ что поддерживает. NetGear тоже ;-P
Угу, все пишут.
Угу, все пишут.
И Asus поддерживает. Только виснет (без jumbo я не пробовал за полной ненужностью этого для меня)
Вот попробую MTU 4000 пока.
Вот попробую MTU 4000 пока.
а, да, и Асус-то -- тоже:
а, да, и Асус-то -- тоже:
Jumbo Frame : up to 16 KB
А где вы взяли то про 16K?
А где вы взяли то про 16K?
Берем весёлые картинки от китайцев http://koolshare.cn/thread-79065-1-1.html с внутрянкой этого soho железа, видим свитч-чип 88E6190X и SerDes приемо-передатчик 88X3220. Идем в датащит от старшего 88E6390X и видим максимум jumbo в 10K. Хорошо, ходим в исходники ядра linux, смотрим, что таки да - 9160 конфигурится как 9360 серия, и max mtu 9676. Откуда 16K то?
А на практике бывает больше
А на практике бывает больше чем ~9000? Какие карты умеют 16к?
Бывает. Попадались dlink'и
Бывает. Попадались dlink'и свичи - с 13k. Вот DXE-810S пишут поддерживает 16k. Но из карт имеет смысл играть только с интелевыми.
Свитчи то понятно что могут
Свитчи то понятно что могут иметь (запас на размер пакета).
Погуглил маленько, про super jumbo frames разговоры всякие есть, а чтобы вот что-то поддерживало (и в гугле на первое место вылазило) - не видать.
Польза, по идее, может быть от них...
Мне хоть и не срочно, но я и
Мне хоть и не срочно, но я и сам присматривался к тому, что смарт. Глянул на апдейт firmware, июльский. Печально :(
ОфисКоннект - наследие 3Кома.
ОфисКоннект - наследие 3Кома. Не знаю как сейчас и с десяткой, но с гигабитами у меня с ими был хуже опыт, чем с родными ПроКурвами.
Подписуюсь.
Подписуюсь.
8-портовый 3cdsg8 был *очень* далёк от wire speed.
Это было per port ограничение
Это было per port ограничение или per switch?
Потому что заявлено там (у обсуждаемого исходно HPE) 160Gbit на fabric (т.е. 8 десяток x 10G x duplex), а по факту у меня ну три порта десяточных (и никакого фул-дуплекса там не будет естественно если в полный рост)
вот чтобы не висло с Jumbo Frames на 10G
Уже есть уверенность, что именно в этом причина?
У меня сейчас заканчивается переливка данных со старой машины (core 2 duo 2,4GHz) по вставленной для этого 10Gbit сетевой. Как закончится гляну как влияет изменение mtu.
Нет, уверенности нету.
Нет, уверенности нету.
Переставил MTU на 4074, продолжаю наблюдения над асусом. Пока не висло, но это ни о чем не говорит, оно должно хотя бы месяц так продержаться.
Помню от jumbo клинило когда
Помню от jumbo клинило когда ещё был только 1Gbit. Под нагрузкой это происходило через день-два в самый неподходящий момент. Почему это происходило так и не понял, но когда возвращал 1500 забывал о сети вообще. Коммутаторы тогда использовались 3com и hp procurve. Какие конкретно не помню, но поддержка jumbo была у всех. Причём когда забывал и опять включал на некоторых машинах jumbo нарывался по-новой :-).
iperf3 -с 127.0.0.1 на медленной системе (FreeBSD 12.0):
[ 5] 0.00-10.00 sec 19.2 GBytes 16.5 Gbits/sec 0 sender
[ 5] 0.00-10.01 sec 19.2 GBytes 16.5 Gbits/sec receiver
на быстрой системе (FreeBSD 11.1 правда под рабочей нагрузкой):
[ 5] 0.00-10.00 sec 48.7 GBytes 41.9 Gbits/sec 0 sender
[ 5] 0.00-10.00 sec 48.7 GBytes 41.9 Gbits/sec receiver
iperf3 между медленной и быстрой.
mtu 9000
сервер быстрая система:
[ 5] 0.00-10.00 sec 11.4 GBytes 9.80 Gbits/sec 0 sender
[ 5] 0.00-10.00 sec 11.4 GBytes 9.79 Gbits/sec receiver
сервер медленная система:
[ 5] 0.00-10.00 sec 9.33 GBytes 8.01 Gbits/sec 0 sender
[ 5] 0.00-10.04 sec 9.33 GBytes 7.98 Gbits/sec receiver
mtu 1500
сервер быстрая система:
[ 5] 0.00-10.00 sec 8.60 GBytes 7.39 Gbits/sec 0 sender
[ 5] 0.00-10.00 sec 8.60 GBytes 7.39 Gbits/sec receiver
сервер медленная система
[ 5] 0.00-10.00 sec 6.59 GBytes 5.66 Gbits/sec 1324 sender
[ 5] 0.00-10.10 sec 6.59 GBytes 5.60 Gbits/sec receiver
Получается на медленных системах изменение mtu очень заметно.
Ну на самом деле, я могу
Ну на самом деле, я могу сервер с рабочей станцией соединить прямой соплей (мимо асуса и mtu 9k будет работать) а в асус сунуть бэкапный процесс и медленных клиентов (и mtu1500).
Но для начала хотелось бы понять, виснет ли асус на mtu 4074
Обнаружилось, что 12.0 <->11
Обнаружилось, что 12.0 <->11.1 резко добавляет производительности в связке дисковая подсистема-сеть по сравнению с 11.1<->11.1, если версию менять на медленной машине. У меня наблюдается стабильный прирост 15-16% для одиночного hdd отданного по iscsi и 42% для страйпа из двух hdd отданных по iscsi на 10Gbit/s. С iperf3 похожая картина. Проверил несколько раз. Наверно буду не спеша переходить. Неожиданно :-).
Интересно, да, спасибо.
Интересно, да, спасибо.
Наверное обновлюсь тоже, начну с чего-нибудь ненужного (холодный ящик).
Не выдержал, обновил боевой
Не выдержал, обновил боевой ящик. 980MB/sec при копировании эксплорером с самбы. Было 800. Это, понятно, файл из одной большой дырки, диск не участвует.
Отлично!
Не, я так не могу :-). На
Не, я так не могу :-). На основных рабочих машинах ещё не скоро обновлюсь. Но обрадовали с уменьшением сетевых издержек. Для медленных машин самое то.
Ну я подумал, что мне
Ну я подумал, что мне откатиться то обратно - 10 минут если вдруг че.
MTU 9000 - гигабайт/сек
MTU 4072 - полгигабайта/сек
Через асусий свитч.
Наблюдая за работой 10Gbit на
Наблюдая за работой 10Gbit на core 2 duo, мне на данный момент кажется, что всё упирается в скорость обработки пакетов и она слабо зависит от длины самого пакета. Загрузку 2 ядер видел максимум на 75%. При 4072 пропускная способность было чуть ниже, чем на 9000. Провал начинался где-то с 2500. Всё это происходило на прямом соединении. Решил не выбрасывать своего старичка (hp ML110G4) и приспособить его для бэкапа по требованию. Уже заказал за 9$ чуть более быстрый xeon, посмотрим удастся ли полностью утилизировать на нём 10Gbit.
Свичи и большой MTU это отдельная история и не только в плане стабильности. На нормальном оборудовании, если на маршруте следования пакета будет несколько свичей, то по сравнению с малыми пакетами возрастает latency и в итоге можно проиграть ещё и в пропускной способности. Поэтому практикую 9000 на прямых соединениях - где хочется выжать всё по максимуму, а на всём остальном 1500.
Я пока наблюдаю асусий свитч,
Я пока наблюдаю асусий свитч, не могу сказать что прямо бесит он, по ряду вторичных причин менять топологию сети не хочется.
Я пока наблюдаю асусий свитч, не могу сказать что прямо бесит он
Пока вина свича не доказана - это только одна из возможных версий и спешить что то менять нет смысла. Кстати, а не ты ли раньше писал про пропадание линка 10G и переход трафика на 1G? Если да, то может там участвовала та же сетевая карта?
Не, у меня 1G переходил в
Не, у меня 1G переходил в 100Mbit, по причине плохого кабеля.
Значит спутал. Помнится мне,
Значит спутал. Помнится мне, кто-то описывал про пропадание прямого соединения 10G и автоматический переход трафика на параллельную сеть 1G при выполнении ночного бекапа. Не могу вспомнить где это было, но как вариант, карты тоже могут затыкаться. Лет десять назад у меня на ESXi горели интеловские 1G карты. Штук пять сгорело от предположительно нагрузки/перегрева. Причём вели они себя после этого очень интересно. При старте системы они работали и через некоторое время затыкались. К чипу карты прикоснуться было нельзя. Выключив/включив систему они опять работали.
Такое было, да (но это не
Такое было, да (но это не сброс скорости 10-1, а именно отвал сети), насколько я помню - это было на Myricom.
Во всяком случае, direct connect интелов - до обзаведения свитчом - таких проблем давно не доставлял.
А, ну конечно, да.
А, ну конечно, да.
Был (бывал) перегрев. X540, если перегревается, то выключается и пишет гадости в syslog (и вернуть в чувство можно только перезагрузкой, во всяком случае она сама так пишет).
Это вылечилось
а)установкой кулеров, дующих на тамошние радиаторы
б) в новом серверном ящике, да и в новом workstation ящике - гораздо более мягкий тепловой режим в районе материнки, чем был в старых, спасибо отдельному отсеку с материнкой в сервере и водянке в workstation (ну и корпус у WS больше по объему раза в три чем старый).
То есть это был не какой-то тайный сбой, а именно самовыключение сетевой карты с понятной диагностикой.
HP -- скорее всего 3Com.
HP -- скорее всего 3Com. Стоит посмотреть описание на чипсет, какой там стоит. Там всего-то несколько производителей. Какие еще железяки сделаны на этом чипсете -- читать отзывы.
У нас везде sfp+ и нексусы )
А медь вот совсем нужна или
А медь вот совсем нужна или хочется одну общую сеть? Нынче 40/56G что карточки, что 15м оптика стоят по $30.
NTttcp в четыре потока с селерона на i7 кажет >40Gbps. Вот с свитчами конечно непонятно
10G/RG45 как бы уже есть, в
10G/RJ45 как бы уже есть, в том числе распаяное на материнке (и карточку в этот корпус не вставить).
Вдогонку: а что за дешевый
Вдогонку: а что за дешевый 40G?
HP-шные ConnectX-3, искать на
HP-шные ConnectX-3, искать на ebay 649281-B21
(это MCX354A-FCBT - IB FDR/40GBE QSFP+, перепрошивкой делается 56GBE)
PS: вообще, если искать по партнамберам HP/Dell/Lenovo, то бывает куча всего дёшево
Отличная игрушка, жалко я не
Отличная игрушка, жалко я не могу их применить к делу.
infiniband / EoIB ?
infiniband / EoIB ?
Z / V
Оно VPI - и Eth, и IPoIB
Оно VPI - и Eth, и IPoIB
Mikrotik CRS312-4C+8XG
JFY Обнаружил, что в марте должен выйти CRS312-4C+8XG. Цена и ф-ии обещают быть заманчивыми.
s/JFY/Just FYI/ то есть
s/JFY/Just FYI/ то есть
Цена хорошая, примерно как
Цена хорошая, примерно как мой асус 8/1+2/10. Подожду.
Если выйдет.
Если выйдет.
И маркетинговые цифры микротика надо смело делить на 3 чтоб получить реальные.
Э, там вместо 8+4 порта будет
Э, там вместо 8+4 порта будет.... 3+1 примерно?
wire speed там не будет
wire speed там не будет
В сумме по всем портам?
В сумме по всем портам?
Или даже для пары портов (остальные не работают) - уже не будет?
чорт его знает, надо
чорт его знает, надо эксперименты ставить. два-три порта могут и провайрспидить.
Там даже на двух port-to-port
Там даже на двух port-to-port 10G не будет?
Нет.
Нет.
Портов будет как натыкано, но только вот при интенсивном обмене - будут не те цифры, как в бумажках.
Я понимаю, что без
Я понимаю, что без экспериментов с конкретной железкой не скажешь, тем не менее интересно было бы предсказание:
В моей реальной реальности я ожидаю (максимум) два потока по 10G между двумя парами портов, не full-duplex (т.е. в обратную сторону идут ACK и все). Остальные 8 портов - половина условно пустые (ну там всякие консоли и подобные неиспользуемые) и еще 4 гигабита используются, допустим даже в сумме полностью (т.е. 8gbit если с дуплексом).
Итого: гигабит 30 в сумме по всем портам, из них два потока полной десятки но в одну сторону каждый (и не в один порт, коллизий и прочего нет).
Вправе ли я ждать чего-то такого (если да, то меня все устраивает для дома то, да за 15 тыщ)?
Я сильно подозреваю что asic
Я сильно подозреваю что asic там унутре ровно такой-же как в CRS317-1G-16S+
40G (2*10 на приём + 2*10 на передачу) я через эту железку получал. Не в том смысле что больше не получалось, а втом что мне больше не надо.
Сходи сюда https://forum.nag
Сходи сюда https://forum.nag.ru/index.php?/topic/144541-crs-326-perepolnenie-bufera... и почитай. Вот тут тоже https://forum.mikrotik.com/viewtopic.php?t=127323 интересные вопросы без ответов.
Вангую те-же системные проблемы из-за применяемых самых дешевых чипов без большого количества буферной памяти (да и вообще, во всех их железе присутствует "экономия" на спичках и специфические хардварные хаки) - может оказаться как у rb260gs - один порт переключился на 100Mbps - и ага, полетели коммутируемые пакеты за шину.
А у тебя уже конфигурация - mix 1/10G. Я бы сделал отдельный хвост от компа до хранилища с 10G и mtu 9k, а всё остальное оставил на 1G/mtu 1.5k. И карты проще покупать и всяких граблей из-за jumbo/mtu и кривых/ломанных pmtud любителями резать icmp - меньше.
Ну вот проблема в том, что у
Ну вот проблема в том, что у меня больше одного линка 10G, а в основном хранилище - только два интерфейса (и оба 10G)
И будет еще больше, вот облизываюсь на 10G внешний для мака.
Т.е. я могу один линк кинуть, хранилище - WS, соплей. Но все остальное - будет ходить по второму 10G-интерфейсу хранилища.
Можно, конечно, завести две отдельные сети дома, физически отдельные, 10 и 1, но блин 21-й век на дворе.
Вопрос не в том, гиг там, два
Вопрос не в том, гиг там, два-и-пять или десять. Вопрос в mtu, который с одной стороны - свойство сетевой карты, а с другой - настройка сетевого стека, разом влияющая на всё ходящее через этот стек и карту.
А стек заточен под mtu 1500 и 99% софта и программистов - веруют в буфера по 1500 байт и гарантированную доставку с жесткой очередностью.
А про линки и позор - делай скидку, там "одмины сильные мышкой", а микротик хоть и затачивается под таких, но имеет кучу возможностей отстрелить себе ноги. Иногда на ровном месте. Хорошо знающим *nix - прямо противопоказан (кроме как повесить wifi точку в будку для собак).
Есть еще edgeswitch-16-xg (ES-16-XG) брат близнец которого US-16-XG - но ценник опять в 40 штук. У этих огораживание правда пошло еще дальше, для US-16-XG контроллер надо на жабе ставить, и по SNMP нефига обычно не видно, но хоть честно пишут - Total Non‑Blocking Throughput: 160 Gbps, Switching Capacity: 320 Gbps.
Но в нем стоит bcm5341x SoC уже с поддержкой 1G/2.5G/5G/10G скоростей. Жаль только, что убиковскую прошивку оттудова выкинуть нельзя.
А вот просто десятка портов
А вот просто десятка портов медных 1/10G и тупо L2 без фильтрации-хренации - нету?
не-а. ты в это уже играл, это
не-а. ты в это уже играл, это IB и FC (уже почти сошёл с рынка)
JFYI
JFYI
Зато для "дома" IB нынче есть совсем за смешные деньги. Вот текущее на ебее про свитчи:
IS5022 - $70, это 8 портов QDR, QSFP+
SX6005 - $90, это 12 портов FDR, QSFP+
орут, правда, как потерпевшие (громко!), надо кулеры менять. Но за такие деньги...
PS: почему-то мне кажется, что 10G по меди - пока ещё или дорого, или сырое.
Нету.
Нету.
Switch (именно чип, точнее IP block) умеет и фильтрацию и хренацию и прочие egres-ingres ACL - без всех этих наворотов оно нафиг никому не сдалось, т.е. - не продашь.
Если тебе рассказывают про такое в 21 веке - знай, производитель такого чудо-железа жлоб, который или не смог купить программиста разбирающегося в vendor sdk, либо сильно сэкономил. Впрочем, что ты и наблюдаешь на собственном примере с своим asus'ом.
Да и иметь свитч, с которого нельзя снять счетчики ошибок - придумывать себе затейливый геморрой.
Линки почитал, это какой-то
Линки почитал, это какой-то позор. 400Mbit - это вообще ниочем же