10G и Infiniband

Про Asus XG-U2008 (свитч)

Несколько месяцев назад я заменил старый добрый 8-портовый гигабитный DLink (не помню модели) на свитч Asus XG-U2008. 8 гигабитных портов + 2x10G

Не делайте так, дети. К гигабитным портам претензий нет, а вот с 10G засада: временами, как бы не раз в неделю, оно затыкается: лампочки горят, с точки зрения подключенных компьютеров все ОК, а вот байты не ходят. Лечится только передергом питания свитча.

Буду тратить денег на 5-портовый Netgear XS505M, дешевле вариантов не нашел.

Картинка - для привлечения внимания. Я на нее как посмотрю, так начинаю ржать.

Intel VROC (performance)

Не удержался я и карточку ASUS HYPER M.2 X16 таки купил, потому что на фоне всего остального нового компьютера карточку вовсе не видно, а два полутерабайтных SSD-PCIe диска Intel 760p тоже не особо заметно.

Помимо Асуса, такие делают Asrock и MSI, причем ASUS-овская мне формально нравится меньше всех (потому что питание берет с материнки, а его и так дефицит), но выбора в нашей...

NAS изнутри (и тишина вентиляторов)

Читатели спрашивали, а как мой новый NAS выглядит изнутри.

А тут я решился, и поменял ему корпусные вентиляторы еще раз. Потому что Be Quiet - ну нормальные, а вот Noctua придушенные - совсем тихие.

Жалко было три c половиной тыщи, но тем не менее поменял (на NF-P12 PWM), результат такой, что на 800 оборотов они продувают не хуже, чем Be Quiet Pure...

TimeMachine на самбе

Записки для себя (в дополнение ко вчерашнему):

если вы (к примеру) хотите анонсировать _adisk_.tcp и по SMB и по AFP, то у avahi надо в xxx.service писать разные имена. Например так:

smb.service:  <name replace-wildcards="yes">SMB on %h</name>

afp.service:  <name replace-wildcards="yes">%h</name>

И тогда они в выборе диска у TimeMachine будут видны оба два.

А вот сделать так, чтобы разные версии макоси, но с одного компьютера, бэкапились в одну Samba Share - не сумел. Затирают они друг друга (при том что 10.13 бэкапится в Computername.sparsebundle, а 10.14 - в Volumename.sparsebundle). Завел поэтому пока несколько shares.

Возможно, дело в флагах adVF, но не нагуглилось ничего хорошего, а пробовать уже задолбался.
 

Хрупкость бытия

В рамках улучшения всего хорошего, пытался поменять старый (и больной) mDNSresponder из howl (который, скажу честно, не удалось настроить - ну то есть бэкапная конфигурация не заработала /впрочем, я начал догадываться отчего/), пробовал несколько раз перейти на православный и продвинутый avahi-daemon.

Вот раза с десятого получилось. После того, как я догадался запустить avahi-daemon --debug..... И УВИДЕЛ, ЧТО МУЛЬТИКАСТ-ГРУППУ ОН СЛУШАЕТ НА ПОСЛЕДНЕМ АЛИАСЕ ИНТЕРФЕЙСА.

А у меня естественно, ifconfig main-addr; ifconfig alias-addr alias. А на alias-addr может сходить единственная машинка в доме, которая знает про адрес 10.5.0...

Эксперименты показали - берется последний адрес (если навесить еще алиасов - берется последний). Ну, понятно, переменил порядок в ifconfig, оно начало браузиться наконец то и видно в тайм-машине опять (и тайм-машина туды ходит успешно). Да, я в этой беде не одинок: раз, два, больше не стал искать.

Но, сука, дочего хрупок мир. Через два года забуду все нахрен, навешу еще один алиас, тайм-машины по всему дому поломаются.

P.S. Подозреваю что howl отваливался ровно по той же причине.

P.P.S. Осталось (пере)собрать самбу с поддержкой avahi и изжить AFP.

Sale: личинка NAS

(картинка кликабельна, но снято телефоном)

Ну и естественно, теперь бы мне хотелось продать свой старый NAS, поскольку хранить его негде, использовать не могу, выкинуть - жалко.

UPD: ящик разошелся по частям, часть продал, часть пристроил к делу.

Осталась только материнка, которую буду продавать отдельно, как только соберусь с духом. Или не буду, полежит в качестве запчасти, мало...

Экономика колхоза

Мой колхоз построен и уже около недели работает (аптайм 5 суток, но я там ковырялся какое-то время уже после запуска в боевую работу - ну и перезагружал тоже).

Мне поступали приватные запросы про цену вопроса, скрывать тут нечего, экономика вышла такая:

  1. Корпус: грубо, на круг, $300 с доставкой (19744р если быть совсем точным).
  2. Материнская плата Supermicro A2SDi-H-TF - $645 с доставкой
  3. ...

FreeBSD + 10G + Samba tune

Все утро онанировал подбирал параметры FreeBSD/Samba. Остановился пока на таком:

/boot/loader.conf

hw.ix.max_interrupt_rate=16000 hw.ix.rx_process_limit=4096 hw.ix.tx_process_limit=4096 hw.ix.rxd=4096 hw.ix.txd=4096 

smb4.conf

read raw = yes write raw = yes socket options = TCP_NODELAY SO_RCVBUF=2097152 SO_SNDBUF=2097152 large readwrite = yes 

Уменьшение размера буферов до 1Mb снижает скорость чтения процентов на 5, до 512к - процентов на 20.
Все кроме третьей строчки (socket options) скопировано с предыдущего ящика, может оно тоже не нужно (но на нем - было нужно).

И, в принципе, они такие...

FreeBSD 10G Samba speed

В догонку к позавчерашнему.

Samba 4.8 пишет (и читает) со скоростью дисков, во всяком случае пока этих дисков 3 (и писать можно ~600MB/sec).

Вот на netstat видно, например:

# netstat -I ix0 1 input ix0 output packets errs idrops bytes packets errs bytes colls 70801 0 0 636957461 24946 0 1661685 0 65798 0 0 592032063 24596 0 1639413 0 69470 0 0 624964103 24249 0 1615565 0 64249 0 0 578234195 23707 0 1579277 0 69714 0 0...

Q: FreeBSD-FreeBSD remote shell speed

Уважаемые FreeBSD-веды!

у меня в подполе происходит Я гоняю zfs snapshots с ящика на ящик таким примерно способом:

zfs send .... | mbuffer -s 64k -m 64m | ssh -c aes128-gcm@openssh.com box2 zfs recv

И между двумя ящиками на i3 все происходит хорошо: ssh с этим шифром бегает на скорости 900+MB/sec, реально zfs recv может принять 450-500 и я всем доволен.

Но на...

Об атомных ядрах и их эффективности

По непонятной мне причине, время пересборки FreeBSD на моем текущем "боевом NAS" было измерено неверно отчего  я написал "время пересборки FreeBSD на новом процессоре больше раза в полтора, чем на старом" (возможно, я сгоряча собирал не ту версию на старой машине, у меня там много src.Minor.Major свалено на диске), после переизмерений получилось вот что (повторено несколько раз, результаты устойчивые).

Методика измерения:

  • выкачиваем FreeBSD 11-stable (ревизия одинаковая, убедился)
  • Чистим /usr/obj (необязательно, как показали повторные измерения)
  • make -j N buildworld,
  • ...

Supermicro USB stick boot problem: mystery solved

(извините за иностранные слова в заголовке, но мне вот сдается, что эти слова будут гуглить /как я гуглил/ и пусть находят, страдальцы, а дальше гуглом же и переведут).

Так вот, про проблему загрузки с флешки Sandisk Ultra Fit я на днях писал. Решил я ее, как помните, другой флешкой, через удлинитель, хоть и противно мне было...

Колхоз - дело добровольное

Извините за качество, вот реально телефоном снял.

Так вот, собирая NAS из вот этого корпуса и материнки Supermicro A2SDi-H-TF я оттоптался по таким граблям:

I. Загрузка.

Ну вот прельстиво взять Sandisk Ultra Fit, сунуть его в USB-гнездо на материнке и грузиться с него.

Пошел я в лабаз, купил Ultra Fit USB 3.1. Все с ним хорошо, FreeBSD распознает, ставится туда, но,...

Моя прелес-с-с-с-ть

Приехала моя прелес-с-с-с-ть

Еще пара запчастей в дороге, надеюсь в ближайшую неделю их обрести - и буду собирать новый NAS, старый маленько задолбал. Правда уже понятно, что родные вентиляторы (с Molex-кабелем) придется менять на регулируемые по скорости.

Одного не могу понять - ну почему в каждой (второй) китайской фанзе не лепят ну если не такие же, то ну хоть с каким-то разнообразием.

12-дисковый корпус - вообще ...

Про Самбу 4.6

У одного моего друга есть файлсервер с самбой. Прочитал я он CVE-2017-7494, пригорюнился и сделал pkg install samba46 (была 4.3).

Прошла неделя и зоркий глаз заметил, что утрешний бэкап, который укладывался в час (начинался в 7 и к восьми всяко завершался) теперь идет иногда и больше двух часов. Пригорюнился.

Запатчил 4.3 патчем от 4.4-4.6 (благо там 4 строчки и место это не менялось) - и стало обратно хорошо, скорость на интерфейсе при бэкапе/верификации 2-2.5 гигабита (упирается дальше в диски), а с 4.6 было 1+. Конфиг, понятно, один и тот же.

Вполне возможно, конечно, что если потюнить, ну там удалить из smb4.conf те настройки производительности, которые для 4.3 были сделаны, а поставить какие-то другие, то станет обратно хорошо. Но времени и сил на это жалко.

Эх!

Увы, до круглой цифры (скорости чтения) не дотянуло (и не дотянет, уже более медленная зона на дисках пошла), а было так близко.....

Нет, ничего не сломалось, просто я понял что

  • запасного диска в шкафу нет, а это неправильно, опять ужаленым в жопу метаться по магазинам если что
  • Гелиевые диски - систематически холоднее обычных, градусов эдак на 6, а лето на носу (они и систематически медленнее на несколько процентов, но мне хватает).
  • Если закупаться, то сейчас, бакс вот на рупь вверх уже прыг, а цены - еще нет.

Ну и купил гелиевый, а обычный - на полку.

Про ZFS L2ARC

В хорошую погоду zpool iostat -v zdata 5 выглядит теперь так

Но на самом деле, все как-то хуже. Не сильно, но все-таки.

Вот тут случился accidental reboot и я на пустом кэше попробовал так

tar cf /dev/null some-75Gb-folder

Ну и смотрю на скорости (на самом деле там tar cf - .. | mbuffer -s 16k -o /dev/null чтобы скорости видеть):

  • Первый проход: ~650MB/sec
  • ...

Про zfs primarycache

У одного моего друга есть FreeBSD бокс, на нем ZFS, Samba и 10G-ethernet. К этому боксу подключена рабочая станция с Acronis Workstation, которая туда делает бэкапы.

Бэкапы делаются на отдельный zfs pool, я подумал "а нахрена бэкапами размывать кэши" и сказал этому пулу

zfs set primarycache=metadata zbackup

Получилась такая фигня: если у Acronis-а запустить проверку бэкапа, то:

1. C ZFS-тома читается ~150-200 мегабайт/сек:
$ zpool iostat zbackup 1
...
zbackup     2,36T  2,17T    195      0   195M      0
...

Про ZFS prefetch

Вынесу из комментариев, потому что это важное, чтобы потом самому было легче найти.

АХТУНГ. Все описанные ниже эксперименты (и прошлая серия экспериментов) - относятся ТОЛЬКО к FreeBSD-12. На 10.3-11.0 (релизных! со -stable все сложно) картина принципиально другая и деградации скорости чтения при маленькой глубине префетча нет.

Собрал я тут ZFS массив на следующие (я надеюсь) лет пять: 6x6Tb, в RAIDZ2 (2 - потому что я устал срочно бегать в магазин, покупать замену вылетевшему диску), диски HGST, правда разные...

Sale: дешевый 10G (Myricom 10G-PCIE-8A-C + кабель)

 

ПРОДАНО

Весной я уже пытался продать, даже был интерес, но потом народ разъехался и все, поэтому повтор.

Продается комплект:

  • 2 штуки 10Gbit карт Myricom 10G-PCIE-8A-C
  • 3-метровый CX4 кабель для нее.
  • И таких комплектов у меня два. остался один комплект

То есть можно вот прямо сейчас подключить свой NAS к своему десктопу по 10Gbit и начать работать (если, конечно, расстояние меньше трех метров, а в NAS/десктопе есть свободные слоты PCIe)

Вот так это выглядит (click to...

Pages

Subscribe to 10G и Infiniband