10G и Infiniband

Про ZFS и L2ARC

lexa - 04/Окт/2019 09:54

У одного моего друга есть NAS на (7+2)-6Tb. Семь дисков в RAIDZ2 (том под данные), два диска в зеркале (том под бэкапы). И был там L2ARC-кэш на полтерабайта, Patriot Hellfire. Поскольку полтерабайта это мало (см ниже), этот кэш обслуживал только активные данные для работы, но не том с бэкапами, а для тома на котором живут торренты было secondarycache=metadata. И, в общем, было видно, что полтерабайта - мало.

Посмотрел один мой друг в прайслисты, посмотрел в обзор терабайтных SSD...

ZFS: vfs.zfs.compressed_arc_enabled=0

lexa - 10/Май/2019 09:46

У одного моего друга есть файловый сервер под FreeBSD 12 :)

И вдруг я он заметил, что скорость верификации бэкапов упала с 2-2.5 Gbit/s (это ограничение Acronis Backup, быстрее оно не делает) до меньше чем одного гигабита, 600-800Mbit/sec.

Ну вот vfs.zfs.compressed_arc_enabled=0 вроде как помогло. Процессор то медленный у меня него.

Продолжаем наблюдения.

Про Intel X550/10G

lexa - 22/Апр/2019 12:32

Если кто вдруг продолжает следить за моими приключениями с 10G и Асусовским свитчом, докладываю:

1. В некоторый момент я не выдержал и переткнул линк NAS - рабочая станция напрямую, мимо свитча. Стало полегче, разрывы (т.е. reset интерфейса) стали не несколько раз в неделю (в среднем оно было 1-2, наверное, но всегда под нагрузкой т.е. бэкапилка плакалась "не смогла" и подобные истории).

Полегче стало, но полностью проблема не ушла. При этом линк FreeBSD-FreeBSD с подозрительным MTU 9000 - работал без проблем - и уже через свитч. Этот линк, да, работает полчаса в день, но уж раз в месяц то проблема проявилась бы?

2. Тогда я обновил драйвера на виндовой стороне (в очередной раз), не помогло.

3. Тогда я взял интеловскую утилиту к драйверам и ВСЕ настройки карты кроме Jumbo Frames привел к defaults. А там у меня было "очередей побольше и подлиннее", выключенный flow control (потому что были сигналы что у других глючит).

И вот пункт 3 - помог. Т.е. теперь ни единого разрыва уже наверное месяц. Производительность просела с ~1GB/sec с самбы (чтение) до 920MB/sec, но с этим я жить могу, потому что реальная производительность все равно упирается в диски, а они отдают меньше.

 

 

Про FreeBSD12

lexa - 25/Фев/2019 18:20

Наш читатель пишет нам:

Обнаружилось, что 12.0 <->11.1 резко добавляет производительности в связке дисковая подсистема-сеть по сравнению с 11.1<->11.1, если версию менять на медленной машине.

Прочитав такое, я не выдержал и обновил боевой файлсервер. При копировании (самба) с ящика на локальный диск стало так.

Было (все то же самое, но FreeBSD 11.2) процентов на 20 медленнее.

Отличные ж бывают новости!

Про Asus XG-U2008 (свитч)

lexa - 22/Янв/2019 11:19

Несколько месяцев назад я заменил старый добрый 8-портовый гигабитный DLink (не помню модели) на свитч Asus XG-U2008. 8 гигабитных портов + 2x10G

Не делайте так, дети. К гигабитным портам претензий нет, а вот с 10G засада: временами, как бы не раз в неделю, оно затыкается: лампочки горят, с точки зрения подключенных компьютеров все ОК, а вот байты не ходят. Лечится только передергом питания свитча.

Буду тратить денег на 5-портовый Netgear XS505M, дешевле вариантов не нашел.

Картинка - для привлечения внимания. Я на нее как посмотрю, так начинаю ржать.

Intel VROC (performance)

lexa - 30/Дек/2018 14:05

Не удержался я и карточку ASUS HYPER M.2 X16 таки купил, потому что на фоне всего остального нового компьютера карточку вовсе не видно, а два полутерабайтных SSD-PCIe диска Intel 760p тоже не особо заметно.

Помимо Асуса, такие делают Asrock и MSI, причем ASUS-овская мне формально нравится меньше всех (потому что питание берет с материнки, а его и так дефицит), но выбора в нашей...

NAS изнутри (и тишина вентиляторов)

lexa - 30/Дек/2018 09:22

Читатели спрашивали, а как мой новый NAS выглядит изнутри.

А тут я решился, и поменял ему корпусные вентиляторы еще раз. Потому что Be Quiet - ну нормальные, а вот Noctua придушенные - совсем тихие.

Жалко было три c половиной тыщи, но тем не менее поменял (на NF-P12 PWM), результат такой, что на 800 оборотов они продувают не хуже, чем Be Quiet Pure...

TimeMachine на самбе

lexa - 17/Дек/2018 14:39

Записки для себя (в дополнение ко вчерашнему):

если вы (к примеру) хотите анонсировать _adisk_.tcp и по SMB и по AFP, то у avahi надо в xxx.service писать разные имена. Например так:

smb.service:  <name replace-wildcards="yes">SMB on %h</name>

afp.service:  <name replace-wildcards="yes">%h</name>

И тогда они в выборе диска у TimeMachine будут видны оба два.

А вот сделать так, чтобы разные версии макоси, но с одного компьютера, бэкапились в одну Samba Share - не сумел. Затирают они друг друга (при том что 10.13 бэкапится в Computername.sparsebundle, а 10.14 - в Volumename.sparsebundle). Завел поэтому пока несколько shares.

Возможно, дело в флагах adVF, но не нагуглилось ничего хорошего, а пробовать уже задолбался.
 

Хрупкость бытия

lexa - 16/Дек/2018 19:55

В рамках улучшения всего хорошего, пытался поменять старый (и больной) mDNSresponder из howl (который, скажу честно, не удалось настроить - ну то есть бэкапная конфигурация не заработала /впрочем, я начал догадываться отчего/), пробовал несколько раз перейти на православный и продвинутый avahi-daemon.

Вот раза с десятого получилось. После того, как я догадался запустить avahi-daemon --debug..... И УВИДЕЛ, ЧТО МУЛЬТИКАСТ-ГРУППУ ОН СЛУШАЕТ НА ПОСЛЕДНЕМ АЛИАСЕ ИНТЕРФЕЙСА.

А у меня естественно, ifconfig main-addr; ifconfig alias-addr alias. А на alias-addr может сходить единственная машинка в доме, которая знает про адрес 10.5.0...

Эксперименты показали - берется последний адрес (если навесить еще алиасов - берется последний). Ну, понятно, переменил порядок в ifconfig, оно начало браузиться наконец то и видно в тайм-машине опять (и тайм-машина туды ходит успешно). Да, я в этой беде не одинок: раз, два, больше не стал искать.

Но, сука, дочего хрупок мир. Через два года забуду все нахрен, навешу еще один алиас, тайм-машины по всему дому поломаются.

P.S. Подозреваю что howl отваливался ровно по той же причине.

P.P.S. Осталось (пере)собрать самбу с поддержкой avahi и изжить AFP.

Sale: личинка NAS

lexa - 11/Дек/2018 10:28

(картинка кликабельна, но снято телефоном)

Ну и естественно, теперь бы мне хотелось продать свой старый NAS, поскольку хранить его негде, использовать не могу, выкинуть - жалко.

UPD: ящик разошелся по частям, часть продал, часть пристроил к делу.

Осталась только материнка, которую буду продавать отдельно, как только соберусь с духом. Или не буду, полежит в качестве запчасти, мало...

Экономика колхоза

lexa - 10/Дек/2018 15:20

Мой колхоз построен и уже около недели работает (аптайм 5 суток, но я там ковырялся какое-то время уже после запуска в боевую работу - ну и перезагружал тоже).

Мне поступали приватные запросы про цену вопроса, скрывать тут нечего, экономика вышла такая:

  1. Корпус: грубо, на круг, $300 с доставкой (19744р если быть совсем точным).
  2. Материнская плата Supermicro A2SDi-H-TF - $645 с доставкой
    3. ...

FreeBSD + 10G + Samba tune

lexa - 28/Ноя/2018 12:45

Все утро онанировал подбирал параметры FreeBSD/Samba. Остановился пока на таком:

/boot/loader.conf

hw.ix.max_interrupt_rate=16000 hw.ix.rx_process_limit=4096 hw.ix.tx_process_limit=4096 hw.ix.rxd=4096 hw.ix.txd=4096

smb4.conf

read raw = yes write raw = yes socket options = TCP_NODELAY SO_RCVBUF=2097152 SO_SNDBUF=2097152 large readwrite = yes

Уменьшение размера буферов до 1Mb снижает скорость чтения процентов на 5, до 512к - процентов на 20.
Все кроме третьей строчки (socket options) скопировано с предыдущего ящика, может оно тоже не нужно (но на нем - было нужно).

И, в принципе, они такие...

FreeBSD 10G Samba speed

lexa - 26/Ноя/2018 14:02

В догонку к позавчерашнему.

Samba 4.8 пишет (и читает) со скоростью дисков, во всяком случае пока этих дисков 3 (и писать можно ~600MB/sec).

Вот на netstat видно, например:

# netstat -I ix0 1 input ix0 output packets errs idrops bytes packets errs bytes colls 70801 0 0 636957461 24946 0 1661685 0 65798 0 0 592032063 24596 0 1639413 0 69470 0 0 624964103 24249 0 1615565 0 64249 0 0 578234195 23707 0 1579277 0 69714 0 0...

Q: FreeBSD-FreeBSD remote shell speed

lexa - 24/Ноя/2018 22:13

Уважаемые FreeBSD-веды!

у меня в подполе происходит Я гоняю zfs snapshots с ящика на ящик таким примерно способом:

zfs send .... | mbuffer -s 64k -m 64m | ssh -c aes128-gcm@openssh.com box2 zfs recv

И между двумя ящиками на i3 все происходит хорошо: ssh с этим шифром бегает на скорости 900+MB/sec, реально zfs recv может принять 450-500 и я всем доволен.

Но на Atom C3758 все не так радужно: одно ядро медленнее раза в 4 и ssh...

Об атомных ядрах и их эффективности

lexa - 20/Ноя/2018 09:35

По непонятной мне причине, время пересборки FreeBSD на моем текущем "боевом NAS" было измерено неверно отчего  я написал "время пересборки FreeBSD на новом процессоре больше раза в полтора, чем на старом" (возможно, я сгоряча собирал не ту версию на старой машине, у меня там много src.Minor.Major свалено на диске), после переизмерений получилось вот что (повторено несколько раз, результаты устойчивые).

Методика измерения:

  • выкачиваем FreeBSD 11-stable (ревизия одинаковая, убедился)
  • Чистим /usr/obj (необязательно, как показали повторные измерения)
  • make -j N buildworld,
    • ...

Supermicro USB stick boot problem: mystery solved

lexa - 19/Ноя/2018 10:59

(извините за иностранные слова в заголовке, но мне вот сдается, что эти слова будут гуглить /как я гуглил/ и пусть находят, страдальцы, а дальше гуглом же и переведут).

Так вот, про проблему загрузки с флешки Sandisk Ultra Fit я на днях писал. Решил я ее, как помните, другой флешкой, через удлинитель, хоть и противно мне было...

Колхоз - дело добровольное

lexa - 14/Ноя/2018 17:48

Извините за качество, вот реально телефоном снял.

Так вот, собирая NAS из вот этого корпуса и материнки Supermicro A2SDi-H-TF я оттоптался по таким граблям:

I. Загрузка.

Ну вот прельстиво взять Sandisk Ultra Fit, сунуть его в USB-гнездо на материнке и грузиться с него.

Пошел я в лабаз, купил Ultra Fit USB 3.1. Все с ним хорошо, FreeBSD распознает, ставится туда, но,...

Моя прелес-с-с-с-ть

lexa - 09/Ноя/2018 15:11

Приехала моя прелес-с-с-с-ть

Еще пара запчастей в дороге, надеюсь в ближайшую неделю их обрести - и буду собирать новый NAS, старый маленько задолбал. Правда уже понятно, что родные вентиляторы (с Molex-кабелем) придется менять на регулируемые по скорости.

Одного не могу понять - ну почему в каждой (второй) китайской фанзе не лепят ну если не такие же, то ну хоть с каким-то разнообразием.

12-дисковый корпус - вообще ...

Про Самбу 4.6

lexa - 06/Июн/2017 13:51

У одного моего друга есть файлсервер с самбой. Прочитал я он CVE-2017-7494, пригорюнился и сделал pkg install samba46 (была 4.3).

Прошла неделя и зоркий глаз заметил, что утрешний бэкап, который укладывался в час (начинался в 7 и к восьми всяко завершался) теперь идет иногда и больше двух часов. Пригорюнился.

Запатчил 4.3 патчем от 4.4-4.6 (благо там 4 строчки и место это не менялось) - и стало обратно хорошо, скорость на интерфейсе при бэкапе/верификации 2-2.5 гигабита (упирается дальше в диски), а с 4.6 было 1+. Конфиг, понятно, один и тот же.

Вполне возможно, конечно, что если потюнить, ну там удалить из smb4.conf те настройки производительности, которые для 4.3 были сделаны, а поставить какие-то другие, то станет обратно хорошо. Но времени и сил на это жалко.

Эх!

lexa - 10/Апр/2017 13:45

Увы, до круглой цифры (скорости чтения) не дотянуло (и не дотянет, уже более медленная зона на дисках пошла), а было так близко.....

Нет, ничего не сломалось, просто я понял что

  • запасного диска в шкафу нет, а это неправильно, опять ужаленым в жопу метаться по магазинам если что
  • Гелиевые диски - систематически холоднее обычных, градусов эдак на 6, а лето на носу (они и систематически медленнее на несколько процентов, но мне хватает).
  • Если закупаться, то сейчас, бакс вот на рупь вверх уже прыг, а цены - еще нет.

Ну и купил гелиевый, а обычный - на полку.

Pages

Subscribe to 10G и Infiniband