10G и Infiniband

Sale: личинка NAS

(картинка кликабельна, но снято телефоном)

Ну и естественно, теперь бы мне хотелось продать свой старый NAS, поскольку хранить его негде, использовать не могу, выкинуть - жалко.

В следующем составе:

  1. Корпус - Lian Li, PC-A04. Сильно покоцаный жизнью, т.е. при укладывании-снятии с полки его конечно много раз поцарапало.
    Micro-ATX, 7 отсеков 3.5, два отсека 5.25, винтики
  2. ...

Экономика колхоза

Мой колхоз построен и уже около недели работает (аптайм 5 суток, но я там ковырялся какое-то время уже после запуска в боевую работу - ну и перезагружал тоже).

Мне поступали приватные запросы про цену вопроса, скрывать тут нечего, экономика вышла такая:

  1. Корпус: грубо, на круг, $300 с доставкой (19744р если быть совсем точным).
  2. Материнская плата Supermicro A2SDi-H-TF - $645 с доставкой
  3. ...

FreeBSD + 10G + Samba tune

Все утро онанировал подбирал параметры FreeBSD/Samba. Остановился пока на таком:

/boot/loader.conf

hw.ix.max_interrupt_rate=16000 hw.ix.rx_process_limit=4096 hw.ix.tx_process_limit=4096 hw.ix.rxd=4096 hw.ix.txd=4096 

smb4.conf

read raw = yes write raw = yes socket options = TCP_NODELAY SO_RCVBUF=2097152 SO_SNDBUF=2097152 large readwrite = yes 

Уменьшение размера буферов до 1Mb снижает скорость чтения процентов на 5, до 512к - процентов на 20.
Все кроме третьей строчки (socket options) скопировано с предыдущего ящика, может оно тоже не нужно (но на нем - было нужно).

И, в принципе, они такие...

FreeBSD 10G Samba speed

В догонку к позавчерашнему.

Samba 4.8 пишет (и читает) со скоростью дисков, во всяком случае пока этих дисков 3 (и писать можно ~600MB/sec).

Вот на netstat видно, например:

# netstat -I ix0 1 input ix0 output packets errs idrops bytes packets errs bytes colls 70801 0 0 636957461 24946 0 1661685 0 65798 0 0 592032063 24596 0 1639413 0 69470 0 0 624964103 24249 0 1615565 0 64249 0 0 578234195 23707 0 1579277 0 69714 0 0...

Q: FreeBSD-FreeBSD remote shell speed

Уважаемые FreeBSD-веды!

у меня в подполе происходит Я гоняю zfs snapshots с ящика на ящик таким примерно способом:

zfs send .... | mbuffer -s 64k -m 64m | ssh -c aes128-gcm@openssh.com box2 zfs recv

И между двумя ящиками на i3 все происходит хорошо: ssh с этим шифром бегает на скорости 900+MB/sec, реально zfs recv может принять 450-500 и я всем доволен.

Но на...

Об атомных ядрах и их эффективности

По непонятной мне причине, время пересборки FreeBSD на моем текущем "боевом NAS" было измерено неверно отчего  я написал "время пересборки FreeBSD на новом процессоре больше раза в полтора, чем на старом" (возможно, я сгоряча собирал не ту версию на старой машине, у меня там много src.Minor.Major свалено на диске), после переизмерений получилось вот что (повторено несколько раз, результаты устойчивые).

Методика измерения:

  • выкачиваем FreeBSD 11-stable (ревизия одинаковая, убедился)
  • Чистим /usr/obj (необязательно, как показали повторные измерения)
  • make -j N buildworld,
  • ...

Supermicro USB stick boot problem: mystery solved

(извините за иностранные слова в заголовке, но мне вот сдается, что эти слова будут гуглить /как я гуглил/ и пусть находят, страдальцы, а дальше гуглом же и переведут).

Так вот, про проблему загрузки с флешки Sandisk Ultra Fit я на днях писал. Решил я ее, как помните, другой флешкой, через удлинитель, хоть и противно мне было...

Колхоз - дело добровольное

Извините за качество, вот реально телефоном снял.

Так вот, собирая NAS из вот этого корпуса и материнки Supermicro A2SDi-H-TF я оттоптался по таким граблям:

I. Загрузка.

Ну вот прельстиво взять Sandisk Ultra Fit, сунуть его в USB-гнездо на материнке и грузиться с него.

Пошел я в лабаз, купил Ultra Fit USB 3.1. Все с ним хорошо, FreeBSD распознает, ставится туда, но,...

Моя прелес-с-с-с-ть

Приехала моя прелес-с-с-с-ть

Еще пара запчастей в дороге, надеюсь в ближайшую неделю их обрести - и буду собирать новый NAS, старый маленько задолбал. Правда уже понятно, что родные вентиляторы (с Molex-кабелем) придется менять на регулируемые по скорости.

Одного не могу понять - ну почему в каждой (второй) китайской фанзе не лепят ну если не такие же, то ну хоть с каким-то разнообразием.

12-дисковый корпус - вообще ...

Про Самбу 4.6

У одного моего друга есть файлсервер с самбой. Прочитал я он CVE-2017-7494, пригорюнился и сделал pkg install samba46 (была 4.3).

Прошла неделя и зоркий глаз заметил, что утрешний бэкап, который укладывался в час (начинался в 7 и к восьми всяко завершался) теперь идет иногда и больше двух часов. Пригорюнился.

Запатчил 4.3 патчем от 4.4-4.6 (благо там 4 строчки и место это не менялось) - и стало обратно хорошо, скорость на интерфейсе при бэкапе/верификации 2-2.5 гигабита (упирается дальше в диски), а с 4.6 было 1+. Конфиг, понятно, один и тот же.

Вполне возможно, конечно, что если потюнить, ну там удалить из smb4.conf те настройки производительности, которые для 4.3 были сделаны, а поставить какие-то другие, то станет обратно хорошо. Но времени и сил на это жалко.

Эх!

Увы, до круглой цифры (скорости чтения) не дотянуло (и не дотянет, уже более медленная зона на дисках пошла), а было так близко.....

Нет, ничего не сломалось, просто я понял что

  • запасного диска в шкафу нет, а это неправильно, опять ужаленым в жопу метаться по магазинам если что
  • Гелиевые диски - систематически холоднее обычных, градусов эдак на 6, а лето на носу (они и систематически медленнее на несколько процентов, но мне хватает).
  • Если закупаться, то сейчас, бакс вот на рупь вверх уже прыг, а цены - еще нет.

Ну и купил гелиевый, а обычный - на полку.

Про ZFS L2ARC

В хорошую погоду zpool iostat -v zdata 5 выглядит теперь так

Но на самом деле, все как-то хуже. Не сильно, но все-таки.

Вот тут случился accidental reboot и я на пустом кэше попробовал так

tar cf /dev/null some-75Gb-folder

Ну и смотрю на скорости (на самом деле там tar cf - .. | mbuffer -s 16k -o /dev/null чтобы скорости видеть):

  • Первый проход: ~650MB/sec
  • ...

Про zfs primarycache

У одного моего друга есть FreeBSD бокс, на нем ZFS, Samba и 10G-ethernet. К этому боксу подключена рабочая станция с Acronis Workstation, которая туда делает бэкапы.

Бэкапы делаются на отдельный zfs pool, я подумал "а нахрена бэкапами размывать кэши" и сказал этому пулу

zfs set primarycache=metadata zbackup

Получилась такая фигня: если у Acronis-а запустить проверку бэкапа, то:

1. C ZFS-тома читается ~150-200 мегабайт/сек:
$ zpool iostat zbackup 1
...
zbackup     2,36T  2,17T    195      0   195M      0
...

Про ZFS prefetch

Вынесу из комментариев, потому что это важное, чтобы потом самому было легче найти.

АХТУНГ. Все описанные ниже эксперименты (и прошлая серия экспериментов) - относятся ТОЛЬКО к FreeBSD-12. На 10.3-11.0 (релизных! со -stable все сложно) картина принципиально другая и деградации скорости чтения при маленькой глубине префетча нет.

Собрал я тут ZFS массив на следующие (я надеюсь) лет пять: 6x6Tb, в RAIDZ2 (2 - потому что я устал срочно бегать в магазин, покупать замену вылетевшему диску), диски HGST, правда разные...

Sale: дешевый 10G (Myricom 10G-PCIE-8A-C + кабель)

 

ПРОДАНО

Весной я уже пытался продать, даже был интерес, но потом народ разъехался и все, поэтому повтор.

Продается комплект:

  • 2 штуки 10Gbit карт Myricom 10G-PCIE-8A-C
  • 3-метровый CX4 кабель для нее.
  • И таких комплектов у меня два. остался один комплект

То есть можно вот прямо сейчас подключить свой NAS к своему десктопу по 10Gbit и начать работать (если, конечно, расстояние меньше трех метров, а в NAS/десктопе есть свободные слоты PCIe)

Вот так это выглядит (click to...

Когда в руке молоток - все кажется гвоздями

Наконец я могу, не ограничиваясь скоростью источника, померять скорость своих Samba-ящиков:

Сначала оно жрет его в ARC - и оттуда горб (1+Gb/sec) на первые гигабайт 8, потом легкий провал (сброс кэша), потом sustained на ~600.

Конфиг:

  • 8x1Tb WD Re (дискам 4 года, они ~100+ со шпинделя выдают, надо будет поменять постепенно на те, которые 150+ могут, а больше и не надо уже)
  • Adaptec 5805 (и
  • ...

ZFS L2ARC performance

Преамбула:

(У одного моего друга) есть ZFS-pool такой вот конфигурации:

  • i5-2400 CPU @ 3.10GHz
  • avail memory = 16477163520 (15713 MB)
  • FreeBSD 12.0-CURRENT #4 r302772M
  • 8xTb SATA в RAIDZ2.
    Подключены к Adaptec 5805, сделаны simple volumes по одному диску
  • 3 консумерских SSD-шки (OCZ Vertex4, OCZ Agility 3, Intel 520) в L2ARC
    • я пробовал объединять их в gstripe, счастья не увидел особого
    • и сейчас они как отдельные диски подключены.

На пуле лежат RAW-фоточки к которым я хожу...

ZFS любви псто

Вот за такое вот ZFS люблю конечно нежно

Оно, конечно, В РАЗЫ быстрее, чем примонтировать два ящика к WS и каким-то userland-софтом гонять туды-сюды. Ну и вторые порты на 10G вот пригодились, повязал два сервера личным линком (10G-карта начала греться, пришлось еще кулер к ней приделывать...)

И, насколько я вот понимаю, zfs send - шлет же чексуммы (а recv - проверяет?) то есть у такого бэкапа еще и целостность гарантирована "сама"?

Вот по дороге едет ZIL и я им буду....

Вот есть у меня стораджбокс, в нем 8x1Tb WD RE в RAID6 на Adaptec 5805.

Тогда, когда я его собрал, то есть 4 года назад, я сравнивал аппаратный RAID с RAIDZ2 (и zvol на нем) и аппаратный был значительно быстрее. Конкретные цифры в блоге не нашел, но если память не врет, то RAIDZ2 была процентов на 20-25 медленнее на записи больших файлов.

И вот сегодня, засунув в тот же ящик еще 6 дисков (3x1Tb ноутбучные 2.5" и три старых...

Sale: Myricom 10G-PCIE-8A-C (есть 4 шт) + кабели

По случаю перехода на Intel/RJ45, распродаю свои мирикомы:

(фотка с Ebay, на моих написано (C) 2006, в остальном выглядят точно так же).

Работает оно вот так (это Samba, больше подробностей вот в этом тексте)

Чтобы вы понимали что покупаете:

  1. Это настоящий работающий 10G.
  2. У него дурацкие кабели с разъемом CX4 (8 витых пар),
  3. ...

Pages

Subscribe to 10G и Infiniband