Свежие комментарии

Title Comment
А что там с ssh/rsh/netcat ?

А что там с ssh/rsh/netcat ?

Стандартно оно у меня

Стандартно оно у меня выключено: dev.ix.0.fc: 0

Это команда на отключение. У

Это команда на отключение. У меня он переодически сходит с ума и замедляет всё адски. А его отключение не делает медленнее чем когда он не сошёл с ума.

Я предпочел бы 1100, это был

Я предпочел бы 1100, это был бы нормальный результат. А 970 - хорошо, но "не то"

Flow Control всегда когда включал - приводил к замедлению, но попробую. В этот раз не пробовал.

Проверь всё же влияние flow

Проверь всё же влияние flow control ;-) sysctl dev.ix.0.fc=0 на FreeBSD.

Ну и 970MiB/sec уже не выглядит как «тормоза» ;-)

Странная херня у этой тестилки

За меньшее время, чем заданно файл был прочитан полностью и начал читаться с начала, а файл уместился в кэш win и стал читаться оттуда. Видим среднюю скорость :-). Тоже нарывался.

4.8 кстати побыстрее чем 4.3,

4.8 кстати побыстрее чем 4.3, со старого ящика имею 900+ MB/sec на чтение (а было 700+ с 4.3 вчера)

Поскольку диски - медленнее (кроме L2ARC), на этом и остановимся.

Странная херня у этой

Странная херня у этой тестилки, если поставить block size 1Mb:
Read IO
thread | bytes | I/Os | MiB/s | I/O per s | file
------------------------------------------------------------------------------
0 | 67696066560 | 64560 | 2151.99 | 2151.99 | file.img (20GiB)
------------------------------------------------------------------------------
total: 67696066560 | 64560 | 2151.99 | 2151.99

Лучше я по старинке, Explorer

Антивирус выключен на 10G

Антивирус выключен на 10G-портах, но вообще да, винда под подозрением

Актуальная в портах всё же

Актуальная в портах всё же samba48 (с 24 марта 2018).

И вот три часа назад обновление: https://svnweb.freebsd.org/ports?view=revision&revision=486043

Надо что-то тюнить, не знаю что и где

Сложно в тёмную что-то советовать. Если поиграть в дедукцию :-), то mbuffer показывал полосу между двумя freebsd и они обе не могут утилизировать канал с win. Может стоит посмотреть в сторону win? Антивирус например или ещё что-то, что может влиять на сеть?

Ну у меня примерно то же

Ну у меня примерно то же самое по смыслу, неожиданных настроек не увидел.

Вот сейчас 672MB/s с нового ящика, 860 со старого.

mtu=9000, конечно.

mtu=9000, конечно.
На винде тоже число буферов в очередях выкручено на максимум.

$ cat /boot/loader.conf

$ cat /boot/loader.conf
autoboot_delay="3"
beastie_disable="YES"

kern.hwpmc.nsamples=4096

kern.geom.label.disk_ident.enable=0
kern.geom.label.gptid.enable=0

hw.acpi.cpu.cx_lowest=C2

hw.igb.max_interrupt_rate=16000
hw.igb.rx_process_limit=4096
hw.igb.tx_process_limit=4096
hw.igb.rxd=4096
hw.igb.txd=4096

hw.ix.max_interrupt_rate=16000
hw.ix.rx_process_limit=4096
hw.ix.tx_process_limit=4096
hw.ix.rxd=4096
hw.ix.txd=4096

net.link.ifqmaxlen=16384

zfs_load="YES"

$ cat /etc/sysctl.conf
net.inet.tcp.recvbuf_auto=1
net.inet.tcp.recvbuf_inc=131072
net.inet.tcp.recvbuf_max=16777216
net.inet.tcp.recvspace=131072
net.inet.tcp.sendbuf_auto=1
net.inet.tcp.sendbuf_inc=131072
net.inet.tcp.sendbuf_max=16777216
net.inet.tcp.sendspace=131072
net.inet.tcp.maxtcptw=102400
net.inet.tcp.mssdflt=8800
kern.ipc.maxsockbuf=16777216
kern.ipc.somaxconn=8192

net.inet.tcp.rfc6675_pipe=1

vfs.read_max=32

vfs.zfs.min_auto_ashift=12

vfs.nfsd.server_min_nfsvers=4

dev.igb.0.fc=0
dev.igb.1.fc=0

dev.ix.0.fc=0
dev.ix.1.fc=0

$

А что-то тюнил для ix (или

А что-то тюнил для ix (или для tcp, хотя вот тюнинг tcp заметных различий не дал мне)?

чуть меньше 6 гигабит у меня.

чуть меньше 6 гигабит у меня. Надо что-то тюнить, не знаю что и где

11.2-STABLE. 12-ую на сервер

11.2-STABLE. 12-ую на сервер я пока не.

У меня diskpd намеривает примерно вдвое меньше

diskspd -W0 -d30 -s -b128k -o32 Z:\файл
Читаем файл последовательно без прогрева, 30 сек, блоками 128KB, в один поток с глубиной очереди 32. Можно поиграться с размером recordsize и читаемым блоком. explorer очень хорошо утилизирует пропускную способность сети. Реальное копирование больших файлов где-то 1,13-1,15GB/s.

А FreeBSD - 12-я?

А FreeBSD - 12-я?

У меня все числа с -Sh…

У меня все числа с -Sh…

Нипанятна.

Да, без ключа -Sh (который я

Да, без ключа -Sh (который я откуда-то скопипастил) - скорость стала равна эксплореру.
6.5 гигабит по perf monitor (смотрю ж и на сеть тоже).
Со старого ящика - тоже ~800MB/sec, а diskpd кажет 350.

Ключи перебирать не буду, копирование на nvme - оно мне понятно хотя бы.

Ну, мне некуда копировать

Ну, мне некуда копировать файл так быстро. FAR'ом в NUL медленно. Эксплорер упирается в SATA SSD на декстопе.

И, да, у diskspd много-много разных ключей :-)

У меня diskpd намеривает

У меня diskpd намеривает примерно вдвое меньше, чем копирование 80-гигового файла windows explorer

1 поток, 32K блок, очередь 32

1 поток, 32K блок, очередь 32

Read IO
thread | bytes | I/Os | MiB/s | I/O per s | file
------------------------------------------------------------------------------
0 | 133577900032 | 4076474 | 1061.58 | 33970.67 | big-file.bin (64GiB)
------------------------------------------------------------------------------
total: 133577900032 | 4076474 | 1061.58 | 33970.67

Очередь важна при рандоме: 1 поток, 32K блок, очередь 1 (синхронно)
ead IO
thread | bytes | I/Os | MiB/s | I/O per s | file
------------------------------------------------------------------------------
0 | 4880236544 | 148933 | 77.57 | 2482.20 | big-file.bin (64GiB)
------------------------------------------------------------------------------
total: 4880236544 | 148933 | 77.57 | 2482.20

4.8.последняяя_в_портах

4.8.последняяя_в_портах

И, да, в один поток ровно та же суммарная скорость. От размера блока — зависит, от размера очереди — чуть-чуть зависит, от количества тредов — нет, всё равномерно размазывается на треды, очень ровненько, я пробовал от 1 до 8 (у меня 8 псевдоядер на клиенте, это i7-6700K).

Ну вот я померял этим diskspd

Ну вот я померял этим diskspd из пустого файла — и был приятно удивлён.
И даже при чтении в один тред у меня smbd (4.8) выжирает 184% при этом.
Это E3-1220v3.

Версия самбы?

Версия самбы?

Ну и я меряю в один поток. Много потоков меня не интересуют.

Ну вот в предыдущий заход у

Ну вот в предыдущий заход у меня samba43 была быстрее более новых.

Достану пожалуй из https://svn.freebsd.org/ports/branches/2017Q2/net/samba43/ и соберу руками, интересно...

Актуальные, как написано выше, 46/47 - ложатся на процессор (на одно ядро)

Хотя не, офигеть:

Хотя не, офигеть:

Read IO
thread | bytes | I/Os | MiB/s | I/O per s | file
------------------------------------------------------------------------------
0 | 18495766528 | 282223 | 293.98 | 4703.68 | big-file.bin (64GiB)
1 | 18469486592 | 281822 | 293.56 | 4697.00 | big-file.bin (64GiB)
2 | 18495766528 | 282223 | 293.98 | 4703.68 | big-file.bin (64GiB)
3 | 18485542912 | 282067 | 293.82 | 4701.08 | big-file.bin (64GiB)
------------------------------------------------------------------------------
total: 73946562560 | 1128335 | 1175.34 | 18805.45

Это треда, очередь по 32 запроса, блок 64 кб. Конечно, блоком в 4кб помедленней, всего 192MiB/s т.е. всё упирается в IOPS (как ни крути чуть меньше 50K iops).

А 10G насыщается уже на 32K блоке.

Ну да, это пустой (дырявый) файл на ZFS + samba.

Не факт. У меня когда не было

Не факт. У меня когда не было 10G диски отдавали где-то 5 гигабит, сеть под iperf'ом легко отдавала совершенно полный гигабит, а файлы читались на 600-750 мегабит.

Когда появилось 10G — ну, всё хорошо (диски вдвое медленней сети), но если диск разгонятся быстрее 10G, я не уверен, что вот так просто получу полные 10G.

Pages

Subscribe to comments_recent_new