Samba 10G Performance

Картинка для привлечения внимания. Сервер FreeBSD+Samba, клиент: Windows 8.1 ,

Есть у меня FreeBSD-шный бокс с ZFS к которому я хожу по Samba по 10G-линку. И до вчерашнего дня производительность не радовала, 200Mb/sec получались только изредка, а вообще типичная скорость была лишь немногим выше гигабита. При этом

• MTU 9000 на этом линке - глючило (временами отваливалась сеть)
• А практически такой же бокс (сторадж - просто RAID6 на адаптеке) на iSCSI по такому же линку - свои 400-500-600 (и 700 в тестах) мегабайт в секунду на больших файлах спокойно отдает.

Я грешил на тормоза ZFS (в частности, на фрагментацию), но с подачи комментаторов померял скорость со стандартным размером записи и с мегабайтным увидел скорости в 450 и 500-510Mb/sec (при создании файла из /dev/zero с выключенной компрессией) и стал решать проблему системно: все порубать топором и начать с чистого листа.

Настройки

1. MTU 9000

списал строчку со второго ящика, где никаких проблем не было, списал виндовые настройки со второго интерфейса (но там тоже только MTU):

ifconfig mxge0 ipaddr mtu 9000 lro

Второй день работает нормально.

2. Другие настройки сети FreeBSD

У меня там было наворочено еще от 8.3 (и от какой-то презентации Сысоева "как настраивать FreeBSD для 10 гигабит). Я на это посмотрел - и /etc/sysctl.conf обнулил в сетевой части, решил что потом буду по одному добавлять.

Таким образом, настройки стандартные.

3. Samba: 3.6->4.3

Давно пытался обновить, всякий раз начинал читать про доменные контроллеры и AD и ломался. В этот раз дочитал до "простой парольной авторизации" и осилил.

Написал в smb.conf:
server role = standalone server

Правда не знаю, влияет ли это на что-то, но мои несколько shares с парольной авторизацией - работают.

4. Настройка Samba

Вот такая, скопирована из 3.6, добавил read raw/write raw:

read raw = yes
write raw = yes
read size = 65536
max xmit = 65536
socket options = TCP_NODELAY SO_RCVBUF=655360 SO_SNDBUF=655360

Результат

Вот, например, такой:

При более детальном рассмотрении, выяснилось, что ~450Mb/s - это и скорость источника (SSD) и примерно та скорость, с которой Samba+ZFS жрут данные (точнее, сервер может жрать чуть быстрее, см. ниже), случайно так совпало.

Если копировать тестовый второй раз, так что он лежит в кэше на рабочей станции, то картинка совсем другая первые пару гигабайт:

Оно вполне уверенно выжирает ~8 гигабит до тех пор, пока их с той стороны готовы жрать (то есть пока кэш ZFS не наполнится). А потом - sustained примерно на скорости ZFS, ~500Mb/sec, 450 - это ограничение источника.

И это не какая-то хитрожопость винды, чуть больше гигабайта в секунду честно прилетает в интерфейс (понятно что over 1Gbyte/s надо ловить, чтобы начало передачи не попало в серединку секунды):
lexa@home-gw:/home/lexa# netstat -I mxge0 1
            input          mxge0           output
   packets  errs idrops      bytes    packets  errs      bytes colls
         0     0     0          0          0     0          0     0
         2     0     0        132          2     0        108     0
    119196     0     0 1074512860      60482     0    3351540     0
     59322     0     0  505632650      30233     0    1675086     0
     64256     0     0  552026374      32962     0    1826064     0
     62976     0     0  597133764      32300     0    1789476     0
     58867     0     0  532466126      30205     0    1673322     0
 

Итого

1. Я не знаю, что дало наибольший эффект: смена MTU или апгрейд самбы. Скорее второе (SMB3, то-се).
2. Это не настройки FreeBSD: я для пробы вернул старый sysctl.conf, ничего не изменилось.
3. Скорости, ограниченные только реальными ограничениями дисков - возможны. Были бы диски быстрее - ну может не уперся бы в теоретические сетевые ограничения, но 8Gbit/s которые я вижу на бурсте - это уже хорошо.
4. Надо ZIL/L2ARC на SSD прикручивать на эту самбу.