Про ZFS, Advanced Format и ashift

Пару лет назад я уже исследовал ZFS на дисках с 4k-сектором, но тогда такой диск в массиве был только один (а остальные три - с 512b секторами) и какой-то значимой разницы я не нарыл.

Кроме того, том был загрузочный, а грузиться с тома где ashift не равен 9 тогдашние бутблоки не умели.

Поэтому овладев пятеркой 3Tb сигейтов я просто обязан был это опробовать.

Рассказываю.

Hardware

• 5x Seagate ST3000DM001 (3Tb)
• Материнка на Intel X58, Core i7 920, 12GB RAM
• FreeBSD 9.0-STABLE, обновлялась недели три назад.
• Попало с машины, откуда я склонировал FreeBSD. Может оно и неправильно, но уже поздно перемеривать:  vfs.zfs.arc_max="4G" vfs.zfs.vdev.max_pending=30

Stripe

512-байтный блок (ashift=9)

Делаем том, смотрим что получилось:  lexa@newgw:/# zpool create zdata ada0 ada1 ada2 ada3 ada4 lexa@newgw:/# zdb | grep ashift ashift: 9 ashift: 9 ashift: 9 ashift: 9 ashift: 9 Создаем 100-гигабайтный файл:  lexa@newgw:/zdata# dd if=/dev/zero of=file bs=1024k count=100000 100000+0 records in 100000+0 records out 104857600000 bytes transferred in 237.302583 secs (441872982 bytes/sec) Ну, честно говоря, 441Mb/sec на пяти дисках, при том что намеривают на них в районе 130-140Mb/sec (на одном) - безобразно мало как-то.

С другой стороны, вот у меня сейчас на WD Green (6-й диск на фото) идет zfs send, скорость по iostat в районе 60Mb/sec, а тот же Анандтех намерял в том же тесте 112Mb/sec на чтении. И там не мелочь какая валяется, а честное кино в BD-формате, мелких файлов практически нет, всяких частых seeks не должно бы быть.

4k-сектор

Делаем gnop c 4k размером блока, создаем на них ZFS, сносим gnop, реимпортируем массив, проверяем ashift:  lexa@newgw:/# for i in 0 1 2 3 4 ; do gnop create -S 4096 ada$i ; done lexa@newgw:/# zpool create zdata ada0.nop ada1.nop ada2.nop ada3.nop ada4.nop lexa@newgw:/# zpool export zdata lexa@newgw:/# for i in 0 1 2 3 4 ; do gnop destroy ada$i.nop ; done lexa@newgw:/# zpool import zdata lexa@newgw:/# zdb | grep ashift ashift: 12 ashift: 12 ashift: 12 ashift: 12 ashift: 12 Ну и опять создаем 100Gb-файл:  lexa@newgw:/zdata# dd if=/dev/zero of=file bs=1024k count=100000 100000+0 records in 100000+0 records out 104857600000 bytes transferred in 227.508645 secs (460895013 bytes/sec) Стало, как видим, примерно на 5% быстрее. И то хлеб.

RAIDZ

Процедура создания отличается только словом raidz в zpool create, приводить ее не буду. Сразу результаты:

ashift=9:

lexa@newgw:/zdata# dd if=/dev/zero of=file bs=1024k count=100000 100000+0 records in 100000+0 records out 104857600000 bytes transferred in 294.153101 secs (356472870 bytes/sec) ashift=12 (4k):

lexa@newgw:/zdata# dd if=/dev/zero of=file bs=1024k count=100000 100000+0 records in 100000+0 records out 104857600000 bytes transferred in 284.168616 secs (368997821 bytes/sec) ashift=13 (8k)

lexa@newgw:/zdata# dd if=/dev/zero of=file bs=1024k count=100000 100000+0 records in 100000+0 records out 104857600000 bytes transferred in 284.024706 secs (369184785 bytes/sec) Те же 5% прироста у 4кб блока относительно 512b

Мораль

Для длинных IO принципиальной разницы нет, но наверное она будет больше на мелких случайных чтениях. Так как мне с этого тома не загружаться, оставил ashift=12.

Но вообще - это все как-то безобразно медленно. Чуть меньше, около 300Mb/sec я имею на запись на 6x старых терабайтных барракудах-ES (RAID6, железный контроллер, диски из того же времени, когда были самоумирающие Barracuda 7200.10 или 11, забыл как их звали), при том что оборотов там столько же, а плотность записи в разы меньше.