Adaptec 5805 RAID6 vs ZFS RAIDZ2 performance

lexa - 01/Сен/2012 11:25
Вот, померял на досуге:
  • ASR-5805, 8 дисков в RAID-6, 2Tb-раздел в начале массива. Тестируем гигабайтным блоком, 40 гигов чтения/записи:
    • NTFS (Win7): 651Mb/sec чтение, 651Mb/sec запись.
    • UFS2+SUJ (FreeBSD 9.1): 585Mb/sec запись, 528Mb/sec чтение.
    • EXT4 (Ubuntu Server 11.10): 659/639
  • ZFS RAIDZ2 (FreeBSD 9.1), те же 8 дисков: 490Mb/sec на запись (dd bs=1024M), огорчился и не стал мерять дальше.
Так как эти ~650Mb/sec у меня из Убунты впрямую транслируются в SRP (SCSI RDMA Protocol), то я уже счастлив (подробности чуть позже).

Hardware: Intel i5-2400, мамка на Z77, 8GB RAM, Adaptec ASR-5805, 6 дисков Seagate Barracuda ES.2 1Tb (SAS), два диска WD RE4 1Tb (SATA). Размер блока массива - 256Kb. Никаких моментиков с терабайтниками (вроде 4-к сектора) - нету.

Да, ZFS куда более удобная в использовании: нет многодневных ребилдов массива, можно менять диски в RAIDZ на бОльшие (и после замены всех - емкость вырастет), снэпшоты и все такое. Опять же, Verify так не просаживает производительность, сплошное счастье.

Но мне для дискового ящика от ZFS нужно только тома нарезать - и терпеть на этом фоне разницу в перформансе в 1.3 раза я не готов.

Comments

_slw (not verified) - 01/Сен/2012 11:32

UFS2+async для комплекта замеряй, пока не поздно

и на чем zfs тормозит?

lexa - 01/Сен/2012 11:39

Я не знаю на чем тормозит zfs, может на чексуммах, может еще на чем. У меня запасного (более быстрого) процессора для нее под рукой нет.

_slw (not verified) - 01/Сен/2012 12:05

запускаешь процесс. паралельно

pmcstat -S CPU_CLK_UNHALTED_CORE -O sample.out (ну или что конкретно у тебя похожее по pmccontrol -L имеется)
через некоторое время давишь control-c
pmcstat -R sample.out -G out.txt
less out.txt

да, кроме UFS+async хотелось бы для порядку тупо dd туда и zfs поверх RAID6. последнее конечно смысла для тебя имеет мало, но для статистики и теории было бы интересно.

neuda4nik (not verified) - 02/Сен/2012 07:23

памяти маловато
zfs-guru говорят об 1Гб на 1Тб

bowhill (not verified) - 02/Сен/2012 10:38

Ну ASR-5805 -- предмет недешёвый, его можно и с i7-3770 с шустрой памятью сравнить.

lexa - 02/Сен/2012 09:28

Ну так столько и есть. 8Tb сырого стораджа (в raid6/z2 - 6Tb), 8Gb памяти.

lexa - 02/Сен/2012 11:01

Ну не дешевый, но и не очень новый, сейчас вроде и побыстрее есть.

Но и просто SAS HBA на 8 портов тоже денег стоит, разница между HBA и RAID будет как раз примерно как 3770 стоит (без кулера и памяти :)

Ну то есть вот лично я был почти уверен, что ZFS будет быстрее "просто RAID", а оно вона как оказалось. В практическом смысле это означает, что на простые файлеры можно ставить совсем слабые и маложручие CPU, но с RAID. Это и по питанию/охлаждению может быть выгоднее и вообще.

bowhill (not verified) - 02/Сен/2012 12:07

Да, за hba дерут по чёрному, но всё равно разница будет долларов в 350. В быстрых дельта сохранится. Ну и i5-2400 тоже денег стоит. Т.е. в итоге "сколько стоит удобство zfs?" :)

То, что спецпроцессор чексуммы быстро считать умеет -- это понятно и скорее всего это близко к пределу. Просто дорого слишком за него просят, в интерированном варианте ещё куда не шло, а в отдельной плате цены корпоративные.

Вообще-то было бы интересно сравнить на этой задаче i5-3570 и i7-3770.

lexa - 02/Сен/2012 12:27

i5-2400 у меня потому что просто был под рукой. Я при очередном развинчивании этого ящика попробую туда сунуть какой-то целерон за $35, сдается мне что с задачей пересылки HBA-HCA он справится (я, впрочем, не пробовал - и еще на CPU load посмотрю прежде чем).

А "удобство ZFS" - в моем случае идет после скорости. Хотя я вот уже призадумался, не нужно ли второй ящик (который "универсальный сервер на весь дом", а не просто вынесенные из WS диски) поапргейдить RAID-контроллером.

dmarck (not verified) - 01/Сен/2012 15:00

SUJ же асинк сам включает.

_slw (not verified) - 01/Сен/2012 15:17

щито?
ересь.

rezdm (not verified) - 01/Сен/2012 11:39

Так может тогда нтфс?

lexa - 01/Сен/2012 11:42

Ну так естественно NTFS.
Там по любому был бы NTFS, вопрос что экспортить (по iSCSI) - ZFS-ные тома или адаптековский том.

Anonymous (not verified) - 01/Сен/2012 11:58

Мне кажется, что конфигурирование vfs.zfs.arc_max в /boot/loader.conf - это неотъемлемая часть ZFS. Например, у нас сервера с 64G RAM имеют vfs.zfs.arc_max=58G и являются частью CDN сети. I/O с этих серверов идет в 900 Mbit/s, тогда как диски почти не крутяться, все частотрогающиеся данные берутся из ARC.

Еще могу вспомнить, что при random чтении (а это всегда) - лучше vfs.zfs.prefetch_disable=1 делать всегда и
vfs.zfs.vdev.max_pending = N

где N, 10x кол-во дисков. Не помню где вычиталось. По моему опыту, только ZFS имеет такое количество различных высунутых наружу настроек по тюнингу, что нельзя игнорировать ;)

lexa - 01/Сен/2012 12:10

Ну да, я настройки взял с соседнего (почти такого же) бокса.

Судя по всему, тормозит именно чексумминг или что-то в этом роде, во всяком случае влияние процессора на ZFS несомненно: http://blog.lexa.ru/2012/04/14/opyat_snova_o_proizvoditelnosti_zfs.html

lexa - 01/Сен/2012 12:13

И, да, 900Mbit/s мне не очень интересны. Мне интересно больше 5200Mbit/s :)

Drong (not verified) - 01/Сен/2012 12:38

Интересно, линуксовый md raid6 сильно проигрывает zfs?

knutov (not verified) - 01/Сен/2012 13:08

зфс во вре всегда было помедленнее и отставало в развитии.

Нексента и производные так и не завелись?

lexa - 01/Сен/2012 13:19

IB там не завелся. А без IB жизни нет.

klevitov (not verified) - 01/Сен/2012 13:20

ZIL не пробовал вынести на SSD? И L2ARC, до кучи.

lexa - 01/Сен/2012 13:33

Для длинной записи ZIL на одном SSD - не спасет.

klevitov (not verified) - 01/Сен/2012 13:40

В общем, при наличии на линуксе SRP, разбирательства с zfs имеют лишь академический интерес.

lexa - 01/Сен/2012 13:46

Ну была надежда, что линуксячий ZFS окажется быстрым (быстрее RAID6 аппаратного).

Авотхер: 302Mb/sec file IO, 165Mb/sec - запись в zfs volume (как устройство).

klevitov (not verified) - 01/Сен/2012 14:40

Ну правильно, zfs fuse же?

lexa - 01/Сен/2012 14:48

Нет, native
http://zfsonlinux.org/

nagual (not verified) - 22/Сен/2012 01:02

Судя по огромной нагрузке на процессор дедупликация включена или нет ?

lexa - 22/Сен/2012 08:15

нет, выключена.

А про нагрузку на процессор у меня тут ни слова не сказано.

nagual (not verified) - 20/Ноя/2012 04:26

Ваш контроллер имеет батарейку

http://www.nix.ru/autocatalog/controllers_adaptec/Adaptec_RAID_5805_ASR5...

Опции (батарея аварийного питания) ABM-800 |Батарея аварийного питания

И при тестировании вы не выключили /sbin/zfs set sync=disabled
Вероятно win с ntfs в драйверах имеет данные о наличии батарейки и выбирает соответствующий режим кеширования. Ubuntu тоже ...

lexa - 20/Ноя/2012 07:12

Батарейки нет, впрочем это не имеет отношения к.

sync=dizabled выключает zil. Как-то нет идеи работать в таком режиме.

nagual (not verified) - 20/Ноя/2012 12:29

>Батарейки нет, впрочем это не имеет отношения к.
По ссылке в описании контроллера батарейка есть.

>Как-то нет идеи работать в таком режиме.
А ничего что в случае с ext4 и ntfs вы работаете в таком режиме ? Там нет других режимов. ZFS по умолчанию работает с банковской точностью и обязательно сохранит последнюю транзакцию. Это приводит к падению производительности, фактически колличество транзакций равно колличеству iops. Ни одна из участвующих в тестах FS не обеспечивает такую надежность. Вы сравнили скорости грузовиков со скорость банковской машины, здорово... Дла задач хостига такая надежность немного излишне ...

lexa - 20/Ноя/2012 12:40

1) Батарейка - дополнительный (необязательный) аксесуар, в моем случае ее нет.
2) В использованном тесте (dd of=file) синхронных операций нет, т.к. разницы от выключения ZIL возникать не должно. При случае я попробую, конечно.
3) Откуда взялось слово "хостинг" я вовсе не понял.

nagual (not verified) - 20/Ноя/2012 17:06

По 2 пункту зависит от организации ZFS.
По 3 пункту вы в банке работаете ? Это вы в банке ext4 по сети гоняете ? :))
При тестировании под виндой у вас стояла галочка в свойствах диска "Разрешить кеширование записи для этого устройства." И вторая "Отключить очистку буфера windows" ?
При тестировании под linux с какими опциями была создана fs ? Огласите содержание /etc/mke2fs.conf :)
Должно быть что то типа:
<------>ext4 = {
<------><------>features = has_journal,extent,huge_file,flex_bg,uninit_bg,dir_nlink,extra_isize
<------><------>auto_64-bit_support = 1
<------><------>inode_size = 256
<------>}

lexa - 20/Ноя/2012 17:22

По-моему, вы разговариваете с голосами в своей голове. Откуда-то взяли deduplication и "нагрузку на процессор" (это было 22 сентября, несколько сообщений вверх).
Теперь "хостинг" и "банк". Нет, я не работаю в банке. Нет, я не работаю в хостинговой компании.
Да, в FreeBSD ZIL по-умолчанию включен только на синхронных операциях. То есть в данной ситуации нерелевантен.

Флаги создания FS, сюрприз, тоже нерелевантны. И NTFS и ext4 дали скорость практически равную голому диску, вообще без fs, то есть оверхед - копеечный. А ZFS - нет, не дала. С учетом наличия SRP target только под Linux - дальше тестировать смысла не было.

nagual (not verified) - 20/Ноя/2012 17:34

Спасибо ра расплывчатые ответы на конкретные впросы. Ни сколько не сомневался в вашей компетенции как тестера. Если вы не в состоянии даже винду настроить, не делайте больше тестов FreeBSD ...

lexa - 20/Ноя/2012 17:55

Вы немножко задержались с вопросами (мы обсуждаем пост от 1 сентября), вот и нет конкретных ответов.

Ящик этот - давно в бою, как я вам там Windows-флаги посмотрю, если никаких Windows там уже скоро 3 месяца как нет?