Adaptec 5805 RAID6 vs ZFS RAIDZ2 performance
lexa - 01/Сен/2012 11:25
Вот, померял на досуге:
- ASR-5805, 8 дисков в RAID-6, 2Tb-раздел в начале массива. Тестируем гигабайтным блоком, 40 гигов чтения/записи:
- NTFS (Win7): 651Mb/sec чтение, 651Mb/sec запись.
- UFS2+SUJ (FreeBSD 9.1): 585Mb/sec запись, 528Mb/sec чтение.
- EXT4 (Ubuntu Server 11.10): 659/639
- ZFS RAIDZ2 (FreeBSD 9.1), те же 8 дисков: 490Mb/sec на запись (dd bs=1024M), огорчился и не стал мерять дальше.
Hardware: Intel i5-2400, мамка на Z77, 8GB RAM, Adaptec ASR-5805, 6 дисков Seagate Barracuda ES.2 1Tb (SAS), два диска WD RE4 1Tb (SATA). Размер блока массива - 256Kb. Никаких моментиков с терабайтниками (вроде 4-к сектора) - нету.
Да, ZFS куда более удобная в использовании: нет многодневных ребилдов массива, можно менять диски в RAIDZ на бОльшие (и после замены всех - емкость вырастет), снэпшоты и все такое. Опять же, Verify так не просаживает производительность, сплошное счастье.
Но мне для дискового ящика от ZFS нужно только тома нарезать - и терпеть на этом фоне разницу в перформансе в 1.3 раза я не готов.
Comments
UFS2+async для комплекта замеряй, пока не поздно и на чем z
UFS2+async для комплекта замеряй, пока не поздно
и на чем zfs тормозит?
Я не знаю на чем тормозит zfs, может на чексуммах, может еще
Я не знаю на чем тормозит zfs, может на чексуммах, может еще на чем. У меня запасного (более быстрого) процессора для нее под рукой нет.
запускаешь процесс. паралельно pmcstat -S CPU_CLK_UNHALTED_
запускаешь процесс. паралельно
pmcstat -S CPU_CLK_UNHALTED_CORE -O sample.out (ну или что конкретно у тебя похожее по pmccontrol -L имеется)
через некоторое время давишь control-c
pmcstat -R sample.out -G out.txt
less out.txt
да, кроме UFS+async хотелось бы для порядку тупо dd туда и zfs поверх RAID6. последнее конечно смысла для тебя имеет мало, но для статистики и теории было бы интересно.
памяти маловато zfs-guru говорят об 1Гб на 1Тб
памяти маловато
zfs-guru говорят об 1Гб на 1Тб
Ну ASR-5805 -- предмет недешёвый, его можно и с i7-3770 с шу
Ну ASR-5805 -- предмет недешёвый, его можно и с i7-3770 с шустрой памятью сравнить.
Ну так столько и есть. 8Tb сырого стораджа (в raid6/z2 - 6Tb
Ну так столько и есть. 8Tb сырого стораджа (в raid6/z2 - 6Tb), 8Gb памяти.
Ну не дешевый, но и не очень новый, сейчас вроде и побыстрее
Ну не дешевый, но и не очень новый, сейчас вроде и побыстрее есть.
Но и просто SAS HBA на 8 портов тоже денег стоит, разница между HBA и RAID будет как раз примерно как 3770 стоит (без кулера и памяти :)
Ну то есть вот лично я был почти уверен, что ZFS будет быстрее "просто RAID", а оно вона как оказалось. В практическом смысле это означает, что на простые файлеры можно ставить совсем слабые и маложручие CPU, но с RAID. Это и по питанию/охлаждению может быть выгоднее и вообще.
Да, за hba дерут по чёрному, но всё равно разница будет долл
Да, за hba дерут по чёрному, но всё равно разница будет долларов в 350. В быстрых дельта сохранится. Ну и i5-2400 тоже денег стоит. Т.е. в итоге "сколько стоит удобство zfs?" :)
То, что спецпроцессор чексуммы быстро считать умеет -- это понятно и скорее всего это близко к пределу. Просто дорого слишком за него просят, в интерированном варианте ещё куда не шло, а в отдельной плате цены корпоративные.
Вообще-то было бы интересно сравнить на этой задаче i5-3570 и i7-3770.
i5-2400 у меня потому что просто был под рукой. Я при очеред
i5-2400 у меня потому что просто был под рукой. Я при очередном развинчивании этого ящика попробую туда сунуть какой-то целерон за $35, сдается мне что с задачей пересылки HBA-HCA он справится (я, впрочем, не пробовал - и еще на CPU load посмотрю прежде чем).
А "удобство ZFS" - в моем случае идет после скорости. Хотя я вот уже призадумался, не нужно ли второй ящик (который "универсальный сервер на весь дом", а не просто вынесенные из WS диски) поапргейдить RAID-контроллером.
SUJ же асинк сам включает.
SUJ же асинк сам включает.
щито? ересь.
щито?
ересь.
Так может тогда нтфс?
Так может тогда нтфс?
Ну так естественно NTFS. Там по любому был бы NTFS, вопрос ч
Ну так естественно NTFS.
Там по любому был бы NTFS, вопрос что экспортить (по iSCSI) - ZFS-ные тома или адаптековский том.
Мне кажется, что
Мне кажется, что конфигурирование vfs.zfs.arc_max в /boot/loader.conf - это неотъемлемая часть ZFS. Например, у нас сервера с 64G RAM имеют vfs.zfs.arc_max=58G и являются частью CDN сети. I/O с этих серверов идет в 900 Mbit/s, тогда как диски почти не крутяться, все частотрогающиеся данные берутся из ARC.
Еще могу вспомнить, что при random чтении (а это всегда) - лучше vfs.zfs.prefetch_disable=1 делать всегда и
vfs.zfs.vdev.max_pending = N
где N, 10x кол-во дисков. Не помню где вычиталось. По моему опыту, только ZFS имеет такое количество различных высунутых наружу настроек по тюнингу, что нельзя игнорировать ;)
Ну да, я настройки взял с
Ну да, я настройки взял с соседнего (почти такого же) бокса.
Судя по всему, тормозит именно чексумминг или что-то в этом роде, во всяком случае влияние процессора на ZFS несомненно: http://blog.lexa.ru/2012/04/14/opyat_snova_o_proizvoditelnosti_zfs.html
И, да, 900Mbit/s мне не очень
И, да, 900Mbit/s мне не очень интересны. Мне интересно больше 5200Mbit/s :)
Интересно, линуксовый md
Интересно, линуксовый md raid6 сильно проигрывает zfs?
зфс во вре всегда было помедленнее и отставало в развитии.
зфс во вре всегда было помедленнее и отставало в развитии.
Нексента и производные так и не завелись?
IB там не завелся. А без IB жизни нет.
IB там не завелся. А без IB жизни нет.
ZIL не пробовал вынести на SSD? И L2ARC, до кучи.
ZIL не пробовал вынести на SSD? И L2ARC, до кучи.
Для длинной записи ZIL на одном SSD - не спасет.
Для длинной записи ZIL на одном SSD - не спасет.
В общем, при наличии на линуксе SRP, разбирательства с zfs и
В общем, при наличии на линуксе SRP, разбирательства с zfs имеют лишь академический интерес.
Ну была надежда, что линуксячий ZFS окажется быстрым (быстре
Ну была надежда, что линуксячий ZFS окажется быстрым (быстрее RAID6 аппаратного).
Авотхер: 302Mb/sec file IO, 165Mb/sec - запись в zfs volume (как устройство).
Ну правильно, zfs fuse же?
Ну правильно, zfs fuse же?
Нет, native http://zfsonlinux.org/
Нет, native
http://zfsonlinux.org/
Судя по огромной нагрузке на
Судя по огромной нагрузке на процессор дедупликация включена или нет ?
нет, выключена
нет, выключена.
А про нагрузку на процессор у меня тут ни слова не сказано.
Ваш контроллер имеет
Ваш контроллер имеет батарейку
http://www.nix.ru/autocatalog/controllers_adaptec/Adaptec_RAID_5805_ASR5...
Опции (батарея аварийного питания) ABM-800 |Батарея аварийного питания
И при тестировании вы не выключили /sbin/zfs set sync=disabled
Вероятно win с ntfs в драйверах имеет данные о наличии батарейки и выбирает соответствующий режим кеширования. Ubuntu тоже ...
Батарейки нет, впрочем это не
Батарейки нет, впрочем это не имеет отношения к.
sync=dizabled выключает zil. Как-то нет идеи работать в таком режиме.
>Батарейки нет, впрочем это
>Батарейки нет, впрочем это не имеет отношения к.
По ссылке в описании контроллера батарейка есть.
>Как-то нет идеи работать в таком режиме.
А ничего что в случае с ext4 и ntfs вы работаете в таком режиме ? Там нет других режимов. ZFS по умолчанию работает с банковской точностью и обязательно сохранит последнюю транзакцию. Это приводит к падению производительности, фактически колличество транзакций равно колличеству iops. Ни одна из участвующих в тестах FS не обеспечивает такую надежность. Вы сравнили скорости грузовиков со скорость банковской машины, здорово... Дла задач хостига такая надежность немного излишне ...
1) Батарейка - дополнительный
1) Батарейка - дополнительный (необязательный) аксесуар, в моем случае ее нет.
2) В использованном тесте (dd of=file) синхронных операций нет, т.к. разницы от выключения ZIL возникать не должно. При случае я попробую, конечно.
3) Откуда взялось слово "хостинг" я вовсе не понял.
По 2 пункту зависит от
По 2 пункту зависит от организации ZFS.
По 3 пункту вы в банке работаете ? Это вы в банке ext4 по сети гоняете ? :))
При тестировании под виндой у вас стояла галочка в свойствах диска "Разрешить кеширование записи для этого устройства." И вторая "Отключить очистку буфера windows" ?
При тестировании под linux с какими опциями была создана fs ? Огласите содержание /etc/mke2fs.conf :)
Должно быть что то типа:
<------>ext4 = {
<------><------>features = has_journal,extent,huge_file,flex_bg,uninit_bg,dir_nlink,extra_isize
<------><------>auto_64-bit_support = 1
<------><------>inode_size = 256
<------>}
По-моему, вы разговариваете с
По-моему, вы разговариваете с голосами в своей голове. Откуда-то взяли deduplication и "нагрузку на процессор" (это было 22 сентября, несколько сообщений вверх).
Теперь "хостинг" и "банк". Нет, я не работаю в банке. Нет, я не работаю в хостинговой компании.
Да, в FreeBSD ZIL по-умолчанию включен только на синхронных операциях. То есть в данной ситуации нерелевантен.
Флаги создания FS, сюрприз, тоже нерелевантны. И NTFS и ext4 дали скорость практически равную голому диску, вообще без fs, то есть оверхед - копеечный. А ZFS - нет, не дала. С учетом наличия SRP target только под Linux - дальше тестировать смысла не было.
Спасибо ра расплывчатые
Спасибо ра расплывчатые ответы на конкретные впросы. Ни сколько не сомневался в вашей компетенции как тестера. Если вы не в состоянии даже винду настроить, не делайте больше тестов FreeBSD ...
Вы немножко задержались с
Вы немножко задержались с вопросами (мы обсуждаем пост от 1 сентября), вот и нет конкретных ответов.
Ящик этот - давно в бою, как я вам там Windows-флаги посмотрю, если никаких Windows там уже скоро 3 месяца как нет?