ATTO vs Areca

lexa - 30/Ноя/2008 11:20
atto-stripe.png

Соблазнившись невиданной дешевизной: $217 за 8-портовый SAS RAID controller ATTO R348 приобрел себе такой (увы, помочь с привозом еще таких - не могу). Собственно, помимо дешевизны, преследовались три цели:

  • Отказаться от PCI-X. Еще несколько лет назад выбора не было: PCIe контроллеры отсутствовали, а RAID-контроллер в PCI-слоте - странный выбор. Но требование PCI-X - разорительно, только Asus наладил выпуск приемлемых 'Workstation'-материнских плат, а на серверные процессоры дома я уже не готов.
  • Иметь возможность поставить быстрый SAS-диск (скажем, Savvio 15.2K) на свап/TMP
  • Пишуть, что 1TB SAS-барракуды быстрее SATA на линейном чтении-записи и это хочется попробовать.

Опробованная год назад 3Ware-3650 меня совершенно не порадовала, производительность была так себе. В результате, я вяло обдумывал покупку ARC-1220 (SATA) или ARC-1222 (SAS), 750 баксов было очень жалко, а тут подвернулся deal на ATTO. По $27 за порт было невозможно удержаться.

Переезд данными между контроллерами - это отдельный секс, отчего я пока перевел на новый только "системный" раздел, который живет на двух WD Raptor. Результаты двойственные. С одной стороны, родная бенчмарка от ATTO показывает бОльшую скорость чтения и неубедительную скорость записи маленькими блоками (см. выше), для сравнения вот ее результаты на старом контроллере, тех же дисках и той же внутренней (низкоскоростной) области диска:

areca-stripe.png

С другой стороны, скорость копирования на данный раздел выросла заметно: было 120-130 Мб/сек, стало 140-160.

Итого: я, скорее, доволен. Заметно хуже явно не стало, от PCI-X избавляюсь, появился маневр SAS-SATA и все это по смешной цене. Единственная неприятность: у Areca можно набирать тома (с разным уровнем RAID) не из целых дисков, а у ATTO нельзя. В результате, у меня система и любимые файлы жили на зеркале, а все не столь ценное - на страйпе, а сейчас придется докупить еще диск и жить на RAID5 (интегрально это все равно дешевле, чем ARC-1222).

Comments

geophoto (not verified) - 30/Ноя/2008 08:42

спасибо, вот тоже интересуюсь и думаю завести RAID-5 на десктопе, причем и на маке и на РС.

df_org (not verified) - 30/Ноя/2008 09:08

linuxовый soft raid.

lexa - 30/Ноя/2008 10:52

Во, на маке ATTO работает (по рассказам) отлично.

При этом, покупали этот контроллер через Nikon Professional Service или как он там правильно называется - и там цена оказалась смешной.

ivs (not verified) - 30/Ноя/2008 10:14

А к чему тебе скорость линейной записи? IOPS то мерял?

lexa - 30/Ноя/2008 10:51

Скорость линейной записи мне именно для линейной записи - мувать гигабайты кино и фото.

IOPS-ы не мерял (надо было, конечно), ибо мерять имеет смысл в сравнении, а старый том уже разнес нафиг.

ivs (not verified) - 30/Ноя/2008 10:56

Эх, жаль.

sergeignatkin.ru (not verified) - 01/Дек/2008 12:39

А смысл? Скорости ведь не особо большие -- такие достигаются дешевыми дисками в страйпе на набортном контроллере. RAID-5 не надежнее зеркала, но дороже и не очень-то и быстрее, или быстрее, но не принципиально. У тебя важные данные плюс ОС не помещаются на терабайт зеркала?

Линейные скорости это хорошо, но вот где? Вот ты качаешь фильм с торрентов (например) -- скорости не нужны. Или с внешнего диска -- тоже. Или ты сделал большой файл в фотошопе и пишешь его на диск -- фотошоп сам медленно пишет, плюс операция эта не так уж и часта. Постоянно эти файлы тоже не читаются. В архив скидывается медленно. Быстро будет с одного такого массива на другой -- но массив один только.

Отказоустойчивость слабая -- где такой второй контроллер брать если что? Пусть не ради отказоустойчивости -- тогда если есть возможность быстро восстановить (или просто восстановить не сильно медленно), то почему бы ради скорости не сидеть на простом страйпе? Будет реально быстро грузится ОС (раз в неделю :).

Вообщем я не могу понять, какой я момент упускаю в таких сложностях, но допускаю, что упускаю. :)

Я понимаю, что вообще существуют задачи, кот. требуют таких сложностей, но вот процент этих задач, на мой взгляд, не столь уж и велик.

sergeignatkin.ru (not verified) - 01/Дек/2008 13:27

Хотя может какие-то специализированные задачи, кот. пишут много мелких частей...

lexa - 01/Дек/2008 15:17

Ну, железку я куплю если эта сдохнет - правда за 700-800, а не за 200, но страховаться покупая вторую - не готов.

Зеркала "на набортном контроллере" (т.е. софтового) - не хочу (этого дерьма я уже наелся). Полностью софтового зеркала - хочу, но только под FreeBSD (и м.б. Linux, но его не использую), под виндами я это тоже уже ел.

Вывод "RAID-5 дороже зеркала" мне и вовсе непонятен. Вот у меня сейчас два массива по 3 диска. Докупить еще два диска - примерно $500, контроллер - 217 (впрочем, будем честными, с кабелями - чуть менее 300).

Ну и софтовый RAIDZ у меня сейчас есть. Я на таких массивах (трехдисковых) 150 Mb/sec на запись не вижу. 75-85 - вижу, но терпеть не могу, когда я, такой усатый и красивый, жду дискового IO.

sergeignatkin.ru (not verified) - 01/Дек/2008 20:39

Ну это надо чтоб железка продавалась где-то поблизости.

По софтовому raid -- тьфу три раза, но с зеркалами проблем не было. Были проблемы с raid-10 и с raid-5 -- было страшно. С зеркалом не так страшно -- диск остается простым и видится в любой машине в случае смерти собрата. В реализации Intel все чуть лучше, чем в варианте MS. Во втором случае ребилдится при любом зависании ОС (когда зеркало средствами ОС построено), в случае же с intel-набортным контроллером если кэш обратной записи включен, то ребилдится чаще после BSOD и т.д. Со страйпом мне кажется проще -- с выключенным кэшем работает медленне -- но фотошоп именно работает быстрее с выключенным кэшем. Может от дисков зависит -- не знаю.

Что такое RAIDZ не знаю, но у меня вот на страйпе из трех дисков сохранаются файлы с конвертора и потом туда же собирается панорама (и временные под панорамный софт там-же) -- получается максимально быстро. Скорость записи не мерял, но читается быстро вроде.

Скриншоты с какой программы? Ей не надо диск очишать?

lexa - 01/Дек/2008 20:47

Скриншоты с atto-вской бенчмарки, которая в комплекте.

А с софтовыми решениями - проблем пока не было только с gmirror. С "интеловским RAID" (который никакой не RAID), равно как и с виндовым - наелся в свое время, больше никак не хочу.

А от развала RAID лечиться только бэкапами, на другую машину или в шкаф, нет других путей. Ну и для наиболее дорогого - offsite.

lexa - 01/Дек/2008 16:23

Вдогонку.

Понятно, что на одной стороне спектра - просто диски врассыпную (на встроенном контроллере), софтверный raid, бэкап тоже на (S)ATA-диски и прочее такое low cost (правда надо понимать, что к этому low cost должна прилагаться хорошая сеть)
На другом - ящики вроде EMC Symmetrix и прочие мега-SAN-ы с территориальным разнесением (сеть тоже нужна, но большая ее часть - внутри этих ящиков)
Цена хранения - резко отличается (я думаю, что больше чем на порядок).

В этой шкале - чем больше данных, тем конечно правильнее двигаться в сторону совсем простых решений, но там доля постоянных издержек (зарплаты или просто потери времени) - относительно выше.

Алексей Иванов (not verified) - 02/Дек/2008 19:36

> Иметь возможность поставить быстрый SAS-диск (скажем, Savvio 15.2K) на свап/TMP

А уши закладывать не будет? Грят, пятнадцатитысячники (любые) дюже шумные, при этом они не только гудят, но и щелкают. Или врут?

lexa - 02/Дек/2008 19:58

Да под столом пусть щелкает.

Были у меня 15-тысячники, причем нормального размера - жить можно.

aalleexxiivv (not verified) - 04/Дек/2008 01:45

ОК, если под свап, да упомянутую двухдюймовку - то размера хватит, но зачем тебе тогда контроллер вообще?

Казалось бы - воткнул в материнку (в новых - SAS привинтили уже) мимо рейда и тебе счастье? Или ты под свап тоже рейд-массив строить будешь? Дык, тогда и правда твердотельника проще дождаться правильного - оно дешевле выйдет.

lexa - 04/Дек/2008 10:10

Контроллер вообще - чтобы собрать массивы из 3+ дисков, которые будут быстрее одиночного зеркала (или зеркала) и надежнее страйпа.

Проблема с разваливанием - понятная, буду лечить бэкапами.

aalleexxiivv (not verified) - 04/Дек/2008 01:59

Меня завел аргумент Сергея про читаемость mirror-ных дисков где попало в случае аварии. У меня уже много лет тоже разделено: для работы - быстрые диски, для мультимудии - отдельный один большой-медленный-дешевый, на него и бэкап идет. Однако, постепенно этой мульти-майтии накапливается столько, что если этот мультимедийный диск накроется - испытаю чувство скорби. А писать тонны DVD получается только раз в год, 22 апреля. Поэтому вариант с зеркалом на бесплатном материнкином рейде - мне нравится: нет безвозвратных потерь, а чтение - ускоренное (впрочем, надо померять) - часть работы с большими данными туда тоже можно будет отнести, хоть как-то это железо будет улучшать текущую жизнь по ср. с вариантом внешнего бэкап-диска.

lexa - 04/Дек/2008 09:58

Леша, контроллер мне обошелся в $27 за порт, это считай бесплатно.

aalleexxiivv (not verified) - 04/Дек/2008 11:35

Здесь я про другое: если решился на зеркало, а не на RAID-5 - то есть надежда, что отдельный контроллер таки не нужен. Хоть под виндами, хоть где. Сомневаюсь я, что в случае зеркала "полусофтовый" Интеловский контроллер начнет тормозить систему и чтение с этого диска, а скорость записи в моем случае - пофиг.

В твоей ситуации - ясен перец, с контроллером сильно лучше, не жалко.

lexa - 04/Дек/2008 21:13

Интеловский контроллер он не "полусофтовый", он просто софтовый (почитай исходники драйвера, ну хоть FreeBSD-шного). Фактически, это стандартизированное хранение метаданных массива где-то (в хвосте диска?)

Я не знаю, как устроены настоящие интеловские драйвера, может быть и хорошо, а вот FreeBSD-шные устроены тупо и в лоб - больших буферов нет, управления балансировкой нет, управления зеркалом - и того нет.

Т.е. даже gmirror лучше (там есть стратегии чтения, они даже работают).

А аппаратный контроллер интересен тем, что там (в 2008-м году) будет довольно много памяти (128M-4G, это дешево), канал у каждого диска свой, поэтому попав головой на дорожку - можно ее прочитать целиком не задумываясь (вдруг пригодится). В то же время, выделить без спроса 128M kernel memory - уже заметно (а 4G - вообще перебор) и эта оптимизация в ОС будет скорее черезмерной..

Но это все теория - на моем сервере у меня gmirror (именно из соображений скорости восстановления на площадке), а дома - RAID (я надеюсь, что проблему замечу быстрее чем на сервере). Не исключаю, что дома правильнее было бы делать регулярный бекап на соседнюю машину, а на рабочих дисках иметь просто страйп...

sergeignatkin.ru (not verified) - 04/Дек/2008 20:57

Увы, но чтение не ускоренное совсем -- поди программистам из Интел не дают сделать этого злобные маркетологи. Как бы не мечталось, но увы.