Бенчмарки и жизнь

lexa - 02/Дек/2008 21:50

Это вот - бенчмарка нового красивого массива (4 диска в RAID5):

copy-benchmark.png

Только вот размер блока при построении массива я взял мегабайтный, а обычные средние бенчмарки от этого дуреют (график HD Tach - просто обсмеяться).

Вспомним, для чего дома 3Tb диска? Хранить всякий мусор (тут скорость не важна) ну и мувать его. А при муванье - скорость важна, ибо сидим, пялимся в монитор, ждем пока отмувается. Так вот, в жизни все не так, как в бенчмарках:

copy-real.png

Верхняя строчка - чтение со старого массива, нижняя - запись на новый. Ну и если бы новый был бы старым, то все бы отмувалось не за 18 минут, а за 7, что я бы оценил.

Я, собственно, к тому, что мегабайтные блоки - рулят. Особенно, если время чтения 3-мегабайтного (и менее) куска вообще не волнует.

Comments

mrshurik (not verified) - 02/Дек/2008 16:13

хм. а что за файловая система стоит? или вы про какие блоки, про кластеры ФС или какие-то внутренние блоки RAID?
ИМХО для кластеров особой разницы нет, что 64 kb, что больше.

lexa - 02/Дек/2008 16:29

это RAID interleave. Грубо говоря, если мне нужно прочитать мегабайт - он будет читаться с одного диска, а не со всех (с писаться - сложнее).

mrshurik (not verified) - 02/Дек/2008 16:35

а понял. ну тогда действительно, чем больше блок, тем меньше издержки синхронизации и выше скорость.
а вы не пробовали чисто для интереса подключить все диски напрямую (без RAID) и поставить на них параллельную файловую систему? ясно, что это только для Linux подходит. но вот интересно, сможет ли такая файловая система обогнать RAID? ну или какой счёт будет в итоге.

lexa - 02/Дек/2008 16:47

У меня на этой машине нету Linux (и вообще он есть только в виртуальной машине, для тестирования, на свободу не выпускаю) и ставить его по большому счету некуда (надо тома двигать, а я и так трахаюсь с этим RAID-ом второй вечер).

Но я предыдущие диски буду в выходные переставлять в "домашний роутер" - под FreeBSD (geom raid + gjournal) - будет возможность сравнить. Сейчас там еще более предыдущие 500-гиговые барракуды под ZFS (RAIDZ), я там вижу скорость файловой записи (dd if=/dev/zero of=file) в районе 75-85 Mb/sec.

Посмотрю что будет на тех, которые 150 на чтение, 120 на запись на аппаратном контроллере. На предыдущих поколениях дисков (250-500Gb SATA) аппаратный контроллер был несколько быстрее.

mrshurik (not verified) - 02/Дек/2008 17:00

спасибо за инфу. я вижу вы уже всё что можно перепробовали :-)
получается, для домашнего компьютера аппаратный RAID лучше, он быстрее, не зависит от ОС. а параллельные ФС нужно разводить на кластерах :-)

lexa - 02/Дек/2008 17:17

Перепробовал действительно многое - ибо данных всегда было, есть и будет дохрена.

с аппаратным RAID есть понятная засада - если он выходит из строя, то его надо где-то взять запасной. Держать второй на полке дома - расточительно (я спасаюсь тем, что то что действительно дорого - есть в бэкапах).
Встроенные в материнку 'RAID-ы' - это сплошная профанация (на самом деле тамошний RAID - это только кусок кода для записи метаданных на диск, а все остальное делает драйвер) - и с ними я уже имел несчастье наплакаться.

На работе мы можем на зоопарк серверов иметь в ЗИПе по экземпляру каждого используемого вида (которых у нас по сути два - Areca и 3Ware, причем 3Ware затесался давно и по глупости).

Но если мне удастся на трех (+кусок 4-го под журнал) дисках вытянуть 150 Mb/sec на линейной записи - я удивлюсь и про это напишу.

poige (not verified) - 03/Дек/2008 05:51

Мой Linux Software RAID (-5) на 4-х дисках:
<pre># sudo dd if=/dev/md4 of=/dev/null bs=1M count=8192
8192+0 records in
8192+0 records out
8589934592 bytes (8,6 GB) copied, 40,2051 s, 214 MB/s</pre>Chunk-size, правда, я делал 128 KiB.

lexa - 03/Дек/2008 06:00

Re: Мой Linux Software RAID (-5) на 4-х дисках:
Памяти на машине сколько (я к тому, что надо гигабайт 100 взять....)

poige (not verified) - 03/Дек/2008 06:03

> Памяти на машине сколько
2 GiB. При этом процентов 65 занято и кэш только на 35 %. Так что при 2 GiB RAM, 8 GiB чтения за глаза.

sergeax (not verified) - 02/Дек/2008 16:16

Только я не понял, откуда куда надо регулярно мувать такой объём мусора? С одного массива на другой? Зачем? И не проще тогда объединить все диски двух массивов в один и мувать путём внесения изменений в файлы директорий? Ренеймить, проще говоря?

lexa - 02/Дек/2008 16:28

На этот массив у меня, например, идет бэкап рабочих томов (который и копируется). 100-150 гигабайт - запросто. Разница в 2-3 раза в этом месте - существенна (например, можно будет перейти на ежедневный incremental).

На/с этот массив у меня ездят рабочие графические файлы. 100-150 гигов в "проекте" (результатах поездки) редко, но бывает.

lexa - 02/Дек/2008 16:52

Да, про ренеймить.

Для плохо восстановимых вещей (чтобы переснять - надо лететь на Алтай и ждать затмения) я держу 2-3 копии. Надо, конечно, 4, обязательно этим займусь до конца года.

В этом смысле SATA-диски - за счастье. Предыдущий вариант снимается и нарекается резервным мобильным носителем.

atemik (not verified) - 02/Дек/2008 20:15

А как-же про то, что для надежности надо иметь данные на разных континентах?

Причем россия и штаты за два - не канают :)

lexa - 03/Дек/2008 06:02

Если европу и азию считать за два континента, то я подумаю.

lamantyn (not verified) - 02/Дек/2008 16:18

А это кто раздельно чтение и запись показывает?

lexa - 02/Дек/2008 16:34

extended copy Far-овская. У нее там <s>неонка</s> буфер (в моем случае на 800M) и оно туда одним тредом пишет, а другим - читает.

BTW, для нормального копирования терабайта файлов - пришлось в висте Superfetch отключить, а то он не угадывал, что я буду фетчить дальше....

atemik (not verified) - 02/Дек/2008 20:17

BTW, <a href="http://www.youtube.com/watch?v=VBnkJQWe0JQ">I like to move it move it</a>

Ну или http://www.youtube.com/watch?v=VBnkJQWe0JQ на фсякий случай.

lamantyn (not verified) - 02/Дек/2008 22:14

<q> Верхняя строчка - чтение со старого массива, нижняя - запись на новый. Ну и если бы новый был бы старым, то все бы отмувалось не за 18 минут, а за 7, что я бы оценил. </q>

Фиг тебе. RAID записывает асинхронно.
Тебе показывают скорость записи в кеш.

У контроллера - 256mb памяти.
Читаюшая нить прочитала 200 mb.
Пишушая нить плюнула их в кеш.
Пока читающая загрузит следующую порцию, пищущая спит и не учитывает, что контроллер под шумок пишет данные на диск.

Запусти лучше DISKSPEED с гигабайтным тестовым файлом и посмотри на "Uncached New File Write Speed"

http://home.earthlink.net/~alegr/download/index.htm

lexa - 03/Дек/2008 03:13

Не, в ситуации когда источник может отдать 300Mb/sec, нижняя строчка показывает того же самого.

lamantyn (not verified) - 03/Дек/2008 10:39

И ты веришь, что sustained write speed может выше скорости чтения?

lexa - 03/Дек/2008 10:59

А что я про скорость чтения что-то писал?

lamantyn (not verified) - 03/Дек/2008 15:29

Ну я подозреваю, что бы ты написал. :-)

lexa - 03/Дек/2008 15:55

Ну вот источник из трех 10k rpm рапторов в страйпе - способен читать больше, чем эта хрень пишет. При этом скорость записи - сохраняются.

Кроме того, я оную хрень побил на тома по гигу и вижу на них цифирь очень похожую на Hdtach (минус ~10-20Mb/sec)

Вообще, твое соображение про кэш - оно верное, если бы у меня буфер был поменьше - наверное его было бы заметно (хотя если бы автором firmware был я и увидел бы streaming - фигачил бы его мимо кэша). Но изменение (увеличение) размера буфера вдвое на цифирь не влияет из чего мы делаем понятный вывод.

lamantyn (not verified) - 03/Дек/2008 16:18

<q> Но изменение (увеличение) размера буфера вдвое на цифирь не влияет из чего мы делаем понятный вывод. </q>

Это ничего не значит. Это если reader thread сначала бы заполняла _весь_ буффер. Reader читает блок (ну 100mb), отдает его writer'у,
и бежит за следуюшим блоком - пока не кончится буффер.
Если source drive медленнее на чтение чем destination на запись - тебе всегда будут показывать скорость кеша.

lexa - 03/Дек/2008 16:39

Она и заполняет весь буфер. И пишет рывками. И скорость в каждую сторону считает только когда соответствующая операция чтения или записи идет (это все хорошо видно если взять объем данных раз в 5 больше буфера)

lexa - 03/Дек/2008 16:39

Вдогонку. Я же там выше пишу и про ситуацию, когда source быстрее.

skoblov (not verified) - 02/Дек/2008 17:46

А за что ты не любишь софтовые рейды?

poige (not verified) - 03/Дек/2008 05:45

> А за что ты не любишь софтовые рейды?
А под Windows разве есть достойные? :-)

Anatoly Skoblov (not verified) - 03/Дек/2008 15:19

Так без ответа на мой вопрос непонятно, можно ли считать виндовый софторей недостойным.

stripe делает то, что ожидается по скорости (1.6x при записи, 2x при чтении).

mirror делает зеркало и не тормозит при записи. Я поче-му-то ожидал еще ускорения чтения, но не наблюдается. Может зря ожидал.

raid5 не пробовал

про глюки не в курсе, потому и спрашиваю

lexa - 03/Дек/2008 19:49

А есть ли вообще софтовый RAID5 в висте? Я вижу spanned и striped. Гугловый поиск нашел, что виста не понимает XP-шные тома RAID5

Не, нафиг все это - я один раз чинил (безуспешно) развалившийся том в XP, больше мне этого сексу не надо.

Anatoly Skoblov (not verified) - 04/Дек/2008 17:00

Ну мне RAID5 не на чем было пробовать. Только stipe/mirror.

Про висту не скажу, но XP умеет все то же самое, что сервер. Например - mirror, которым лично я пользуюсь. Правда для этого ее приходится хакать :(

sergeignatkin.ru (not verified) - 04/Дек/2008 21:24

Зеркала в ОС (Windows) это еще хуже -- только от крайней нужды и точно понимая, что делать в случае гибели одного из (желательно с тренировками). Ибо это будет динамический том -- а эти сволочи постоянно на других машинах как чужие или вообще как дохлые видятся. При любом крахе ОС будет ребилд -- плевать, писалось ли что-то в этот момент на диск или нет. В случае набортного контроллера можно хоть кэш обратной записи выключить и тогда ребилдится будет очень редко (я забыл уже когда), а когда неохота ждать, то можно просто остановить реблид -- сделать это на массиве, построенном средставами винды естественно нельзя. Плюс надо дополнительные движения делать, писать пути в boot.ini (если по-правильному) и т.д.

sergeignatkin.ru (not verified) - 04/Дек/2008 21:19

Оно когда работает, то вроде ничего. Но если один диск мрет -- то системе становится плохо. Ребилд RAID-5 вообще, кажется, бесполезное занятие. ОС стоит колом, видимо ждет драйвер. С зеркалами чуть полегче, но все равно не очень приятно. Хорошо то, что, если я правильно помню, при появлении ошибок на одном из дисков записи об этом появляются в журнале ОС. "Ощущательно" все выглядит так, как будто в системе диск один, просто пишется на два (в случае зеркала). Ну и тормоза соотв. при ошибках диска.

Когда у меня забарахлил диск в RAID-5, то весь массив вообще чуть не слег. Ни о каком ребилдинге не может быть и речи -- проще и быстрее заменить диск, снести все и восстановиться с нуля.

lexa - 04/Дек/2008 21:26

В реальной практике реальных серверов - RAID5 имеет свойство восстанавливаться, хотя конечно лучше нагрузку с этого сервера снять, потому что это слезы.
Может и не восстановиться, дело такое.

У себя на новой игрушке - я честно пробовал ребилдить, а как иначе? Выдергиваешь диск, потом вдергиваешь. Ребилдит, 3-терабайтный том часов за 5.

sergeignatkin.ru (not verified) - 05/Дек/2008 10:45

Я имел в виду "софтовый" raid-5 -- что вообще они восстанавливаются я знаю, может и софтовый восстановится, но вот пользоваться им во время восстановления не очень получается. Причем дурость ситуации в том, что процессор не занят соврешенно, а машина стоит колом, любая операция записи на этот том забивает кэш и все, пишется не знаю как медленно при этом.

lexa - 05/Дек/2008 10:52

Там не только кэш забивается. В процессе восстановления у тебя любая сторонняя операция - это лишние 2 seeks (туда и обратно). 20 миллисекунд.

ivs (not verified) - 03/Дек/2008 09:14

Re: > А за что ты не любишь софтовые рейды?
VxVM.

lexa - 03/Дек/2008 13:52

Re: > А за что ты не любишь софтовые рейды?
А оно живое? В Википедии написано, что последний релиз был в 2006.

Есть какие-то workstation решения?

ivs (not verified) - 03/Дек/2008 14:20

Re: > А за что ты не любишь софтовые рейды?
Да не то что живое - живее всех живых. Лучший волум манагер в мире - и под кучу платформ.

lexa - 03/Дек/2008 14:37

Re: > А за что ты не любишь софтовые рейды?
А ссылку ? Лучше сразу в торрент - пока у меня есть возможность попробовать, благо в машине три лишних диска торчат.

ivs (not verified) - 03/Дек/2008 14:41

Re: > А за что ты не любишь софтовые рейды?
Это надо искать пакет VSF под винду.

P.S. По определенным причинам я тебе ссылку подсказывать не буду, прости :)

lexa - 03/Дек/2008 14:49

Re: > А за что ты не любишь софтовые рейды?
Я сходил к симантеку на сайт.

Так ведь сервер-онли? Я понимаю почему, но мне от этого не легче.

ivs (not verified) - 03/Дек/2008 14:51

Re: > А за что ты не любишь софтовые рейды?
Ах, вот оно что! Да, не станет на не-серверную ОС.

lexa - 03/Дек/2008 14:57

Re: > А за что ты не любишь софтовые рейды?
надо сказать, что мои попытки пожить под 2003-м сервером окончились печально - графика была медленной, а color management я так толком и не взнуздал (не помню что за проблемы были), 2008-й не буду пробовать даже.

ivs (not verified) - 03/Дек/2008 15:06

Re: > А за что ты не любишь софтовые рейды?
Странно, у меня есть продвинутый виндузятник, он юзает как раз 2003 в качестве домашнего. Грит - все летает.

lexa - 03/Дек/2008 15:48

Re: > А за что ты не любишь софтовые рейды?
Ну вот я не сумел совладать. Возможно, у меня был какой-то неправильный edition.

Все затевалось, собственно, ради 64 бит и пока я мудохался с сервером - появилась XP x64 и настало мне счастье (ну, плюс-минус драйвера)

ivs (not verified) - 03/Дек/2008 15:38

Re: > А за что ты не любишь софтовые рейды?
Добавлю, скачать триал можно тут:
http://www.symantec.com/business/storage-foundation-for-windows -> Trialware

lexa - 03/Дек/2008 15:51

Re: > А за что ты не любишь софтовые рейды?
Оно вообще с ограничениями (4 тома, 4 файловых системы, два физических горшка) - бесплатное. Но server only

ivs (not verified) - 03/Дек/2008 15:56

Re: > А за что ты не любишь софтовые рейды?
Это VSF Basic - он бесплатный (но без поддержки).
Тебе нужен просто VSF, можно и VSF Enterprise (:

lexa - 03/Дек/2008 16:05

Re: > А за что ты не любишь софтовые рейды?
А вот это самое "for clients" - это имеется в виду, что у меня файловая система на локальных дисках или просто дадут ходить на remote fs ?

ivs (not verified) - 03/Дек/2008 16:07

Re: > А за что ты не любишь софтовые рейды?
Я не знаю - где у тебя "for clients". Если ставишь триал - там будет доступен весь функционал.

P.S. Не буду упоминать, что VxFS под Win не существует (:

ivs (not verified) - 03/Дек/2008 09:12

1MB - это chunk/slice или все же stripe?

lexa - 03/Дек/2008 13:42

Ну в одном месте это называется stripe, а в другом - interleave

mumbaika (not verified) - 05/Дек/2008 09:11

осле просмотра фильма "Сумерки", вдобавок к уже давно прочитанным книгам Стефани Майер "Сумерки", "Новолуние" и "Затмение", увлеченно прочитал последнюю книгу из серии - "Рассвет"<a href="http://www.doveden.ru">.</a>