Свежие комментарии

Title Comment
<b>Re: &gt; Цена такой скорости - примерно 400Mb kernel memo

Re: > Цена такой скорости - примерно 400Mb kernel memory
Я особо не тюнил - на фоне ZFS это все копейки (под ZFS было 800).

Там можно очередью записи играться, но мне проще было списать готовые настройки.

<b>&gt; Цена такой скорости - примерно 400Mb kernel memory</

> Цена такой скорости - примерно 400Mb kernel memory
Хренассе. У LSR и с этим всё значительно приятнее! :-)

<b>&gt; &quot;ребилд после ресета&quot; убивает идею симбиоз

> "ребилд после ресета" убивает идею симбиоза graid5 и gjournal
А в LSR, по-моему, собирались подобие журнала сделать чтобы не весь объём перефигачивать, если что .

<b>&gt; Несколько странно, что скорость чтения оказалась мен

> Несколько странно, что скорость чтения оказалась мен
http://poige.livejournal.com/258717.html

это, кстати, на RAID-контре было дело.

<b>&gt; Полное построение RAID5 на трех 750Gb дисках занимае

> Полное построение RAID5 на трех 750Gb дисках занимает 5.5 ча
Linux Software RAID быстрее (ре-)билдит, как мы с <lj user=blacklion> выяснили. :-)

Кстати о корпусах! Ты не исследовал вопрос корпуса домой под

Кстати о корпусах! Ты не исследовал вопрос корпуса домой под RAID? У меня сейчас чифтек, там 6xHDD внутри, поперёк, с вентиляторами тоже поперёк (от боковй стенки к боковой). Всё бы ничего, но что-то хочется хот-свапа, т.е. внешних корзин. На 6 дисков. Не в стойку... Хм. Ничего такого не видел? И что бы винты хоть как-то обдувались...

Контроллер - не может гарантировать, что тот блок который пи

Контроллер - не может гарантировать, что тот блок который писался в момент ресета - дописался.

Ну так и отдельный диск не может этого гарантировать - те блоки, которые писались (а их туда насыпали много - tagged queueing) - какие-то записались, а какие-то нет. Но мы же диск не ресинкаем (ибо не с чем).

А вот блоки, про которые диск сказал что записаны - те записаны. И у контроллера должна быть такая же семантика.
От того, что появилась прокладка с гигабайтом кэша - ничего не меняется.

Для меня, на самом деле, весь этот софтверный ресинк удивителен. Если семантика fsync() работает (файл лежит на диске с гарантией после него) - то нахрена ребилд?

Проблема с батарейкой в том, что в 1U-корпус ее часто некуда

Проблема с батарейкой в том, что в 1U-корпус ее часто некуда запихать. Просто нет места.

А вообще, сейчас 1U корпус с процессорами и прочими потрохами обойдется небось штуки в полторы-две (без дисков), а то и меньше. И диски еще в 700. На этом фоне 500-600 за 4-портовый контроллер - заметно.

Т.е. у меня цель скорее исследовательская - посмотреть что за жилец этот raid5 (до того был ZFS, на 32-битной FreeBSD - не жилец). Потому что сама по себе идея - благородная "зачем платить больше".

<em>если я пойду и из CALM вытащу диск - то что будет?</em>

если я пойду и из CALM вытащу диск - то что будет?
DEGRADED будет, по идее. Хотя... Может у тебя там и правда лажа? Надо в VMWare поэкспериментировать, это несложно. Я повожусь на неделе.

А с RAID без батарейки ситуация очень простая - то, что synced на диск - уже там (мимо кэша). То что не synced - ситуация в точности такая, как с одним диском - что-то могло недозаписаться, состояние этого блока неопределенное, нужно fsck. Ну вот разве только "блок" получается побольше.
Я не очень понимаю, как аппаратный RAID гарантирует, что все диски synced. Даже если он пишет одновременно в разные каналы. Т.е. ьез батарейки -- почему он не ребилдится, если его срубили в момент записи? Он же не может гарантировать правильной чексуммы как минимум в той точке, в которую он сейчас писал! Чем он тут отличается от софтового RAID5? Какая разница, где рассчёт чексуммы идёт -- на CPU или на сопроцессоре на карте? Не вижу разницы.

Вопрос про разваливание (лень доставать и выдергивать диск,

Вопрос про разваливание (лень доставать и выдергивать диск, хотя надо конечно попробовать) такой - вот оно сейчас уже
raid5/data REBUILDING CALM ad1 (130544697344 / 17% (p:7003))

Если я пойду и из CALM вытащу диск - то что будет?

А с RAID без батарейки ситуация очень простая - то, что synced на диск - уже там (мимо кэша). То что не synced - ситуация в точности такая, как с одним диском - что-то могло недозаписаться, состояние этого блока неопределенное, нужно fsck. Ну вот разве только "блок" получается побольше.

Батарейка - это только повод не писать на диск физически, можно подержать в кэше (отчего перформанс всяких базоданновых логов резко растет - записи там короткие, а чтобы короткую запись на RAID записать - нужно же сначала кусочек прочитать, хотя оно конечно в кэше может все быть).

Во всяком случае, я себе это именно так понимаю. И никогда нажатие ресета/питания не ведет к полному ребилду.

<em>б) всякий продакшн. Веб-сайт или поисковик или база данн

б) всякий продакшн. Веб-сайт или поисковик или база данных и т.п.
Понимаешь, такой продакшн у меня вовсе не ассоциируется с отсуствием контроллера с батарейкой баксов хотя бы з 700 или от скольки они там начинаются. А это на корню решает пробелму ребилдов. Или нет?
Т.е. нам нужен и массив и с контрольной суммой и с минимальным простоем -- а 15-20 тыяч рублей мы пожидились заплатить 1 раз? Офигеть.

От fsck спасает (в теории) журнал. Пока не пробовал (вообще никогда), наверное завтра вечером попробую
Будет очень интересно почитать. Ведь журнал можно добавить к существующей FS, так?
Я пробовал журнал, но одновременно с этим я пробовал и 64KiB-блоки и словил дедлок. Думал, что от журнала, оказалось что от сочетания FS blocks в 16KiB и 64KiB в одной системе на разных FS (known bug FreeBSD, увы) -- но от журнала отказался и так к нему и не вернулся.

как раз поребилдится, 8 часов осталось (veri_nice поднял, может и за 4 справится).
Он (graid5) ещё и параноик смешной. У меня в момент ребилда шла работа -- капали торренты по NFS на массив. Так в логе было через строчку апдейты статуса по двм причинам -- собюственно апдейт и потому что оно переходило в HOT. Прогнозы разоичались ровнов вдове. Т.е. строчка -- прогноз на 900 минут, следующая -- 450, следующая 895, следующая 440, и так далее. Правдой оказалось меньшее число. Но нагрузка там была капельная, факт.

есть как бы две задачи, совсем разные а) домашнее файлохран

есть как бы две задачи, совсем разные
а) домашнее файлохранилище. надежность нужна, журнал - не нужен (если есть UPS), нагрузка легко регулируется. Тут вообще все понятно.

б) всякий продакшн. Веб-сайт или поисковик или база данных и т.п. Ситуация, когда пропадание питания ведет к многочасовому fsck и/или ребилду - категорически неприемлема. Питание имеет тенденцию пропадать целыми стойками (и залами), подниматься после такого сутки - очень не хочется. Поднимать veri_nice - еще больше убивать перформанс.

От fsck спасает (в теории) журнал. Пока не пробовал (вообще никогда), наверное завтра вечером попробую, как раз поребилдится, 8 часов осталось (veri_nice поднял, может и за 4 справится).
А от ребилда - похоже ничего не спасает (кроме настояшего контроллера)

<em>полостност</em> плотность

полостност
плотность

Ну и мне кажется, так рассуждая, gjournal вообще должен убив

Ну и мне кажется, так рассуждая, gjournal вообще должен убивать производительность :)

P.S. Блин, дёшево же ты ATTO взял... правда мне фигли толку -- FreeBSD их не поддерживает :(

А, соврал про диски, я удмал ты всё на тех же SAS'ах пробуеш

А, соврал про диски, я удмал ты всё на тех же SAS'ах пробуешь. У меня WD5000AAKS, т.е. та же линейка и полостность (в отличие от 320 и 640, которые заметно быстрее 500 и 750-ых).
Так что да, ровно так оно и работает. У меня -- C2D E4500, 2Gb памяти тоже. Но дисков 5.

Кстати, самая жуть -- это bgfsck + ребилд. У меня машина колом встаёт.

Я использую -eff в продакшн. Во-первых, можно ценой замедлен

Я использую -eff в продакшн. Во-первых, можно ценой замедления "нормальной" работы ускорить ребилд примерно в четверо:

kern.geom.raid5.veri_nice=0
kern.geom.raid5.veri_fac=1000

Во-вторых, я настраивал -eff (-pp хуже на чтение, чем -eff настраиваетс,Я автор в недоуменни, но эффект подтверждает) на твои скорости при вдвое более медленных дисках ;-)
Примерно так:

kern.geom.raid5.maxmem=80000000
kern.geom.raid5.maxwql=200
kern.geom.raid5.wdt=5

В третьих, оно у меня уже разваливалось аппаратно. Всё восстановило. Дважды-фейл -- да, скорее всего умрёт.

А как аппаратные массивы БЕЗ БАТАРЕЙКИ решают проблему ресета, а? Вроде как он тоже обязан начать ребилдится в такой ситуации.

Да, gjournal пробовал, не понравилось.

Вот зануда!

Вот зануда!

Леха, мегабайт сокращается как MB (http://en.wikipedia.org/w

Леха, мегабайт сокращается как MB (http://en.wikipedia.org/wiki/Megabyte), а не как Mb, что означает мегабит. То же самое верно для остальных байтов/битов.

Не пробовали Висту с управлением цветом? Виста умеет пребраз

Не пробовали Висту с управлением цветом?
Виста умеет пребразовывать все из sRGB в заданный хват монитора, если ей подсунуть профили ?

Ага, вроде так. Похоже, я чего-то неправильно насчитал.

Ага, вроде так. Похоже, я чего-то неправильно насчитал.

Подождите, ошибка в такой конструкции посчитается как sqrt(d

Подождите, ошибка в такой конструкции посчитается как sqrt(dG^2+dRG^2) т.е. вроде в чистом виде корень из двух если исходный поканальный шум одинаковый.

Естественно, исходим из модели, что шум распределен нормально, в реальной жизни он дискретный и отрицательных значений не бывает, но честное слово - не хочу про это думать утром субботы

Мы с вами забыли очень важное соображение, которое всю карти

Мы с вами забыли очень важное соображение, которое всю картинку резко изменяет: <b>цветовой шум вообще не волнует, волнует яркостный</b>, в реальной жизни каналы цветности можно вообще размыть с довольно большим радиусом и картинка не пострадает.

Соответственно, представим что фильтры на всех 4-х каналах одинаковы и панхроматические. С цветом - беда, а с яркостью - все отлично, вычитать ничего не надо, сигнал-шум - максимально возможный.

Соответственно, расширение спектра пропускания фильтров от "RGB" в сторону панхроматических - шум в "яркостном канале" (например в Y) будет очевидно уменьшать.

Было шума g&lt;sup&gt;1/2&lt;/sup&gt;, стало (r+g)&lt;sup&

Было шума g<sup>1/2</sup>, стало (r+g)<sup>1/2</sup> g<sup>1/2</sup>. При r=g последнее равно (2g)<sup>1/2</sup> g<sup>1/2</sup> = g(1+2<sup>1/2</sup>)&sdot;g<sup>1/2</sup> &asymp; &plusmn;2.4&sdot;g<sup>1/2</sup>. Вроде нигде не ошибся?

Даже если и ошибся, то в корень из двух раз&nbsp;&mdash; тоже неплохая прибавка к пенсии.

Об том не знал. Спасибо, посмотрим.

Об том не знал. Спасибо, посмотрим.

Подождите, у задников новых (типа последних Phase One) кривы

Подождите, у задников новых (типа последних Phase One) кривые спектральной чувствительности достаточно близки к человеческой.

Но только ISO400 при достаточно крупном пикселе. Задникам, конечно, больше и не надо.

Действительно, на двух компонентах проще думать. Я не поним

Действительно, на двух компонентах проще думать.

Я не понимаю, как вы получили 2.4 раза. При одинаковых уровнях шума должно получаться в корень из двух.

Только проблема в том, что в реальных матрицах чувствительность красного канала где-то на стоп-полтора ниже, чем у зеленого. Тепловой шум - грубо говоря одинаковый, а дробовой - соответственно на стоп-полтора выше. В этой ситуации подмешивание гораздо менее шумной зеленой компоненты ситуацию практически не ухудшит.

Если спектры фильтров будут такими же как у колбочек, то буд

Если спектры фильтров будут такими же как у колбочек, то будет шумов много&nbsp;&mdash; с этой точки зрения человеческий глаз очень несовершенный инструмент. Цветоразличение, очевидно, будет как у человека <font size="-2">(по модулю возрастного желтения хрусталика и химических изменений спектральных ответов, чем, впрочем, можно в первом приближении пренебречь).</font>

Вопрос об оптимальных (или близких к таковым) по ОСШ спектральных чувствительностях трёхкомпонентной системы захвата, эквивалентных колбочковым ответам <font size="-2">(см.&nbsp;уже порядком поднадоевший по частоте цитирования критерий Лютера&mdash;Айвса),</font> открытый. Проще говоря&nbsp;&mdash; чья-то ещё не написанная диссертация.

К сожалению, хоть в кулуарах и говорят о необходимости приведения спектральных откликов сенсоров к эквивалентным колбочковым ответам величинам, практического выхода мы пока что не видим.

Приветствую! Пришёл по линку из упомянутой ниже ветки на fo

Приветствую!

Пришёл по линку из упомянутой ниже ветки на forum.ixbt.com (меня там зовут очень страшно, напоминание из далёкого детства, <a href="http://forum.ixbt.com/users.cgi?id=info:BlackLor%20%28Pell%29">BlackLor (Pell)</a>). Надоедать не буду, просто приведу (очень грубый) пример относительно

<em>> недиагональная часть матрицы может и расти (не могу представить в уме&hellip;</em>

Кросс-постинг <a href="http://forum.ixbt.com/topic.cgi?id=20:25524-7#153">отсюда</a>:

<blockquote>Простая двумерная модель. Есть две величины условно назовём их зелёная R и красная R . Когда Вы измеряете их линейную комбинацию g*G+r*R при помощи одной зелёной линейки и одной красной линеек, то Вы получаете (g g<sup>1/2</sup>)*G+(r r<sup>1/2</sup>)*R. А если Вы, в погоне за большими абсолютными значениями сигнала, использовали одну зелёную и одну зелёно-красную (измеряющую сумму r+g) линейки, то намерили бы (g g<sup>1/2</sup>)*G + (r+g (r+g)<sup>1/2</sup>)*(R+G). Итого, шумов в зелёном канале ровно столько же (красный в зелёный не затекал), а в красном приходится вычислять разность между величинами: (r+g (r+g)<sup>1/2</sup>) - (g g<sup>1/2</sup>) = r (r+g)<sup>1/2</sup> g<sup>1/2</sup>. При соизмеримых уровнях сигнала в каналах R и G получили очевидное усиление шумов в красном канале в примерно 2.4 раза. Оно нам нужно?</blockquote>

В общем случае, очевидно, нужно вычислять ковариационную матрицу, что в голове без бумаги уже, увы, не помещается.

Конечно же, Ваши доводы о дополнительными проблемами с ухудшением цветоразличения при неумеренном уширении спектральной полосы пропускания микролинз в погоне за ОСШ <u>для данного конкретного пикселя</u> остаются в силе.

Там не только кэш забивается. В процессе восстановления у те

Там не только кэш забивается. В процессе восстановления у тебя любая сторонняя операция - это лишние 2 seeks (туда и обратно). 20 миллисекунд.

Я имел в виду "софтовый" raid-5 -- что вообще они восстанавл

Я имел в виду "софтовый" raid-5 -- что вообще они восстанавливаются я знаю, может и софтовый восстановится, но вот пользоваться им во время восстановления не очень получается. Причем дурость ситуации в том, что процессор не занят соврешенно, а машина стоит колом, любая операция записи на этот том забивает кэш и все, пишется не знаю как медленно при этом.

Pages

Subscribe to comments_recent_new