Свежие комментарии

Title Comment
Здесь красивая картинка, но

Здесь красивая картинка, но здесь 8 дисков, а не 6. Если предположить, что здесь тоже raidz2, то сдвиг блоков чётности будет всегда, даже без применения "нужных" алгоритмов (recordsize/6).

"Из общих соображений" - при многопоточном (или случайном) доступе согласен. А при однопоточном последовательном чтении не уверен. Получается при чтении с 4 дисков каждый диск пролетит над filesize/4 информации, а при чтении с 6 каждый диск пролетит над теми же filesize/4 информации :-).

Возможно важно (а может и достаточно), что нагрузка при чтении движется по кругу?

И когда узкое место -

И когда узкое место - приемник, то ситуация та же:

device     r/s   w/s     kr/s     kw/s  ms/r  ms/w  ms/o  ms/t qlen  %b
aacd0      207     0  35263.6      0.0     3     0     0     3    0  43
aacd1      207     0  35263.2      0.0     3     0     0     3    0  42
aacd2      207     0  35334.8      0.0     3     0     0     3    0  42
aacd3      207     0  35317.2      0.0     4     0     0     4    0  44
aacd4      207     0  35310.8      0.0     3     0     0     3    3  41
aacd5      208     0  35465.6      0.0     5     0     0     5    0  54
aacd6      206     0  35074.0      0.0     3     0     0     3    0  41
aacd7      206     0  35073.6      0.0     3     0     0     3    0  40

 

Вопрос в том, что я не могу

Вопрос в том, что я не могу прочитать одни и те же данные разными способами.

Вот другой массив на другом ящике (zfs send >/dev/null), за 10 секунд. Ну ровно же висит:

device     r/s   w/s     kr/s     kw/s  ms/r  ms/w  ms/o  ms/t qlen  %b
aacd0      474     0  80423.2      0.0     5     0     0     5    0  83
aacd1      473     0  80296.8      0.0     5     0     0     5    0  90
aacd2      472     0  80122.0      0.0     5     0     0     5    3  84
aacd3      476     0  80781.2      0.0     5     0     0     5    0  94
aacd4      471     0  79995.6      0.0     5     0     0     5    3  89
aacd5      474     0  80424.0      0.0     5     0     0     5    0  87
aacd6      473     0  80295.2      0.0     5     0     0     5    3  89
aacd7      475     0  80514.8      0.0     5     0     0     5    3  87

Из общих соображений, если у нас узкое место диски - то читать следует со всех

Я вот подумал - в данном

Я вот подумал - в данном наблюдении основным критерием является производительность чтения. Если оттолкнуться от - "UPDATE: с большими файлами (их чтением) та же ерунда - нагрузка не равномерна по дискам, а плавает, на двух больше - на четырех меньше и так по кругу по дискам.", то возникает вопрос что быстрее читать одинаковый объём с 4 дисков непрерывно или с 6 с дырками? Даже интересно стало узнать результат.

Ну это известное место.

Ну это известное место.
Но как оно себя ведет на degraded-массиве - не буду читать.

Проще еще раз send/recv, раз уж играем в 15, значит играем

На вскидку из vdev_raidz.c:

На вскидку из vdev_raidz.c:
/*
* If all data stored spans all columns, there's a danger that parity
* will always be on the same device and, since parity isn't read
* during normal operation, that that device's I/O bandwidth won't be
* used effectively. We therefore switch the parity every 1MB.
*
* ... at least that was, ostensibly, the theory. As a practical
* matter unless we juggle the parity between all devices evenly, we
* won't see any benefit. Further, occasional writes that aren't a
* multiple of the LCM of the number of children and the minimum
* stripe width are sufficient to avoid pessimal behavior.
* Unfortunately, this decision created an implicit on-disk format
* requirement that we need to support for all eternity, but only
* for single-parity RAID-Z.
*
* If we intend to skip a sector in the zeroth column for padding
* we must make sure to note this swap. We will never intend to
* skip the first column since at least one data and one parity
* column must appear in each row.
*/

Я не разбирался с работой

Я не разбирался с работой raidz, поэтому не знаю. Нужно смотреть код. Кроме блоков данных (полных или фрагментов) есть ещё метаданные. А сколько их и каков у них размер? Думаю, перед raidz стоит фундаментальная задача - как наиболее равномерно размазать блоки данных по всем дискам, а так как размеры блоков данных не фиксированы, то наверняка это усложняет задачу. Предположу, что даже после перезаливки возможны биения (неравномерность) при чтении с дисков raidz. Нужно только выбрать походящие файлы и интервал для статистики :-).

с массива, который делался

с массива, который делался без этих извращений - все хорошо, загрузка равномерная.

а что вообще происходит при

а что вообще происходит при
а) записи на массив raidz2 у которого не хватает пары дисков (по идее, для полных блоков четность не пишется, а для фрагментов?)
б) если мы записали такой массив, а потом добавили дисков и resilver - не выйдет ли так, что контрольные блоки все лягут на новые диски?

Присоединяюсь.

Поздравляю!
Надеюсь, Вы не скоро забросите это бесполезное занятие.

При "нормальном" чтении с

При "нормальном" чтении с raidz контрольные блоки не читаются, а если "там много мельчайших кусочков, не занимающих полный блок", то как ляжет патерн чтения на диски ещё тот вопрос. Наверно аномалии (биения) по чтению в таких условиях и на таких временных интервалах возможны.

А вот пользы от него

А вот пользы от него накопилось уже на все 20!
Спасибо, оставайтесь в кэфире :)

Я не понимаю, что будет с

Я не понимаю, что будет с блоками после этого, не останутся ли они такие же перекошенные.
Поэтому по старинке, tar

А почему не zfs send/receive

А почему не zfs send/receive кстати?

Я тут играюсь с zfs-on-linux, выглядит интересно, если взлетит -- буду думать, как переехать с lvm+md на zfs mirror (видимо тоже подегрейдить md, zpool attach /dev/вторая-половина, и после resilvering заменить так же первую, выдернув из под него lvm.

Кстати, сырые данные тестов

Кстати, сырые данные тестов "шум в зависимости от выдержки" я не хранил -места мало.

Сейчас - пока место появилось - буду хранить.

Не отвечая конкретно (потому

Не отвечая конкретно (потому что личный архив - это дело интимное) приведу один пример и пару соображений:

Пример:
Просто выход на ближайшую лужайку на часок-другой с фотоаппаратом ("выгулять объектив") - это кадров 200. То есть гигабайт 10-15, в зависимости от камеры. Более обдуманное упражнение "а давайте научимся стеки делать" - это наверное кадров 1000 (несколько десятков разных стеков) т.е. 50-80 гигов и еще минимум втрое результатов этих склеек.
И уж результаты склеек и исходники - имеет смысл похранить, чтобы когда появится новый софт - посравнивать.
Так и набегает, у меня еще мало.

Соображение1: все что выкачано из интернета для работы (и, тем более, прислано юзерами) - сохраняется. Потому что понадобится потом - и не найдешь. За этот год - уже ~полтерабайта равок, год еще не кончился.

Соображение2: все что хранится "в архивном архиве" - обязательно пропадет. Диск не прочтется, дисковода-лентовода не найдется, всякое бывает. Поэтому должна быть мастер-копия с контролем целостности и от нее расходится остальное.

P.S. И это я еще видео не снимаю.

Интимный вопрос:

А что на этих,условно, 15ТБ?
Видео, фотки свои и чужие, проги свои и чужие, сорцы...
Поделитесь, в каком соотношении это всё конкретно у Вас. ;-)

Вся эта инфа помещается на 15 дискет. Если учесть редко используемые данные, наверняка можно обойтись ~4 дискетами по 1 ТБ. А то и двумя...
Остальные дискеты (с менее актуальными данными) лежат рядом на полке и свои моточасы не жрут.
И резервные копии тоже делаются проще и быстрее

Да, 10Г-сеть такими дискетами не загрузить, даже если у них внутри RAID0. :-(

Было бы что-то, что

Было бы что-то, что затрагивает широкий круг - я бы написал.

Ради .SR2 (не самый распространенный формат в наше время) - не стал.

Тут как бы просто,

Тут как бы просто, отсутствует информация.
А надо ли оно мне?
Раз информации нет, то, а вдруг надо ;)

Но на самом деле разница 1000

Но на самом деле разница 1000-1002 маленькая
- исправлена бага с Sony .SR2 (много у вас таких файлов?)
- при первом запуске будет находиься фотошоп 2017 (но это вообще старых юзеров не касается)

Потому что они плодятся как

Потому что они плодятся как тараканы, эта 1.3.6 - заколдованая какая-то.
И давать анонсы два раза в день я не могу.

В какой-то момент (думаю, где-то послезавтра) выкатим на .com и будет финальный анонс (и еще через недельку все более старые закричат "пора обновляться").

У меня скрытое поле "subpatch" уже кончается, там 4 бита, а она уже 1.3.6(.9)

А почему тут нет анонсов

А почему тут нет анонсов новых билдов?
Был 1000, забрал, поставил.
Случайно залетел на хомяк, а там уже 1002.

А на A7R-II - почти

А на A7R-II - почти нормальный.

Чудеса какие-то.

В полтора раза?

В полтора раза?

A7R-II я покупал в 2015-м (когда все эти флуктуации уже случились первый раз в конце 2014) - стоила $3300 по курсу на тот день. При штатовском ценнике $3200.

А сломалось что-то у них в конце 2015, даже вот до январского временного скачка уя.

Ага, ценник на 6300 - из тех

Ага, ценник на 6300 - из тех же 100 рублей за доллар.

Ну, теперь видимо попросту

Ну, теперь видимо попросту жадность победила - я недавно на всякие там ихи ILCE-6300 и прочее ценники смотрел - офигел просто.

Ну так они, видимо, ещё

Ну так они, видимо, ещё закладывают поправку на возможные флуктуации курса и прочие чудесные риски.

И, заметим, Сони справлялись

И, заметим, Сони справлялись с российским ценообразованием и цены до ~2015г были вменяемыми.

Вот именно.

Вот именно.
Даже если вот сверху накидывать НДС и пошлину (есть пошлина на оптику? не уверен), +50% никак не выходит.

Так они небось не с

Так они небось не с американской цены считали, а с европейской - те же 3500, но евро (да, такое у сони/никона/... региональное ценообразование).
Впрочем, тогда у них получается 100 р. за евро (против 70 фицияльного курса).

Pages

Subscribe to comments_recent_new