Свежие комментарии
Title | Comment |
---|---|
Здесь красивая картинка, но |
Здесь красивая картинка, но здесь 8 дисков, а не 6. Если предположить, что здесь тоже raidz2, то сдвиг блоков чётности будет всегда, даже без применения "нужных" алгоритмов (recordsize/6). "Из общих соображений" - при многопоточном (или случайном) доступе согласен. А при однопоточном последовательном чтении не уверен. Получается при чтении с 4 дисков каждый диск пролетит над filesize/4 информации, а при чтении с 6 каждый диск пролетит над теми же filesize/4 информации :-). Возможно важно (а может и достаточно), что нагрузка при чтении движется по кругу? |
И когда узкое место - |
И когда узкое место - приемник, то ситуация та же: device r/s w/s kr/s kw/s ms/r ms/w ms/o ms/t qlen %b |
Вопрос в том, что я не могу |
Вопрос в том, что я не могу прочитать одни и те же данные разными способами. Вот другой массив на другом ящике (zfs send >/dev/null), за 10 секунд. Ну ровно же висит: device r/s w/s kr/s kw/s ms/r ms/w ms/o ms/t qlen %b Из общих соображений, если у нас узкое место диски - то читать следует со всех |
Я вот подумал - в данном |
Я вот подумал - в данном наблюдении основным критерием является производительность чтения. Если оттолкнуться от - "UPDATE: с большими файлами (их чтением) та же ерунда - нагрузка не равномерна по дискам, а плавает, на двух больше - на четырех меньше и так по кругу по дискам.", то возникает вопрос что быстрее читать одинаковый объём с 4 дисков непрерывно или с 6 с дырками? Даже интересно стало узнать результат. |
Ну это известное место. |
Ну это известное место. Проще еще раз send/recv, раз уж играем в 15, значит играем |
На вскидку из vdev_raidz.c: |
На вскидку из vdev_raidz.c: |
Я не разбирался с работой |
Я не разбирался с работой raidz, поэтому не знаю. Нужно смотреть код. Кроме блоков данных (полных или фрагментов) есть ещё метаданные. А сколько их и каков у них размер? Думаю, перед raidz стоит фундаментальная задача - как наиболее равномерно размазать блоки данных по всем дискам, а так как размеры блоков данных не фиксированы, то наверняка это усложняет задачу. Предположу, что даже после перезаливки возможны биения (неравномерность) при чтении с дисков raidz. Нужно только выбрать походящие файлы и интервал для статистики :-). |
с массива, который делался |
с массива, который делался без этих извращений - все хорошо, загрузка равномерная. |
а что вообще происходит при |
а что вообще происходит при |
Присоединяюсь. |
Поздравляю! |
При "нормальном" чтении с |
При "нормальном" чтении с raidz контрольные блоки не читаются, а если "там много мельчайших кусочков, не занимающих полный блок", то как ляжет патерн чтения на диски ещё тот вопрос. Наверно аномалии (биения) по чтению в таких условиях и на таких временных интервалах возможны. |
А вот пользы от него |
А вот пользы от него накопилось уже на все 20! |
Я не понимаю, что будет с |
Я не понимаю, что будет с блоками после этого, не останутся ли они такие же перекошенные. |
А почему не zfs send/receive |
А почему не zfs send/receive кстати? Я тут играюсь с zfs-on-linux, выглядит интересно, если взлетит -- буду думать, как переехать с lvm+md на zfs mirror (видимо тоже подегрейдить md, zpool attach /dev/вторая-половина, и после resilvering заменить так же первую, выдернув из под него lvm. |
Кстати, сырые данные тестов |
Кстати, сырые данные тестов "шум в зависимости от выдержки" я не хранил -места мало. Сейчас - пока место появилось - буду хранить. |
Не отвечая конкретно (потому |
Не отвечая конкретно (потому что личный архив - это дело интимное) приведу один пример и пару соображений: Пример: Соображение1: все что выкачано из интернета для работы (и, тем более, прислано юзерами) - сохраняется. Потому что понадобится потом - и не найдешь. За этот год - уже ~полтерабайта равок, год еще не кончился. Соображение2: все что хранится "в архивном архиве" - обязательно пропадет. Диск не прочтется, дисковода-лентовода не найдется, всякое бывает. Поэтому должна быть мастер-копия с контролем целостности и от нее расходится остальное. P.S. И это я еще видео не снимаю. |
Интимный вопрос: |
А что на этих,условно, 15ТБ? Вся эта инфа помещается на 15 дискет. Если учесть редко используемые данные, наверняка можно обойтись ~4 дискетами по 1 ТБ. А то и двумя... Да, 10Г-сеть такими дискетами не загрузить, даже если у них внутри RAID0. :-( |
Было бы что-то, что |
Было бы что-то, что затрагивает широкий круг - я бы написал. Ради .SR2 (не самый распространенный формат в наше время) - не стал. |
Тут как бы просто, |
Тут как бы просто, отсутствует информация. |
Но на самом деле разница 1000 |
Но на самом деле разница 1000-1002 маленькая |
Потому что они плодятся как |
Потому что они плодятся как тараканы, эта 1.3.6 - заколдованая какая-то. В какой-то момент (думаю, где-то послезавтра) выкатим на .com и будет финальный анонс (и еще через недельку все более старые закричат "пора обновляться"). У меня скрытое поле "subpatch" уже кончается, там 4 бита, а она уже 1.3.6(.9) |
А почему тут нет анонсов |
А почему тут нет анонсов новых билдов? |
А на A7R-II - почти |
А на A7R-II - почти нормальный. Чудеса какие-то. |
В полтора раза? |
В полтора раза? A7R-II я покупал в 2015-м (когда все эти флуктуации уже случились первый раз в конце 2014) - стоила $3300 по курсу на тот день. При штатовском ценнике $3200. А сломалось что-то у них в конце 2015, даже вот до январского временного скачка уя. |
Ага, ценник на 6300 - из тех |
Ага, ценник на 6300 - из тех же 100 рублей за доллар. |
Ну, теперь видимо попросту |
Ну, теперь видимо попросту жадность победила - я недавно на всякие там ихи ILCE-6300 и прочее ценники смотрел - офигел просто. |
Ну так они, видимо, ещё |
Ну так они, видимо, ещё закладывают поправку на возможные флуктуации курса и прочие чудесные риски. |
И, заметим, Сони справлялись |
И, заметим, Сони справлялись с российским ценообразованием и цены до ~2015г были вменяемыми. |
Вот именно. |
Вот именно. |
Так они небось не с |
Так они небось не с американской цены считали, а с европейской - те же 3500, но евро (да, такое у сони/никона/... региональное ценообразование). |