Свежие комментарии

Title Comment
А вот "настройки zfs" - это

А вот "настройки zfs" - это про что речь, что там реально можно настраивать?

Собирал вчера вечером и страйп (больше уже не буду, потому что половина данных уже вернулась на пул за ночь и еще раз я это не переживу).
Запись: ~1.15Gb/sec (170-180 со шпинделя)
Чтение: 550-600Mb/sec. (соответственно, до сотки со шпинделя).
Пробовать туда восстанавливать реальные данные и их читать zfs send - не делал.

Заодно отвечу и на остальное, то что ниже
- выключение префетча (для raidz2): скорость чтения тестового большого файла падает еще раза в полтора
- уменьшение блока для dd при чтении (до мегабайта) - скорость не меняется практически
- уменьшение recordsize (до стандартных 128k с 1m) - скорость чтения падает, но цифры уже не помню, я особо не записывал

Да ещё обратил внимание на bs

Да ещё обратил внимание на bs=1G. Префетчинг по умолчанию работает при запросах менее или равном 1M.

Да совсем не густо, но не

Да совсем не густо, но не зная всех ньюансов (настроек), посоветовать что-то сложно. Но всё таки, что-то совсем мало, возможно даже причина не в zfs либо в случайной глупой настройке (у меня такое случалось). Мои последние опыты по настройке zfs говорят, что на больших файлах (размер файла в два раза и более превосходит размер оперативной памяти) при холодном (первое чтение после импорта пула) последовательном чтении следует ожидать около 80% от пропускной способности всех дисков входящих в пул. Если у тебя 6 дисков, допустим со скоростью 170 MB/s в начале диска, то холодное чтение файла расположенного вначале должно быть в районе 800 MB/s. Повторное чтение (метаданные уже в кеше) около 90% - получается около 900 MB/s. Понятно, что если в кеше на момент чтения осталась часть данных, то скорости будут ещё выше. Правда мои результаты получены на страйпе зеркал и отношения к raidz не имеют. Да ещё, всё мерялось dd и настройки по умолчанию дают приблизительно на 40% меньше результат.

Достал линейку, сильно

Достал линейку, сильно удивлен:
1) Ну как и подозревалось, и на новом пуле (собранном нормально) и на старом (залитом с двумя missing members) все одинаково, единомоментно два диска в чтении не участвуют. Ну, ок.

2) Моя стандартная линейка какая-то херовая, негодная:
dd if=zdata/test/file bs=1G of=/dev/null читает ~200Mb/sec
и zfs send zdata/test@1 >/dev/null - опять 200Mb/sec
А вот нормальный пул, с кином (там файлы тоже большие, но не по 200G конечно), восстановленный zfs recv - zfs zend шлет с более нормальной скоростью, 500Mb/sec. 125 со шпинделя, не 160 как на записи, но OK.

Я в недоумении - получается что нормально скорость чтения померять я не могу.

..а у пентакса, кажется, была

..а у пентакса, кажется, была. то есть до выхода к-7 там что-то было совсем мутное с ценообразованием - вот вплоть до того что русские пни тарились у европейского офиса и платили ндс дважды.

Про: "...но "цены с

Про: "...но "цены с европейского склада... в этой бухгалтерии не должно быть."

Достоверно не знаю как у Сони, а вот у Никона цена именно "с европейского склада", и ни с какого иного.
Дистрибуция в Россию идет строго с европейского распределения (квот, цен FOB, логистики, и т.п.). Т.е. мир Никона поделен за зоны продаж (американская, европейская, азиатско-тихоокеанская, и т.д). И, русские работают строго через Nikon Europe B. V. А далее все довольно консервативно, и серьезных скидок для России нет, чтобы не делали внутризональный реэкспорт. А то, если гарантийные обязательства единые, то возникнет искушение...

а куда им деться? Рынок

а куда им деться? Рынок третьих стран, рисковый. Под закупки порождено отдельное юрлицо, которое с точки зрения Российского законодательства является таким же плательщиком пошлин и НДС как и все остальные юрлица. То есть, это юрлицо закупается: "отгрузочная цена FOB (европа)" + "транспортные расходы" + "пошлины" + "НДС" + "накрутка на российские реалии" определяет внутреннюю евровую цену кокретного завезенного артикула на складе в России этого российскогоо юрлица в любом виде, будь то дочка Сони или же местные представители Соневские на себя зарегистрировали типа независимое, получив благословение от головной конторы.
В этой формуле пп.2 и 5 - переменные. .
Вот и получается вилочка между артикулами в евро, а потом эта вилочка синхронно ходит в пересчетах в рубли.

Еще, с точки зрения российской бухгалтерии при росте курсов нет мотивации старые товары переоценивать в рублях (долго рассказывать, лучше голосом,). Это провоцирует оставление рублевых цен (или их меньшее поднятие) при росте курса долл., для старых партий товара. Это чисто налоговая фича, специфика страны, в которой курсовая разница "в плюс" считается доходом (плати налоги, ссука!) а курсовая разница в минус - это твои личные проблемы.

Ну они что, будут "сами у

Ну они что, будут "сами у себя покупать" и платить с разницы НДС в Европе? Дураки что ли?

То есть как-то ориентироваться "на европейские цены" они, возможно, могут, но "цены с европейского склада Sony EU" в этой бухгалтерии не должно быть.

Дело не в банке. у меня карта

Дело не в банке. у меня карта русского стандарта - такая же хрень.

Есть такая гипотеза:

Есть такая гипотеза:
1. Есть оптовая цена с европейского склада.
2. Сони-рус завозит с него, фиксирует цену в евро, добавляет наценку учитывающие уровень своих издержек _на_ момент ввоза и наценку на российские реалии в момент ввоза..
3. Сони-рус потом меняет официальную цену на ходу как и все, отталкиваясь от курса евро и от установленного давно или недаво в п.2 на конкретный артикул.
4. Если в п.2. на конкретные артикулы были установлены разные наценки в силу разных моментов ввоза, то "вилка наценки между артикулами" - сохраняется. Это влияние "даты завоза".
Поскольку Сони - большая корпорация, и выполнение механизмов главнее сиюминутного здравого смысла, то мы видим то что видим. Поскольку наш рынок - мизерный, то возиться с маркетингом и с детальным ценовым анализом никто не будет - для незначимого рынка и так сойдет.

Рынок РФ - несколько

Рынок РФ - несколько процентов от мирового.

Сони меняет официальную цену

Сони меняет официальную цену на ходу, как и все.
То есть влияние "даты завоза" вообще непонятно.

тупая мысль, которая вполне

тупая мысль, которая вполне может быть — "если мы будем продавать русским всё вкусное по нормальной цене, то другим ничего не останется".

Два объяснения:

Два объяснения:
1. Забыли поставить на конкретный товар. :)
2. Товар из старых запасов поставлен по старой цене. Новые поступления (новые артикулы) будут с новым коэффициентом "для россии". Второе вполне вероятно, если A7R завезли и поставили цены раньше чем на a6300

Почему она есть в этом

Почему она есть в этом объективе или в a6300, но ее нету в A7R-II?

Это не сони, это вынужденная

Это не сони, это вынужденная взяткосодержащая наценка для российских реалий

иногда так антифрод палки

иногда так антифрод палки работает, почему - не знаю, но как "лайт-версия" блокировки перестаёт проходить платёж без конвертации.

Это наверное в чеках магазина

Это наверное в чеках магазина Березка.

Немедленный доступ - это взял

Немедленный доступ - это взял и посмотрел.
Дошел до шкафа, нашел нужную дискету, воткнул (а еще при этом старую размонтировал) - не немедленный.

Ну и второе, на zfs мне доступна проверка целостности всего архива вообще без движений (и где-то за ночь она и произойдет и будет отчет). С дискетами - она будет происходить в разы медленнее (~100Mb/sec вместо 700) и требовать внимания на смену дискет.

Что есть "немедленный доступ"?

У каждого свои индивидуальные критерии.
Для меня воткнуть 2 провода + разгон блинов (= менее 20сек) и есть "немедленный доступ".
Т.к. актуальная инфа есть и локально, не вижу в этом проблемы: поиск "глазами", даже на локальных внутренних дисках, редко бывает на порядок короче. Разве что весь рабочий стол ярлыками залепить...

Ну вот по моему опыту - то,

Ну вот по моему опыту - то, чего нет в немедленном доступе - на практике не существует.

Ваш опыт может отличаться.

"я знаю что где лежит"

Это не аргумент в пользу единого хранилища.
Я тоже знаю что на каком внешнем диске у меня лежит. И жена знает. :-)

"С архивом чужих равок сложнее"... Это вопрос организации хранения, но не вопрос преимущества Вашей "системы хранения" относительно моей. Однако мою обслуживать проще. ИМХО!

Я не критикую и не агитирую. Мне интересно, почему именно предпочтительнее идти более сложным и более затратным (как в плане железа, так и в плане "ежедневных затрат" на питание и обслуживание) путём.

Именно

Именно
На пустом пуле создать файлик на полтерабайта и почитать. И посмотреть на раскладку по дискам.

Но сначала надо
а) подвигать данные
б) уж заодно - сделать чексумминг всех копий которые уже есть, чтобы точно знать когда и что разошлось (если разошлось)

Дискам теперь долго грохотать

Перед началом новой заливки,

Перед началом новой заливки, можно будет "достать линейку" и, зная скорости дисков, на пустом пуле проверить гипотезы и предположения :-).

Там одинакового размера с

Там одинакового размера с одинаковым же смещением gpt-раздел

Ламерский вопрос.

А Вы новые диски одинаково "готовили" или сырыми втыкали?

Подумалось.

Может, циклическая разница в нагрузке на отдельные диски - изначально запроектрованная особенность:
- меньше вероятность вылета дисков "паровозом" (если диски из одной партии (и одной "смены"));
- когда нагружены 2, 4 оставшихся "отдыхают" - чипы работают в щадящем режиме.

Да, возможно что это все фича

Да, возможно что это все фича "правильного количества дисков", 2^N+Z - и тогда чтение всегда будет такое кривое.
Но меня уже не остановить, я уперся, сейчас спишу опять все на дискетки, благо процесс налажен, и еще раз переделаю.

Оно особо не мешает, только диском грохочет.

Дня через три будет рассказ :)

>> А как Вы находите что-то в

>> А как Вы находите что-то в едином дисковом массиве

Что касается моих результатов труда - "я знаю что где лежит".
С архивом чужих равок сложнее, там общая свалка, да. Бывает минуть 5 приходится тратить.

Выгулять объектив...

Но ведь большинство кадров с таких гулянок не актуальны каждый день. Даже если не говорить о ежедневной необходимости всех 200 кадров годичной, например, давности.
То же и по склейкам: я, например, держу все *.CR2 на внешних ХДД, там же архивные результаты склейки, актуальные - на рабочем компе.

(У меня в компе всякой фигни ТераБайт 5, не меньше... и я чётко понимаю, что не менее 3ТБ я не трогал 2 года и более!)

"Соображение 1" опровергается банальным вопросом: А как Вы находите что-то в едином дисковом массиве? ;-)
С "Соображением 2" спорить труднее. :-( Но вот у меня и первые "архивные" (да и "как бы рабочие") диски все живы лет уже 10 как. Просто они крутятся полдня в год от силы, и практически все физически отключены и от питания.
В насилуемой Линуксами машинке без нареканий дышит винч на 250ГБ.

От полного форсмажора zfs Вас не спасёт, а наличие копий (хранимых географически отдельно) с мастер-копии делает периодическую возню с zfs-массивом эээ... увлечением. ИМХО. Причём с перчинкой! А ну как не взлетит?!

Остаётся только скорость доступа. Этот аргумент ничем не перебить.

Pages

Subscribe to comments_recent_new