FreeBSD ZFS read: 11-STABLE тоже поломана

Все оказалось еще гораздо хуже, чем казалось на первый взгляд:

  1. FreeBSD 11-STABLE тоже поломана
  2. И поломка - это свойство, возникающее при записи файла.

Давайте значит по порядку.

I. Другой ящик:

  • i3-6300T, 32Gb RAM, 6 дисков по 6Tb в RAIDZ2, диски подключены к контроллеру на материнке.

II. Берем FreeBSD 11-STABLE, конкретно вот эту вот:

FreeBSD home-gw.lexa.ru 11.0-STABLE...

FreeBSD ZFS read speed: они убили кенни!

Вчерашний вечер у меня тоже прошел не скучно.

Я взял уже знакомый вам стенд:

  • i5-2400, 16GB RAM
  • LSI 9211-8i (FW 16.0, IT-mode, без BIOS)
  • 7 дисков WD1003FBYX

И начал делать так:

  1. Скачиваю с ftp.freebsd.org FreeBSD-NN.y-RELEASE-amd64-memstick.img
  2. Пишу его на флешку
  3. Загружаюсь с этой флешки (никаких дополнительных настроек!)
  4. Собственно тестирую:

zpool create -O recordsize=nn ztest raidz2 /dev/gpt/DISK[0-5/6]
...

Про ZFS prefetch (2)

Продолжение вот этого вот текста, теперь более систематически.

АХТУНГ. Все описанные ниже эксперименты (и прошлая серия экспериментов) - относятся ТОЛЬКО к FreeBSD-12. На 10.3-11.0 (РЕЛИЗНЫХ, в -stable все похоже хуже) картина принципиально другая и деградации скорости чтения при маленькой глубине префетча нет.

Провел вчерашнее утро, а затем - вечер за стендом,  который схематически показан на картинке (там 7 дисков, потом...

О правильных точках отсчета - дополнение

Я маленько подумал, и решил, что в моей заметке О правильных точках отсчета не хватает еще одного куска. По смыслу - между имеющейся содержательной частью и "моралью".  Вот он:

Возьмем теперь другой кадр, та же сцена снята той же камерой, но на ISO200. Размножим его аналогично (оригинал, конверсия в DNG с помощью Adobe DNG Converter, конверсия в DNG digiKam). RAW-гистограмма всех трех кадров совершенно одинакова, поэтому приведем на этот раз только одну:

...

4 года прогресса

Берем одну и ту же FreeBSD11 и делаем

time make -j8 buildworld

Сначала на i3-2120:

А потом на i3-6300T (пересадив диск на другую материнку)

Тактовые частоты одинаковые (3.3Ghz), платформы (материнка, сокет, тип памяти) - понятно что разные, но это как раз нормально т.к. апгрейд процессора "на 4 поколения" всяко сопровождается сменой платформы. Диск - SSD, памяти достаточно, чтобы влезли и исходники и получившийся результат (в сумме...

О правильных точках отсчета

Дней 10 назад, когда появились первые тестовые RAW от Olympus E-M1-II я в них заглянул и захотел про эту камеру написать, но заела текучка, может быть еще и напишу.

В процессе написания того текста, возник отдельный пунктик, на который хочется отдельно обратить внимание на реальных примерах.

Вот, к примеру, обсуждение:

Вот это вот «определенно лучше тянется вверх» нуждается в детальном комментарии (чтобы потом на него ссылаться...

О «шумных высоких ISO»

Чем дальше в лес - тем толще!

Одним из самых распространенных заблуждений среди (цифровых) фотографов является такое:

Высокие ISO – шумные! Больше ISO – больше шум!

Это – очень вредное заблуждение (которое, в частности, загубило часть моих ночных кадров), типичный случай перестановки причины и следствия. Хуже всего то, что это заблуждение проникает во всякие фотографические курсы и ранит неокрепшие души фотографов-новичков.

Давайте разбираться на конкретных примерах.

Говорить о влиянии ISO имеет смысл, если мы зафиксировали остальные параметры, а...

Exclusive! blog.lexa.ru Black Friday Deals!!!

(Подсмотрел у Питенина в фейсбуке)

По случаю почернения пятницы, объявляется скидка 10% на все, что я тут распродаю потихоньку:

  • Видеокарты
    • NVidia GTX970 в исполнении ASUS Strix: Продано.
    • AMD Radeon 7970HD: 7000р  6300р
  • Оптика Zeiss
  • Оптика Pentax67:
    • Pentax67 55/4 (прекрасно сочетается со следующим пунктом):
  • ...

Exposure triangle: WTF?

В буржуйском интернете постоянно встречается словосочетание Exposure Triangle и я его долго терпел, пока не попалась вот эта вот статья:

The Exposure Triangle – A Beginner’s Guide

После чего я уже терпеть не могу.

Давайте разбираться:

Допустим, у нас есть какая-то сцена и мы знаем, какая там должна быть экспозиция (ну вот знаем и все). Тогда у нас

  • Для конкретного поставленного ISO
  • ...

Sale: Asus/NVidia GTX970-DC2OC

добавил картинок, освежил дату

Продается:

Видеокарта Asus GTX970-DC2OC

 

Продано.

Про ZFS prefetch

Вынесу из комментариев, потому что это важное, чтобы потом самому было легче найти.

АХТУНГ. Все описанные ниже эксперименты (и прошлая серия экспериментов) - относятся ТОЛЬКО к FreeBSD-12. На 10.3-11.0 (релизных! со -stable все сложно) картина принципиально другая и деградации скорости чтения при маленькой глубине префетча нет.

Собрал я тут ZFS массив на следующие (я надеюсь) лет пять: 6x6Tb, в RAIDZ2 (2 - потому что я устал срочно бегать в магазин, покупать замену вылетевшему диску), диски HGST, правда разные...

Про поддельный макинтош

Давно не писал про хакинтоши (а все что в том разделе написано, то давно устарело, теперь Clover) и, честно говоря, даже и не хотелось.

Но вот имеющийся дома МакМини (примерно 2007 года) уже совсем устарел, OS X свежее 10.7 на него не ставится, а многие программы уже поддержку 10.7 (да и 10.9 уже) подропали. Надо новый.

Но, блин, новые миники (которых 2 года не обновляли) это

  • Старые процессоры
  • Чудовищная цена за кастомную версию: 16RAM/256SSD мне российский Apple
  • ...

Ахтунг: Paypal, Ebay, сломалась опция "конверсия банком"

Наткнулся второй раз (29 октября и сегодня) на такую фигню:

  • При оплате на ebay через Paypal, счет выставлен в валюте (это были AUD и EUR)
  • При выставлении в пейпале опции "конверсия карточной системой/банком"
  • Платеж не проходит.
  • А если ставить опцию "конверсия пейпалом" - то проходит, списываются рубли. По известно какому (конскому) курсу пейпала.

Первый раз цена всего вопроса была меньше $2 (то есть на потери я тупо наплевал), второй раз 29EUR - и тут я уже позвонил в саппорт пейпала.

В саппорте мне сказали:

  1. Проблема известная
  2. "проблема не у них" а в выставлении счета ebay
  3. Они уже знают и чинят.

Короче, если у вас валютная карта (как у меня) и вы не хотите терять на двойной конвертации (как я), то с покупками на eBay стоит подождать с недельку, а потом попробовать на какой-то очень мелкой ерунде.

P.S. На фейсбуке мне пишут "все работает". У меня - все не работает, но карты при этом ВТБ24 и просто ВТБ (Банк Москвы), может дело в банке еще.

UPD: по состоянию на 20 ноября, долларовый платеж без лишних конверсий проходит при оплате пейпалом не-ebay.

10 лет в эфире

Забегался и пропустил юбилей.

Этот бложик с вами уже 10 лет ну и еще 6 дней.

Про ZFS и манипулирование данными

Таскал тут данные туда-сюда, RAIDZ1 разобрать, RAIDZ2 собрать.

Но так как дисков/питания на "поднять оба массива сразу" не хватало, делал это хитровывернутым образом - скопировал на одиночные диски, потом собрал degraded-массив без этих дисков (подстановкой файликов из нулей вместо них), скопировал обратно, восстановил четность.

И смотрю я теперь на iostat -x 100 и не радуюсь:

device     r/s   w/s    kr/s    kw/s qlen svc_t  %b
da0      330.3  10.1 11156.0   104.6    0   3.9  20
da1      330.2  10.4 11152.1   107.8   
...

Sony, ты одурела!

353000/3500 = 100.85 рублей за доллар?

А для 70-200/2.8FE курс получается 92 рубля ровно, фотографам тоже расслабляться не стоит.

Поддерживает ли UFS2 файлы больше 1Tb?

Да, поддерживает (интернеты в этом расходятся, было немножко нервно):

lexa@home-gw:~# ls -l /DATA/
total 3446778112
-rw-r--r--  1 root  wheel   877456780272 Nov  2 18:24 archive-books3
-rw-r--r--  1 root  wheel  1844203276336 Nov  3 01:49 archive-photoarc
-rw-r--r--  1 root  wheel   171793351432 Nov  2 19:47 archive-photoother
-rw-r--r--  1 root  wheel   635185397760 Nov  3 11:49 archive-raw-archive

 

Это уже второй 6-терабайтник заполняется, игра в 15, так ее растак:

  • Cбэкапить текущий ZFS (6x4Tb, RAIDZ1)
  • Собрать новый в деградированном виде (6xTB, RAIDZ2, два висят
  • ...

FastRawViewer 1.3.6: релиз

FastRawViewer 1.3.6 выпущен "на Россию", брать на официальном сайте.

В сравнении с последней бетой, изменена мелкая мелочь: если в EXIF-данных в фокусном расстоянии оптики написано 0мм (но сама запись - есть), мы не показываем Lens: 0mm в панели EXIF, а просто эту строчку не показываем (ибо бессмысленна).

FastRawViewer 1.3.6-995

Пришла пора освежить бету 1.3.6 (не пугайтесь, что номер версии в заголовке и в ссылках на скачивание не совпадает - правим, публикуем, рабочий процесс, а если обновить заголовок, то изменится URL)

Тут были прямые ссылки но вышел релиз, берите на официальном сайте

По сравнению с предыдущей версией изменения незначительны:

  • Drag-drop фолдеров-файлов в главное окно программы работает во всех случаях (не работало - если выдавались сообщения "нет файлов для показа", "поломаный raw-файл", теперь эти уведомления принимают дропы).
  • Обновлена документация - там оставались упоминания .fastrawviewer.ini
  • Обработка файлов Fujifilm X-Trans Compressed у которых в метаданных записана некорректная длина блока данных.
  • Восстановлена правильная обработка чтения XMP из RAW-файлов, которую продолбали на ранних билдах версии 1.3.6
  • Иконка "использовалась вспышка" правильно меняет свой размер при изменении шрифта интерфейса.
  • Иконки "использовалась вспышка" генерируются (с соответствии с размером шрифта) отдельно для панели EXIF и для нижней строки.
  • Новый элемент нижней строки 'Selected files count', по-умолчанию выключен.
  • Sony: при подключении оптики через адаптер без контактов - объектив показывается как Lens: Undefined

Sale: ручные цейссы 50/2 ZF, 35/2 ZF, 28/2 ZE

Очередная порция закромов на распродажу, не используется.

Цена: ориентировался на ebay (проданные лоты, без доставки) и на "55% цены нового в Москве" (получилось близко)

I. Объектив Zeiss Makro Planar 50/2 ZF

Долгое время работал у меня пейзажным полтинником, вытеснен соневским 55/1.8

Состояние: оптически ОК, на оправе потерта краска, наверное вот "состояние 4+". Не падал, не тонул.

Комплект полный: объектив, крышки, бленда, коробки, документы.

Байонет никоновский (ZF, не ZF2, т.е. без контактов), я использовал с переходником на Canon, будет желание -...

О новых технологиях, мать их за ногу

Постоянные читатели этого блога уже знают, что недавно я сменил беспроводную мышку на проводную.

Пришла очередь клавиатуры: последние дни вечерами я чудовищно страдал уже от клавиатуры: буквы набирались не сразу, иногда двоили и все такое. Я даже винду восстановил из бэкапа двухнедельной давности (думая что какой-то апдейт чего-то кривой прилетел), но не помогло.

И вот сегодня - опять.

Воткнул проводную такую же (Logitech Wave) - как рукой сняло.

Подозреваю теперь, что соседи снизу включают направленную в меня микроволновку  обзавелись какой-то бытовой техникой, которая на 2.4 гигагерца гадит. И придя с работы - ее включают

Пойду значит в лабаз за нормальной механической кнопочной, осталось только выбрать.

А подозрения в протухлости беспроводной мыши были, похоже, напрасными.

О цвете ЦФК

После выхода каждой новой камеры начинаются стоны, дескать старые давали цвет, а теперь вот утеряно искусство.

А можно просто достать (линейку) и померяться.

Вот просто взять, к примеру, сырые данные (но снятые одинаково, при одном освещении, одной оптикой) и сравнить.

Вот Илья Борг взял и сравнил Canon 5D Mark III, 5Ds, 5DsR, 5D Mark IV, читайте:  Color Differences Between Cameras (извините за басурманский).

Что получается, если вкратце:

  • Если баланс белого ставить правильно (например, по камерному пресету)
  • И снимать в повторяемых условиях (свет, оптика)
  • То на ColorChecker 24
  • Разница в dE в пределах 3 единиц
  • Что - копейки и компенсируется, например, профилем камеры (заметим, в исследовании профиль камеры не применялся, а сравниваются нормализованные (к одному максимуму) и сбалансированные по белому данные).

Отчего же на практике оно не всегда так? Да от неповторяемости:

  • Разный свет
  • Разная оптика
  • Сравниваются разные сцены
  • Применяются непонятно откуда взятые пресеты/профили камер (и да, в первых версиях конверторов с поддержкой новой камеры - профиль зачастую сделан из того что было, нашли какой-то снимок мишени с неизвестным цветом и сняли).

P.S. конечно, при сравнении камер от разных производителей, авторы фильтров CFA которых решали одну и ту же задачу ("правильного цветовоспроизведения"), но (скорее всего) с несколько другими приоритетами, разница в RAW-данных скорее всего будет больше и имеет смысл строить, к примеру, простейшие матричные профили и сравнивать с их использованием.

FastRawViewer 1.3.6-989: продолжаем тестирование

Продолжаем тестировать 1.3.6, вашими стараниями поправлены несколько неприятных проблем, хотим еще:

Тут были прямые ссылки но вышел релиз, берите на официальном сайте

Не пугайтесь, что номер версии в заголовке поста и в ссылках на скачивание различается, просто поправили еще одну мелочь.

Относительно предыдущего варианта, исправлены проблемы:

  • Исправлен memory leak при просмотре файлов Foveon
  • Исправлена обработка форматов sRAW/mRAW для новых камер Canon
  • Добавлена дополнительная проверка целостности файлов Samsung NX
  • Обновлена документация (только список поддерживаемых камер)
  • Ориентация для файлов
  • ...

RawDigger 1.2.15

Релиз-кандидат, если не будет жалоб - зарелизим  Выпустили: http://www.rawdigger.ru/download

Wanted: sRAW1/sRAW2 от Canon 5D Mark IV

Спасибо, файлы прислали. Интернет работает!!!

Собственно, в заголовке все написано: очень нужны примеры формата sRAW (обоих вариантов) от 5D Mark IV. Тут вылезла особенность в 80D (неверное креативное указание размера в LJPEG-заголовке) и очень надо проверить, нет ли такого же у 5D4.

Cюжет любой (но как-то узнаваемый, белый лист бумаги на снегу - не надо, черная...

Pages

Subscribe to blog.lexa.ru: все статьи