Обработка RAW

До недавнего времени я считал, что у 5D Mark II "честными" являются только "целые" ISO (100,200,400 и т.д).

В свое время я поверил исследованию уровней насыщения, которые Павел Буров сделал для 40D (у Павла получилось, что нецелые ISO сделаны умножением после АЦП) и для 5D2 не переделывал.

А тут переделал. Получилось, что ситуация у 5D Mark II несколько другая:

• Ряд 100-200-400-...3200 - "честный", уровни насыщения одинаковы до ISO3200 (около 14740 для моего экземпляра камеры). Ряд 6400-12800-25600 тоже "честный", но диапазон значений там больше, до 15349 (все диапазоны - после вычитания уровня черного, который в районе 1000, чуть больше).
• Ряд 125-250-500...4000 - имеет такие же максимумы, как и предыдущий ряд. Каких-то еще причин подозревать "нечестность" пока не вижу.
• Ряд 160-320-640-2500: судя по всему, получен цифровым делением результата съемки на следующем (200-400...4000) ISO на 1.25. В пользу этого максимумы, составляющие 11787 и насыщение, наступающее при одинаковой экспозиции (если ISO400 насытилась на 1/25 и почти насытилась на 1/32, то и ISO320 ведет себя ровно так же).

  5000 в этом же ряду "честная", имеет максимум в 14740.

Кроме того, есть ряд мелких замечаний:

Смотрю тут на свеженамеряные данные по линейности Canon 5D Mark II (текст пишется, в ближайшие дни будет) и думаю вот какую думу:

Максимальный уровень сигнала (на ISO100) в районе 14700. Даже если весь шум определяется исключительно фотонным шумом, среднеквадратичное отклонение будет в районе 120. А на самом деле оно и вовсе 250-260 (при измеряемой плашке 160x160 пикселов).

Получается, что если реальный уровень сигнала у нас, скажем, 14450 (на сигму меньше максимума), то порядка 16% пикселов (выходящих "за сигму" в положительную область) будут обрезаны по максимуму. Что, в свою очередь, приведет к смещению среднего значения для больших плашек (вроде неба или облаков), т.е. испортит "яркость".

Природа обрезки принципиального значения не имеет, это может быть и переполнение пиксела и и обрезка в АЦП и обрезка после АЦП, эффект чисто "математический".

За счет того, что чувствительность каналов - разная, максимумы для всех каналов одновременно достигаться не будут, следовательно эффект испортит еще и "цвет".

Проявляться это будет в самых самых верхах, речь идет о долях стопа (в зависимости величины сигнала т.е. битности камеры)

Сижу, пишу секретный варез, отлаживаюсь на попавшихся под руку кадрах с Nikon D700.

И вот у этого D700 в области довольно сильного пересвета:

• В синем канале - насыщение, нулевая дисперсия.
• В красном канале - можно найти места с нулевой дисперсией, хотя и трудно. И в этих местах значения красного - выше чем у синего.
• А в зеленых каналах (которые засвечены, по идее, сильнее, ибо это выбив на облаке, дневной свет) - сигма около 50, а сами значения зеленого примерно на 200 единиц пониже чем синий канал. При этом, каналы я рассматриваю отдельно, т.е. речь не о бэндинге между зелеными каналами.

При этом на нейтральных непересвеченных объектах значения в каналах ведут себя ожидаемо: самый сильный зеленый, самый слабый - красный (на стоп слабее зеленого), синий - посередине (это горы, свет мог быть сильно синим).

О чем мы думаем, когда глядим на эту кучу кирпича видим такую хрень?

Ну, особого конструктива у меня нет (и камеры такой нет, чтобы поглумиться), но вот соображение о том, что RAW - это необработанный сигнал с сенсора я, видя такую вот хрень, отметаю с порога.

Да, кстати, разные поканальные максимумы могут дать интересные оттенки в пересветах. Разница, конечно, крохотная, но она есть.

Возьмем красивые разноцветные объекты при дневном освещении:

Особое внимание обратите на две крайние палатки, оранжевую слева и "хаки" справа. По центру - баня, к сожалению на втором кадре ее не будет, она была бы показательной тоже...

А теперь возьмем их же, но при другом освещении:

Вопрос 1 (ЖЖ-ссылка) посмотрело уже достаточно народу, а в комментариях уже практически описан ответ. Пришло время сформулировать его окончательно: Обе кривые не меняют контраст, хотя пользователю фотошопа это может быть удивительно.

Давайте двигаться постепенно и начнем с определений.

Представим себе, что у нас есть несколько снятых объектов разной яркости. Не очень темных и не очень ярких, помещающихся на линейном участке фотоматериала. Контрастом для наших целей назовем соотношение яркостей пары объектов. Нас, собственно, интересует, как этот контраст будет меняться при применении показанных на первой картинке кривых.

Вот представим себе, значит, такую кривую, как на картинке. Вот в Lab - это просто умножение на константу. В RGB - тоже умножение на константу (если начало координат немножко подвигать).

Более того, если мы посмотрим, что происходит с интенсивностями (а не со значениями в файле) - то это опять умножение на (другую) константу: и Lab и RGB - это в первом приближении степенной закон (линейным участком в начале Lab/sRGB проще пренебречь).

Другими словами, такая вот линейная кривая в фотошопе - является линейной во всех возможных смыслах.

А теперь подпишем оси немножко иначе: пусть это будет характеристическая кривая пленки или бумаги. S-образными хвостами пренебрегаем, работаем только на линейном участке. Соответственно, по осям у нас логарифм экспозиции (то бишь линейны по стопам) и логарифм светопропускания (оптическая плотность). В этих координатах график опять линеен.

Если же мы развернем логарифмы опять к линейному, то прямые линии в "фотографических" логарифмических координатах - перестанут быть таковыми в любом пространстве редактирования, хоть в Lab, хоть в RGB, хоть в линейном.

Вот я и думаю, кто кидает фотографов, Adobe вместе с ICC и всеми прочими, или же Kodak, который характеристики фотоматериалов за сто лет выстрадал?

Есть такая библиотека RawSpeed, которая натурально написана с душой и склонностью к правильным оптимизациям. Например, файлы .CR2 распаковываются раз в пять быстрее чем это делает LibRaw.

В стремлении эту несуразность поправить, фтыкаю в ее исходники одним глазом, вторым и третьим - в результаты прогона профайлера на LibRaw и RawSpeed на одном и том же файле.

И вижу интересное (в исходниках, не в профайле): Canon 1D Mark III обрабатывается у Коффина в dcraw (и у нас) специфическим способом. Там, как обычно, грубый хак, но работающий. Касается этот хак буквально двух пикселов по ширине на рамке, видимой части изображения - не касается. Ага, сказали мужики и достали лом побольше пошаговый отладчик и grep.

Зная, что меня читают некоторые пользователи RawSpeed, имею сказать, исключительно в информационных целях:

• RawSpeed извлекает уровень черного только из DNG и NEF, в остальных случаях берется predefined-значение из базы данных по камерам.
• Уровень черного - это одно число. Даже не два, как в LibRaw/dcraw и не сложная структура, как оно бывает в некоторых камерах вроде PhaseOne (да и DNG - тоже. DNG-шные теги усредняются).

Тем временем, зарелизили LibRaw 0.12:

• Поддержка дополнительных алгоритмов, распространяемых на условиях GPL2/GPL3:
  • demosaic-pack-GPL2: алгоритмы интерполяции AFD, LMMSE, VCD, modified AHD, AHD+VCD; дополнительные методы медианной фильтрации изображения; поддержка сенсоров Foveon.
  • demosaic-pack-GPL3: алгоритм AMaZE и подавление хроматических аберраций для AMaZE.
• Дополнительный алгоритм интерполяции (DCB) и шумопонижения (FBDD) включены в состав основной LibRaw.
• Поддержка LCMS 2.x
• Новый механизм ./configure на базе GNU autotools.
• Исправлены ошибки:
  • Исправления в green_matching для некоторых layouts (как это по нашему?) байеровских матриц.
  • Исправлена ошибка в вызове add_masked_borders_to_bitmap(), которая проявлялась на камерах с нечетной шириной черной рамки.
• Новые параметры командной строки примера unprocessed_raw: -B - вычитать уровень черного, -M - добавлять маскированную рамку к изображению.

Последняя фишка с unprocessed_raw сделана для владельцев черно-белых камер (со смытыми светофильтрами), интерполяция им не нужна (более того, вредна), а какие-то другие средства получить черно-белую картинку без интерполяции, баланса белого и прочих лишних прыжков - просто отсутствуют. То бишь, unprocessed_raw для этого и так подходила, но зачем фотографу маскированная рамка и невычтенный черный?

Вот, кстати, интересные картинки на тему (якобы) линейности сенсора камеры

www.maxmax.com/nikon_d700_study.htm. Там еще есть, для D200, D300 и 40D

То есть, для меня вопрос, что именно они меряли (не значения ли в JPEG, судя по максимуму, хоть и написано "raw linearity graphs"), но ступенька в красном в любом разе весьма удивительна.

Update: судя по длинам выдержек, это привет от внутрикамерных шумодавов разных систем.