Об "архивном формате DNG" (в очередной раз)

lexa - 04/Апр/2017 11:23

На этих картинках, дети, вы видите две гистограммы (почти) одного файла:

Слева - оригинал (это Hasselblad X1D, ISO25600), справа - DNG (сделано Adobe DNG Converter 9.9.0.178).

Как мы видим, в DNG не сохранены оригинальные значения из RAW а скромно и от души прибавлено три стопа (что, естественно, превратило детали в светах - в тыкву). Ну и черный вычтен, хотя это уже мелочи.

Кто-то продолжает считать DNG "архивным форматом?

Да, может мне кто-нибудь объяснить зачем это сделано?

P.S. Файлик отсюда: https://www.dpreview.com/reviews/hasselblad-x1d-50c/3, желающие могут повторить эксперимент сами.

Comments

aldmil - 25/Апр/2017 14:13

Не нашёл файл, с которого снята гистограмма по данному адресу. Другой файл, B0000401 оттуда же, не даёт такого радикального сдвига гистограммы, хотя различия очевидны в тенях и есть крошечный сдвиг всей гистограммы к светам, а при вычитании файла *.3FR из файла *.DNG в слоях в Photoshop-е всё равно получается чистый ноль по всем пикселям. Получал DNG в версии 9.10, как в DNG - конвертере, так и в ACR 9.10. Такое впечатление, что Photoshop принимает raw из ACR, предварительно переводя его в DNG.

lexa - 25/Апр/2017 15:31

Выберите в выборе чувствительности 25600 - и будет искомый файл (только что проверил)

aldmil - 25/Апр/2017 15:34

Спасибо, побежал искать...

aldmil - 25/Апр/2017 15:33

Ну, раз не нашёл файл с Хасселя, почему бы не взять файл со своей камеры? Самсунг NX 30 iso 25600 1/1250, недосветов - море, пересветов - хватает, шумов - выше крыши, перевожу raw в DNG, открываю в RawDigger 1.2.17 и.... Ни малейших отличий raw от DNG... Теперь я спокоен, какое мне дело до Хасселя с его проблемами... На моей камере что сметана, что г--но - жирность одинакова... Осталось только найти, куда бы засунуть этот DNG и зачем он вообще нужен...

lexa - 25/Апр/2017 15:38

Да, для большинства камер (чувствительностей, настроек) - данные в DNG те же самые (метаданные всякие могут быть помятыми, правда).

Столь удивительны исключения, которые мы видим с данным хасселем (и никогда не узнаешь заранее, не стала ли очередная камера таким исключением, все надо проверять самому).

aldmil - 26/Апр/2017 20:35

Сегодня получил тот же сдвиг гистограммы что и у Вас с DNG относительно 3FR.
Но! Укладываю DNG и 3FR в два слоя в Photoshop - и получаю полную идентичность, пиксель-в-пиксель. То есть, картинки-то одинаковые... Отсюда вопрос: а с гистограммой-то всё в порядке? Она правильно считает?
То же самое с видом картинки и при просмотре значений пикселей в ACR, они абсолютно совпадают.Что странно.
Не связано ли это с тем, что DNG и 3FR имеют неодинаковое количество пикселей картинки в rawDigger и одинаковое в ACR?

aldmil - 26/Апр/2017 20:40

Хотя, все остальные камеры тоже ведь имеют больше пикселей, чем задекларировано и это никак не мешает быть гистограмме одинаковой... Странно это...

lexa - 26/Апр/2017 21:53

Гистограмма считается правильно (для DNG можете сами пересчитать, сохранив в uncompressed, дальше работа с этими данными тривиальна)
Просто, судя по всему, ACR обрабатывает этот 3FR точно так же, как это делает DNG Converter. Убивая детали в светах (их там немного, но есть).

Количество пикселей: в свежем RawDigger добавилась поддержка DefaultCrop для DNG, включите и будет одинаково

lexa - 26/Апр/2017 21:55

Кстати, 3FR - тоже нежатый, тоже 16 бит на пиксель, аналогично можете сами гистограмму посчитать, там распаковка - тривиальна (ее нет).
Черный только не забудьте вычесть

aldmil - 27/Апр/2017 00:51

То есть, ACR по сути отдаёт Photoshop-у файл, конвертированный из DNG или как и DNG вместо прямой конвертации из raw? Это объясняет абсолютное совпадение слоёв из raw и DNG при разнице гистограмм.

lexa - 27/Апр/2017 06:58

Почему "из DNG"?
Я вот это бы иначе описал
- конвертер пишет в DNG ровно то, что ему выдала читалка RAW
- а вот читалки в конвертере, ACR и лайтруме - одинаковые.

aldmil - 27/Апр/2017 16:39

В таком случае всё дело в неправильной интерпретации дополнительных данных в файле raw? Иначе говоря, кто-то в Адобе не до конца понял переданные им спецификации файла raw... Это в самом безобидном случае. Гораздо хуже, если где-то в кодах самого конвертера закопано что-то, что иногда всплывает и что именно и по какому волшебному слову, они найти не могут.

lexa - 27/Апр/2017 17:57

Да, скорее всего они что-то неверно делают с метаданными. Воспринимают что-то как "умножь меня", а этого делать не стоило бы.

Другой вопрос, что ISO 25600 на этой камере имеет мало смысла, то есть особо большого вреда нет.

aldmil - 27/Апр/2017 20:17

Там вред начинается прямо с iso 100, правда, еле заметно, в светах ограничение переползает с 65279 в raw на 65535 в DNG, то есть, ровно на 256 или на одно деление в 8-битном представлении. Куда скачут остальные значения - вопрос интересный...
Их оповестили об этом или они не в курсе?

lexa - 27/Апр/2017 21:22

С учетом того, что RAW - линейный, 65279/65536 - это 5 тысячных(!) фотографического стопа.
Точность замера (или работы затвора/диафрагмы) - ну вряд-ли лучше одной десятой EV. Ну пусть одна двадцатая, 5 сотых.

Вывод: наплевать и забыть, света (ETTR) с такой точностью не поймать.

aldmil - 27/Апр/2017 21:46

С этой точки зрения - да, никакой катастрофы там нет. Но! DNG должен по принципу действия быть не просто точным до какой-то степени, а абсолютно точным. В том числе даже данные, которые выходят за пределы заявленных производителем значений количества строк и столбцов, но присутствующие в raw, должны быть и в DNG.

lexa - 27/Апр/2017 21:51

Да, архивный формат (а рекламируется - так) должен быть именно таким.
И оно даже есть. Обычно. Не всегда :)

aldmil - 27/Апр/2017 21:55

Да уж... Успокаивает только то, что на моей-то камере никаких проблем, точность как раз абсолютная.

aldmil - 25/Апр/2017 16:12

Скачал искомый файл и проверил гистограмму. Как и на предыдущем примере, микроскопический сдвиг к светам и обнуление в тенях при значении менее 10-ти. Никаких сдвигов на три стопа, как у Вас, нет и в помине... Версия RawDigger 1.2.18. Сдвиг к светам тоже можно объяснить тем, что ограничение в светах в raw 65279, а в DNG максимум уехал на 65535. Если же сдвиг и в тенях, то понятно, что тени тоже никуда не делись, а просто уехали вправо.

aldmil - 25/Апр/2017 16:17

В частности, в связи с ограничением в светах в raw-е до 65279, к нему тоже есть вопросы, это ещё зачем??
И - да, у NX 30, который я проверял, родным конвертером является Lightroom и ACR, может это тоже играет...