Обработка RAW

Про постеризацию у Sony: RAW со startrails

На dpreview гудят сервера про соневское сжатие (и не только там, я сегодня все утро дискутировал на эту же тему на другом форуме, осеннее обострение). Дошло до того, что нас с Ильей обвинили в подделке того самого кадра с звездными треками.

И тут, внезапно, автор этого кадра, Matti Koski, видя это безумие на dpr, сам написал и дал разрешение опубликовать RAW. брать отсюда

RAW - изображение это или нет?

Предуведомление: это текст на понятно какой сайт, но захотелось его сначала протестировать на знакомой аудитории

"Какой смысла обсуждать программы просмотра RAW имиджей - RAW вообще увидеть нельзя, т.к. RAW не является изображением".

Увы, нам часто приходится сталкиваться с мифом о том, что RAW не является изображением. Этот миф чрезвычайно удобен и широко используется теми, кто пытается объяснить и "объективно" доказать, почему в принципе невозможно существование настоящего raw-вьюера.

На самом деле же, RAW - это изображение. Просто...

FastRawViewer 0.9.4 (RC2)

Огромное спасибо тестерам, написавшим замечания к предыдущему билду, мы сделали следующий:

  • Обновлены цветовые профили для очень многих камер.
  • Показ текущего значения зума в bottom bar: добавлены кнопки + и -, клик по значению зума - fit to window.
  • Исправлено нечетное число ошибок (три штуки!)

Качаем отсюда:
(обновлено) актуальную версию качаем c официального сайта.

FastRawViewer 0.9.4 (RC)

Согласно сложившейся традиции, анонсирую новую версию FastRawViewer тут, за несколько дней до более официального анонса. Как правило, замечания от читателей этого бложика оказываются крайне полезны.

0.9.3 вышла вот ровно два месяца назад и в 0.9.4 мы порезвились:

Новые возможности

  • Показ EXIF-данных теперь настраивается.
    Нажимайте иконку 'Settings' в заголовке окна EXIF и настраивайте как вам нужно.
  • Сильно переработана "строка состояния" программы (нижняя полоска окна)
    • все визуальные элементы, для которых это имеет смысл - кликабельны
    • можно настроить, какие элементы показывать в нижней строке всегда, какие - только если хватает места, а какие - не показывать.
    • добавлены новые элементы: текущий фолдер, выбор кривой контраста, XMP Rating и XMP Label
  • Поддержка Color Management
    Включить Color Management можно настройкой Preferences - Color Management - Enable Color management При этом разблокируются дополнительные настройки.

    Преобразование цветов (в пространство монитора) делается на видеокарте, в большинстве случаев скорость работы не изменится. При этом

    • Color Management несовместим с видеокартами с DirectX Shader Model ниже 3.0, на таких видеокартах включить его нельзя.
    • Color Management несовместим с насильно включенной (для всех программ) анизотропной фильтрацией текстур. При обнаружении такой фильтрации - будет выдано предупреждение.
  • Работа с одновременным открытием нескольких фолдеров
    Данный режим предназначен для сквозного просмотра нескольких "фолдеров одного уровня", например для случая, когда камера раскладывает съемку в нумерованые под-фолдеры, которые потом целиком перекидываются на компьютер для работы (без объединения). При необходимости, фолдеры на разных уровнях/дисках/где угодно можно выбрать через Drag-n-Drop, встроенный диалог FRV таких вольностей не позволяет.

    Это именно костыли, автоматической рекурсии по каталогам данный режим не заменяет, но позволяет покрыть один распространенный Use Case

    • Новая настройка File Handling - Open Multiple folders support (по умолчанию - выключена)
    • Этот режим работы индицируется звездочкой на кнопке с "номером файла в текущем фолдере".
    • при листании Next File, при дохождении до последнего файла: текущий фолдер запоминается в "списке предыдущих фолдеров", производится переход в первый фолдер из "списка будущих"
    • При листании Prev File, если мы уже перешли ранее в один из "следующих" каталогов, мы можем вернуться в последний из "предыдущих фолдеров"
    • Восстановление файлов, перемещенных в _Rejected возможно только пока вы не сменили фолдер.

RawDigger 1.1.1

RawDigger 1.1.1. Вкратце:

  • Поддержка файлов Nikon Coolscan NEF. Но гамму надо задавать вручную (в настройках, там где Vendor Specific).
  • +10 камер
  • Починен нанобаг с выводом уровня черного в CGATS, если уровень черного поставлен вручную и не поканально.

В теории, с поддержкой этих самых NEF-ов можно сделать, к примеру, профиль "слайд + сканер" (но без процессинга). Уж не знаю, надо ли кому.

FastRawViewer 0.9.4 (PreBeta4): Color Management

Просили Color Management в FastRawViewer? Раз просили - теперь тестируйте! Ссылки для скачивания - в конце поста.

Чтобы включить Color Management, нужно

  • Скачать тестовую версию.
  • Запустить
  • Пойти в настройки (Ctrl-P), там в Color Management и включить галку "Enable Color management"
  • При необходимости, поправить и другие настройки CM
По умолчанию, поддержка Color Management выключена, мы считаем это правильным потому что:
  1. Большинство современных мониторов - sRGB (или близко к нему) и использование sRGB как рабочего
  2. ...

Просьба к пользователям Nikon Coolscan

Уважаемые пользователи Nikon Coolscan, если таковые еще есть среди моих читателей!

К вашему сканеру прилагается программа Nikon Scan. Она умеет писать NEF-файлы. У меня даже один такой есть.

Хочу вот прикрутить поддержку этих файлов к RawDigger и FastRawViewer. Да и вообще, к LibRaw, пусть все LibRaw-based программы тоже этого могут.

Но для тестирования - одного файла явно маловато.

Пожалуйста, ради легкости работы затем (с тем же FRV), возьмите любой кадр, отсканируйте его в 8- и 16-битном режиме, положите куда-нибудь, откуда легко скачивать файлы и пришлите ссылку мне. Можно в комментариях к этой записи, можно личной почтой на lexa@lexa.ru. Идеально - два кадра, слайд и негатив.

Вам же будет лучше.

P.S. На текущую минуту идеи приделывать инверсию негативов к FRV/RD нет, то есть это больше для слайда. Но если будет заметный спрос - приделаем.

P.P.S. Пойду еще в club.foto.ru напишу

P.P.P.S Мне тут в коменты спросили "подождет ли до выходных", а я вместо того, чтобы опубликовать (анонимный) комментарий - его ошибочно стер. Рука дрогнула. И у меня ничего, ни координат ни возможности стертое восстановить. Да, конечно подождет.

RawDigger 1.1.0

По традиции, анонсирую RawDigger 1.1.0

Подробное (и формальное) описание изменений - по ссылке, а я тут простыми словами.

Поинкрементили среднюю цифирку в версии потому как МНОГО изменений, если исключить поддержку новых форматов (вроде Nikon Small Raw или Sigma Quattro) и хитрых режимов (постеризация в Sony), больших изменений после 1.0.0 не было. А теперь - есть. Пока - только в гистограммах:

Про C1

Я обещал про C1 отдельно.

Так вот, получив пачку странных DNG, я захотел их скормить какой-то не Адобовской программе. RPP все съел на ура, но под рукой была еще Capture One. Вот такая:

Берем пачку файлов, Fuji S3Pro, F550EXR, F800EXR. Попарно, RAF и DNG. Для понимания: первую камеру C1 поддерживает, а две вторые - нет. Вот они в каталоге (кликабельно):

...

ЧуднЫе открытия DNG

Про DNG я уже много раз ругался (начиная вот с этой вот статьи: Два пути в никуда, которую мы написали вместе с Ильей Боргом для Компьютерры аж 6 лет назад) и продолжаю ругаться.

Тем не менее, многие проблемы, которые были в старых версиях формата - полечены (в частности, теперь сохраняется "черная рамка"), да и вообще DNG 1.4 неплохо подходит на роль универсального контейнера, для промежуточной обработки, особенно если все теги аккуратно прописаны, а кушающая эти DNG программа - их правильно понимает.

Поэтому я тут потратил пару дней на изучение текущего состояния дел: взял RAW-файлы от ~400 разных камер, сконвертировал в DNG (использовался DNG Converter 8.4, собственно я саму конверсию делал весной, для другой задачи), читал файлы LibRaw (RawDigger-ом) и смотрел, не откроются ли какие-то бездны, а ежели откроются, то значит правил недоделки в LibRaw.

Естественно, обращал я внимание только на те файлы, которые "на глазок" рендерятся не так, как исходный RAW-файл.

RawDigger 1.0.9

  • В разделе настроек Data Processing в отдельный подраздел Vendor Specific вынесены настройки, относящиеся только к конкретным форматам данных/производителям (Sony ARW2, Panasonic, PhaseOne, Sigma dp2 Quattro, Canon/Nikon sRAW/Small Raw). В основном разделе "Data Processing" оставлены настройки, влияющие на все камеры/форматы данных.
  • Гистограмма
    • исправлена ошибка приводившая к (редкому) пропаданию отображения гистограммы при изменении размеров окна.
    • оцифровка горизонтальной оси гистограммы продолжается до ее правого края, а не до максимума, указанного в настройках диапазона вверху окна гистограммы.
  • Поддержка Sigma dp2 Quattro: Добавлены дополнительные настройки в раздел Data Processing - Vendor Specific:
    • R and G channels interpolation включает размножение пикселов в каналах R и G в квадратик 2x2
    • Low sensitivity pixels intepolation - включает нормализацию пикселов с пониженной чувствительностью в каналах R и G (в камере dp2 Quattro каждый 64-й пиксел в каналах R и G имеет чувствительность ниже приблизительно на 2 стопа. Для чего используются эти пикселы - неизвестно, возможно для контроля экспозиции в переэкспонированных областях).
  • Поддержка камер:
    • Casio EX-100
    • Hasselblad H5D
    • Nikon D810, 1 J4,1 S2
    • Panasonic DMC-FZ1000, AG-GH4
    • Pentax 645Z
    • Samsung NX3000
    • Sony A7S, DSC-RX100III
  • Обновлены цветовые данные для камер Hasselblad
  • Exiftool обновлен до версии 9.69

FastRawViewer 0.9.1

Первая неделя публичного тестирования FastRawViewer дала ожидаемый результат: обнаружилось некоторое количество мелких багов и мелких пожеланий, которые можно было починить/добавить быстро.

Обновленная версия, 0.9.1, доступна где полагается. Changelog - там же. Впрочем, если вы уже пользователь, то вам встроенная проверка апдейтов скажет о появлении новой версии (в соответствии с настройками, умолчание - проверка раз в неделю).

Помимо исправления ошибок и добавления небольших (но приятных - тем кто их попросил) фичей, достигнуто главное - пополнен список TODO.

Это я к тому все пишу, что вы комментируйте, пишите пожелания. Можно тут. Лучше - на сайте программы, если где-то на форумах других есть обсуждения-пожелания - шлите нам ссылки, будем благодарны.

Анонс: FastRawViewer 0.9.0 (Beta)

В публичное бета-тестирование поступило очередное наше изделие, FastRawViewer:

На сайтах все написано, но я, тем не менее, повторю другими словами, с предысторией.

Задумывалось все, как можно видеть из названия, просто как быстрый вьюер RAW.

Собственно, я столкнулся с тем, что их ПРОСТО НЕТ, то что есть быстрое - показывает встроенные JPEG-и, а что показывает RAW - показывает их кое-как, медленно (до 4 секунд на 20Mpix на моем довольно быстром десктопе) и даже баланс белого поправить обычно нельзя.

Имея на руках огромную съемку после двухнедельной поездки, целиком снятую в UniWB, я был вынужден смотреть ее Adobe Bridge (там можно ставить баланс белого большим пачкам файлов, по несколько десятков сразу) и КОПИЛ ЗЛОБУ.

Так возникла идея быстрой (реально быстрой) и простой смотрелки, которая позволяла бы по одной кнопке менять ББ, других исходных требований не было.

Но потом мы с Ильей немножко увлеклись и получилось сильно больше, чем задумывалось изначально, получился инструмент для максимально быстрой "сортировки входного потока", то есть отсмотра и технического анализа тысяч (и более) RAW-файлов за минимальное время:

Про Adobe DNG и Adobe Bridge

Изучал тут поведение Adobe Bridge с DNG и XMP файлами, а оно смешное:

  • В DNG может быть XMP-секция, Bridge ее, естественно, читает. И пишет. Можно туда Keywords или рейтинги написать.
  • Если рядом с DNG лежит его XMP-файл (c тем же именем и, опционально, с тегом photoshop:SidecarForExtension="DNG"), то все берется оттуда, а XMP-секция в DNG - игнорируется.
  • Если начать редактировать метаданные, содержимое XMP + результаты редактирования будут записаны в DNG, а XMP-файл - удален.
  • С другими известными Бриджу файлами он так себя не ведет - пишет все в XMP (хотя в том же CR2 - может быть XMP-секция).
Меня это все сильно удивляло - ну сказано ведь "писать все в XMP", но нет.

А потом - доперло. Наберут по объявлениям. Типичный же workflow с DNG такой (если они не из камеры вылезают):

  • Запускаем DNG-конвертор
  • И фигачим DNG прямо в тот же каталог, откуда берем исходные RAW (сделать что-то отдельное - это ж морока)
В результате - в одном фолдере оказываются filename.raw, filename.dng, соответственно filename.xmp может быть только один. И прятать метаданные прямо в DNG - это хоть какой-то разумный выход из этой дурацкой ситуации. Потому что 8.3, завести filename.raw.xmp и filename.dng.xmp - не моги.

Вишенка на торте - поведение бриджа с файлами, которые он вроде бы знает (формат известен), а вроде бы и нет. Я пробовал с файлами от Sony A6000 (обычный ARW) и от Canon G1X Mark 2 (в этом файле есть XMP-секция):

  • Sony: писать метаданные отказывается, говорит не наш участок не знаю такого формата.
  • Canon: отказывается писать кейворды, но пишет рейтинги. Но пишет их не в сам файл (хоть там и есть XMP-секция) и не в sidecar-XMP, а в отдельный файл в каталоге .BridgeLabelsAndRatings (сказано, конечно, писать в XMP)
Все мысли на эту тему уже выражены в реплике Ильи. Количество специальных случаев, которые приходится обрабатывать, - удивляет.

Раскапывая RAW: Nikon Small NEF (NEF S)

Продолжаем традицию анонса наших публикаций. На этот раз на русском:

Раскапывая RAW: внутреннее устройство Nikon Small Raw

Для удобства ленивых читателей выводы вынесены в начало текста. Перевод на английский будет, но не мгновенно.

Комментировать можно там (требуется регистрация), можно тут, как удобнее.

P.S. И рабочий крик души про этот формат.

Про Raw и ББ

Все мы знаем, "установка баланса белого не влияет на RAW-значения".

Старожилы, впрочем, помнят одно исключение, Nikon D1.

На днях добавилось еще одно: Nikon D4s в режиме small raw - накладывает ББ перед записью оного RAW. И кто они после этого?

P.S. Не старожилы, но опытные, еще знают, что установки ББ могут влиять на замер (а значит и на RAW-значения).

P.P.S. Не вздумайте пользоваться этим никоновским small raw. Еще хуже кэноновского....

RawDigger 1.0.5: обнаружение (возможной) постеризации в файлах Sony cRAW

Тема потерь при сжатии в файлах Sony cRAW (а этот формат используют все современные камеры Sony) поднималась у меня многократно. Вот только за последнее время:
  1. RawDigger 1.0.3: раскапывая Sony описание (в очередной раз) формата данных и новых фишек RawDigger для его анализа.
  2. Sony cRAW ETTR: сжатие с потерями, теория и практика практический пример поиска проблемных областей
  3. Sony A7: околозвездная постеризация (ссылка на diglloyd.com) еще один пример, который был в точности предсказан.
Но для быстрой практической оценки изображения имеющегося в RawDigger режима показа только дельт (относительно нуля) оказалось недостаточно. Пришлось добавить еще один режим, о котором, собственно, эта заметка.

О светах у цифровых камер

Мы продолжаем публикации на тему "для чего нужна RAW-гистограмма":

RawDigger Histograms, part 3: Overexposure Shapes

Как и в прошлый раз, без русской версии, но там по картинкам почти все понятно.

Краткое резюме:

  1. Поведение в светах у разных ЦФК - разное. То есть производитель сам выбирает где делать талию где света обрезать, руководствуясь, в первом приближении, двумя соображениями:
    • Если не обрезать (Panasonic GM1 @ISO125), то можно использовать весь диапазон емкости пикселя, но вверху будет область нелинейности, pixel non-uniformity и все такое прочее.
    • Если обрезать "пониже" (Pentax K-3), то отрежется кусок потенциально-рабочей области (пусть и нелинейной, но кого это парит в светах)
  2. Поведение в светах у одной ЦФК - может отличаться (тот же Panasonic GM1), резать можно на разных уровнях (Canon).
  3. Максимумы в разных каналах - могут отличаться (Nikon).

Следует понимать, что правильная обработка светов - сильно отличается в разных случаях. Проще всего, понятно, если они "hit the wall" т.е. верхний нелинейный участок обрезали при записи RAW и сделать ничего больше нельзя, данные утеряны.

В случае же, если "странности в светах" присутствуют, они скорее всего будут сильно индивидуальны для каждого экземпляра камеры (pixel non-uniformity и все такое), а еще могут плавать в зависимости от фазы венеры .... разных обстоятельств (как я уже описывал на примере Oly EPL3).

Если никаких калибровок конкретной камеры не предполагается, то лучшее что может сделать автор конвертора - это таки обрезать данные ниже нелинейности. Хорошо, если для того же Panasonic GM1 (да и других панасоников, других кэнонов и т.п.) это делается конвертором на разных уровнях для нижнего и "остальных" ISO.

Но авторы конветора могут и не заморачиваться, у них 500+ камер поддержано, что теперь, каждую взять и отснять? Это дорого и долго (судя по одинаковым цветовым профилям разных моделей Sony NEX у Adobe - даже Adobe не заморачивается профилированием всех камер - сенсор похож? Следующий!).

Что, в связи с этим, нужно бы знать про сочетание "камера - используемый конвертор":

  1. Есть ли "странности в светах" у камеры.
  2. Меняются ли эти странности в зависимости от ISO.
  3. Где конвертор реально режет данные.
  4. Делает ли он это правильно при смене ISO.
  5. Какие ISO (в связи с вышеизложенным) не стоит использовать.
P.S. Проще всего, по всей видимости, сделать неконтрастную мишеньку (серые буквы на сером фоне, а еще лучше - синие на красном), осветить ее одним источником света под углом и снять с такой экспозицией, чтобы один край ушел в пересвет, а второй - нет. Ну и дальше смотреть - что происходит с областями около насыщения. Одним глазом в конвертор, другим - в RawDigger.

Про гистограммы RawDigger

Два текста про гистограммы RawDigger (наверное, со временем станут частью мануала): На русском языке, увы, не существуют.

P.S. В конце второго текста есть ссылка на полезняшку, шкалу Q13 в DNG. Помогает понять тоновую кривую вашего конвертора, например.

Sony A7: околозвездная постеризация

Год с хвостиком назад, когда я в первый раз озаботился соневским cRAW, я из общих соображений предсказал, что должны быть проблемы на кадрах типа "звезда на фоне темного, но не черного неба".

И таки да. Вот у Ллойда Чамберса: нашелся пример (промотать до раздела Example).

UPD: Ллойд завел отдельную страничку под это чудо.

Такие дела.

И таки да, со star trails все плохо т.к. в артефактах будет весь снимок, не начистишься (лечение - убирать небо в черноту, но не всегда это годится).

Pages

Subscribe to Обработка RAW