Обработка RAW

Про Foveon

Привинтив к LibRaw не-GPL-ную поддержку Foveon, я, естественно, тут же собрал RawDigger с ней (публичной версии пока нет, идет внутреннее тестирование) и накормил его самплами с разных камер.

Я никоим образом не претендую на какую-то полноту (за этим, к примеру, вот сюда), мне хотелось составить личное впечатление, насколько это возможно сделать по доступным самплам. Качественно я фовеону уже удивлялся, теперь захотелось удивиться количественно (понятно, я мог поудивляться и пораньше, использовав dcraw -D, но при наличии собственного инструмента лепить что-то из палок и веревок откровенно лень).

В качестве предмета для изучения была взята Sigma SD1 Merill (снимки колорчекера брались с imaging-resource.com), впрочем DP1 Merill выглядит примерно так же.

Перейдем теперь к собственно разжиганию содержательной части.

LibRaw 0.16 (Alpha1)

Мастер-версия LibRaw получила официальный номер 0.16-Alpha1 и доступна для скачивания.

Это означает, что все глобальные идеи по развитию закончились (на ближайшее время) и нестабильности API - не ожидается. Сама по себе 0.16 достаточно стабильна, в RawDigger используется именно эта версия (и всегда используется "девелоперская", а не "стабильная"), проблем не было.

С полным списком изменений относительно версии 0.15 можно ознакомиться в changelog, ниже откомментированы основные места:

RawDigger 0.9.19

Как и ожидалось, вышел RawDigger 0.9.19.

Кроме вошедших в RC1 плюшек, появилась еще одна: для RGB-представления можно выключить автояркость, картинки снятые с эксповилкой начнут различаться сильнее.

Preferences - Display - Automatic exposure correction for RGB render

Желающие поспамить англоязычные форумы могут списать слова отсюда

RawDigger 0.9.19 RC1

Граждане фотографы!

А потестируйте, кому не лень, RawDigger 0.9.19 уже не надо, вышел релиз.

Это косметический релиз, который не вносит ничего принципиально нового, но лечит проблемы и доделывает недоделки предыдущих версий:

  • Экспорт всех цветовых байеровских RAW-данных в одноканальный (grayscale) TIFF.
    В первую очередь этот режим предназначен для использования с черно-белыми камерами, изготовленными путем смытия светофильтров (maxmax.com и другие).
  • Параметры Selection Grid запоминаются между перезапусками программы.
  • Можно выбрать набор фолдеров, показываемых в левой колонке в диалогах сохранения файлов (экспорт RAW-данных, сохранение таблицы замеров).
    Регулируется через Preferences - Misc Options - Sidebar folders in Save dialogs
    Данная регулировка появилась в связи с жалобами: если запоминать список использованного и в нем окажется медленный или отключенный диск (неработающие сетевые диски и т.п.), то диалог сохранения открывается черезвычайно медленно.
  • Поля CGATS-файлов в которых могут быть пробелы (имя файла, Maker/Model камеры) выводятся в одинарных кавычках
  • Возможен экспорт RAW/RGB данных в Uncompressed TIFF. Для сжатого TIFF улучшено сжатие.
  • При выводе чисел с плавающей точкой везде выводится не менее 4 значащих цифр (исключение: процент пере/недоэкспонированных пикселов, там 3 цифры)
  • Появилась настройка Preferences - Misc Options - Disable check for updates at startup
    Если она включена, RawDigger не обращается к сайту с апдейтами на старте. скрипт noCheckUpdates.reg (.sh в Mac-версии) удален из дистрибутива.
  • Обновлена LibRaw, добавлена поддержка новых камер: Panasonic LF1,GX7, Fujifilm X-M1, Canon EOS 70D, Sony RX100II и RX1R, Olympus E-P5

При отсутствии противопоказаний, эта же версия выйдет в начале следующей недели как "релиз", английская версия выйдет тогда же. Пожалуйста, не тревожьте англоязычных пользователей раньше времени анонсами.

LibRaw 0.15.4

Майская история с уязвимостями в LibRaw получила очень приятное развитие: у меня в почте нарисовался человек из Debian, который не поленился
  • почитать код
  • увидеть там проблемные места
  • сделать "reproducers" т.е. специальным образом поврежденные RAW-файлы (непростое упражнение, заметим)
  • ну и выдать это мне.
В результате, стремные места числом примерно 7, которые проявлялись бы только на поломанных RAW (и не просто поломанных, а должны звезды сойтись) - залечены. Ну и выпущена LibRaw 0.15.4.

Кроме этих проблемных мест, там добавлена поддержка 7 камер (в Changelog они указаны).

Для тех, кому интересно: проблемные места будут полечены и в 0.14, но отдельной версии выпускаться не будет, кто использует 0.14 - берите из гитхабовского репозитория.

Девелоперская версия (master branch) будет полечена тоже, хотя там проблемных мест не 7, а всего 4.

Ожидаемое время лечения 0.14 и master - завтра.

Про Canon 5D3 Dual ISO

По ссылке с dpreview попал сюда, а там невероятное. Если я правильно понял прилагаемую PDFку, записав странное в один из регистров на 5D3/7D (про другие камеры не понял, вроде пока нет), можно поставить всю конструкцию раком и в RAW начнут чередоваться полосы по два пикселя с разной чувствительностью

  • две строчки ISO100
  • две строчки ISO1600
  • .. и так далее
Отчего происходит понятно что:
  • конверторы дуреют
  • но если им вправить мозг (путем изрядной модификации алгоритмов интерполяции), то можно нарастить ДД стопа на два.
Понятно, что разрешение в полутонах и выше попортится (midtone на этой камере примерно на 4 стопа ниже насыщения т.е. среднесерое на ISO100 как раз и вылетит в насыщение на 1600), в первую очередь это касается вертикального разрешения (ну и в первом приближении можно так жить, вспоминаем Nikon D1X). Но если нужен результат для веба - то отчего бы и нет?

По мне, так правильной парой было бы ISO200/800 (что толку с тех 1600), ну да будем надеяться сделают это место регулируемым.

Я про другое: какова идея!

P.S. если кто будет пробовать - расскажите потом.

Про зеленые каналы

Тема "одинаковости зеленых каналов" регулярно всплывает. Понятно, речь не идет об очевидных случаях, вроде старых камер Olympus, которые при усреднении зеленого давали maze artifacts на небе (и, тем более, о RGBE-камере Sony F828). Речь идет об обычных рабоче-крестьянских, Сонях, Кэнонах и Никонах. Для них принято считать, что два зеленых - суть одно, можно усреднить, интерполировать эти каналы надо как одни данные, цветовые профили - трехканальные (из RGB в RGB) и так далее.

Помнится, на семинаре Ильи Борга на эту тему случилась дискуссия, причем Илья говорил что разница между каналами - существенная, а верили ему не очень (втч. и я).

И я давно собирался проверить, аппарат давно имеется, но все не доходили руки. А тут зацепились языками на форуме LL и дернуло же меня проверить на первом попавшемся кадре с колорчекером. Это был кадр с Sony SLT-A77. И понеслось.

Собственно, идея простая. Берем снимок с колорчекером (я беру их с Imaging resource), натягиваем в RawDigger сетку, экспортируем в Excel и смотрим на отношение среднего в каналах G и G2:

Первым мне попался кадр с Sony A77, затем с Leica M9, затем я пошел на Imaging Resource и взял там еще кадров для EOS 6D, Oly OM-D E5, Nikon D800 и Panasonic G5. Первые две камеры у меня есть и мне интересно, последние две - чтобы никонистам и братьям по micro-4/3 не было обидно (на самом деле вся обработка данных с одной камеры занимает в районе минуты и проверить любую камеру вы можете самостоятельно, основное время у меня заняло выведение результатов на суммарные графики).

И вот что получилось:

RawDigger 0.9.18

RawDigger 0.9.18 успешно выпустился:

Брать здесь.

Впрочем, если вы пользователь, то вам ваша рабочая версия уже сказала.

В сравнении с Release Candidate 1 изменилось следующее:

  1. Добавление EXIF-тегов к экспорту работает на Mac с встроенным exiftool
  2. Exiftool (указанный пользователем в настройках) проверяется на наличие и на исполняемость файла.
  3. В диалоге экспорта добавлена галка "Open exported file with default application", если ее поставить, то будет запущено приложение, ассоциированное в вашей системе с .tif
  4. Windows: при смене типа экспорта, RD будет предлагать разумные имена файлов для экспорта. На маке, увы, это работает неустойчиво, лезть в дебри QFileDialog мне противно и там фишка выключена.

Про sRAW

Про внутреннее устройство sRAW я задумался, увидев вот такую вот гистограмму у темнового кадра (это 6D, ISO800, 20 секунд выдержки):

Внутренний голос протестовал против того, что у синего-красного пики на нуле (как им, в теории, и надо быть в темновом кадре), а у зеленого - очень даже нет.

Пришлось прикрутить к RawDigger возможность рассматривать sRAW в исходном виде (т.е. прямо вот в виде YCbCr, который там хранится).

И вот что видно, если начать рассматривать:

RawDigger 0.9.18 RC1

Граждане фотографы!

А потестируйте пожалуйста Release Candidate следующей версии RawDigger:

Всем спасибо, вышла 0.9.18 без лишних букв.

Список изменений в этой версии короткий, однако изменения существенные. От менее значительных к более:

  1. 9 новых камер (см. Changelog)
  2. В CGATS-файлы пишется дополнительная информация (об использованных коэффициентах ББ, о множителе масштабирования, о максимумах данных), сами CGATS-файлы еще более приближены к стандарту.
  3. Можно делать RGB Rendering "как видит камера" (т.е. без наложения камерного профиля, конвертирующего в sRGB)

    Настройка Preferences - Display Options - Display RGB Render in RAW colors

    Если брать какой-то стандартный объект, скажем Color Checker, то чем менее насыщенными будут цвета в этом режиме, тем "шире фильтры". Вероятно, можно придумать какую-то метрику, которая будет это описывать.

    Если вы включите эту галку для 4-канальных не-RGBG RAW, то у вас пропадет RGB-rendering на экране (потому что как на RGB-экране посмотреть CMYG или там RGBE), но результат рендеринга можно будет экспортировать в 4-канальный TIFF и затем рассмотреть его в Фотошопе (который, правда, воспримет этот TIFF как CMYK :).

  4. Canon sRAW-файлы можно рассматривать "как они на самом деле устроены":

    В sRAW записаны данные в формате YCbCr, стандартная процедура декодирования (в LibRaw/RawSpeed) сразу конвертирует их в RGB и всего безумия, которое там творится, не видно.

    В новой версии RawDigger это преобразование можно отключить настройкой:

    Preferences - Data Processing - Show YCbCr data for Canon sRAW files

    И рассмотреть YCbCr данные как они есть.

    Очень поучительное зрелище, отвращает от этого формата надолго.

  5. Экспорт RAW/RGB-render данных в TIFF-файл.

    Menu - File - Export TIFF

    Несмотря на то, что эта штука во многом дублирует имеющиеся в LibRaw утилиты командной строки (dcraw_emu, 4channels, unprocessed_raw), пользоваться ею через GUI оказалось удобно.

На последней штуке остановлюсь подробнее:

RawDigger 0.9.17

RC1 качали, но не жаловались. Значит - работает, значит надо релизить.

Изменения (Changelog)

Новое

  • Новый параметр настроек:

    Data Processing -> Selection/Sample stats: discard abnormal pixel values

    Если настройка включена, то при подчете статистики по selection или Sample отбрасываются 10% самых больших и 10% самых маленьких значений. Это позволяет фильтровать шум (грязь, небольшие блики) на снимках мишеней.

  • Поддержка новых камер:
    • Canon 100D (Rebel SL1), 700D (Rebel T5i)
    • Fujifilm: X20 и X100S,SL1000, HS50EXR
    • Sony SLT-A58
    • Nikon 1 J3, 1 S1, Coolpix A, Coolpix P330, D7100
    • Olympus XZ-10
    • Panasonic G6
    • Pentax MX-1
  • Exiftool обновлен до версии 9.30
  • sRAW/mRAW файлы Canon обрабатываются библиотекой RawSpeed т.е. открываются быстрее.

RawDigger 0.9.17 RC1

Граждане фотографы!

Если вы за компьютерами - потестируйте пожалуйста RawDigger 0.9.17 RC1: берите настоящую 0.9.17, тестирование RC1 закончено.

Изменения:

  • Новый параметр настроек:

    Data Processing -> Selection/Sample stats: discard abnormal pixel values

    Если настройка включена, то при подчете статистики по selection или Sample отбрасываются 10% самых больших и 10% самых маленьких значений. Это позволяет фильтровать шум (грязь, небольшие блики) на снимках мишеней.

  • Поддержка новых камер:

    Canon: 100D (Rebel SL1), 700D (Rebel T5i)
    Fujifilm: X20 и X100S,SL1000, HS50EXR
    Sony SLT-A58
    Nikon: 1 J3, 1 S1, Coolpix A, Coolpix P330, D7100
    Olympus XZ-10
    Panasonic G6
    Pentax MX-1

  • Exiftool обновлен до версии 9.30
  • sRAW/mRAW файлы Canon обрабатываются библиотекой RawSpeed т.е. открываются быстрее.
Исправлены ошибки:
  • Исправлена проблема с автоматической установкой уровня черного на 12-битных файлах Sony (A900 и подобные)
  • Исправлена ошибка: при изменении Preferences и нажатии кнопки Apply, обновление содержимого экрана работало только один раз, повторное изменение того же параметра и нажатие Apply не имело эффекта.
  • При обработке большого количества файлов (drop на иконку многих файлов на Mac) exiftool не запускается, если уже есть запущенный exiftool.

LibRaw 0.15.1

Вот кто видел версию .0, чтобы сразу работала? Правильно, никто!

LibRaw 0.15.1:

  • Исправлен неверный расчет максимума данных для файлов Panasonic
  • Проверка на выход за пределы буфера в коде коррекции экспозиции

Берут где всегда

LibRaw 0.15.0 Release

LibRaw 0.15 уже давно используется в боевых проектах (скажем, в RawDigger), собственно я ее ради RawDigger и правил на ходу и она всегда была "релизного качества".

Пришла пора эту релизность формально закрепить, а версию 0.14 начать предавать забвению.

Вот наиболее важные изменения, суммированные по всем бетам:

Поддержка новых камер

  • Adobe DNG: поддержка Fast Load DNG (LightRoom 4.x), поддержка lossy-compressed DNG (LR 4.x, необходима сборка с libjpeg 6+)
  • Canon: G1 X, SX220 HS, EOS 5D Mark III, EOS 650D, EOS 1D-X, 100D (Rebel SL1), 700D (Rebel T5i),6D,EOS M,G15, S110, SX50
  • Casio: EX-ZR100,EX-Z8
  • Fujifilm: X-E1,X20, X100S,SL1000, HS50EXR,F800EXR, XF1, X-S1, HS30EXR, X1-Pro
  • Imacon Ixpress 39Mpix: Multishot-файлы
  • Leica: D-LUX6 и V-LUX4
  • Nikon: D4, D3200, D800, D800E,1 J2, 1 V2, D600,1 J3, 1 S1, Coolpix A, Coolpix P330, Coolpix P7700, D7100
  • Olympus: E-M5, XZ-2, XZ-10, E-PL5, E-PM2
  • Panasonic: G5, G6, DMC-GF5, FZ200, GH3, LX7
  • Pentax: MX-1, K-5 II, K-5 IIs, K-30, Q10
  • Samsung: EX2F, NX20, NX210, поддержка нового firmware NX100
  • Sigma: SD15,SD1, SD1 Merill, DP1, DP1S, DP1X, DP2, DP2S, DP2X (только в Demosaic-pack-GPL2)
  • Sony: SLT-A58, RX-1, SLT-A99, NEX-5R, NEX-6, NEX-F3, SLT-A37, SLT-A57

Изменения в API

Гасите свет! Они лезут на свет!

До недавнего момента все новомодные камеры на Fuji X-Trans имели одну схему "небайеровской" мозаики.

Но вот с новыми камерами уже не так: X20 и X100S имеют две новых (отличающихся от старой и друг от друга) схемы. Тоже 6x6, уже хорошо, могли бы и 7x7 сделать и 9x11.

Компания Fujifilm передает приветы авторам конверторов. Особенно приятно им будет, если они какую-то оптимальную схему интерполяции захардкодили (для скорости, к примеру). Ну захардкодят еще парочку, делов то.

Что думают авторы конверторов о компании Fujifilm я боюсь и предполагать....

Upd: они отличаются сдвигом. Т.е. пожертвовав 2-3 строчками/столбцами с краю - можно свести эту физику к одному и тому же.

Olympus OM-D E-M5: динамический диапазон

В рамках изучения свежеобретенного Olympus OM-D E-M5 (ну и название!), проделал ему операцию по определению "фотографического динамического диапазона".

Использовалась та же методика, что и для EOS 6D. Более того, случайно получилось так, что результаты по этим двум камерам вообще сравнимы с некоторыми (минимальными) оговорками:

  • Дистанция съемки была та же
  • Размер (в пикселях) у Oly на ~10% меньше (по линейному количеству пикселов в каждом направлении)
  • ЭФР оптики, наоборот, на 10% больше (использовался 75/1.8, а на EOS 135/2).
  • Поэтому детали получились практически одного размера (в пикселях снимка).
Как следствие, результаты по ДД сравнимы при одном и том же dpi печати, т.е. если на отпечатке с EOS видны какие-то детали, то при том же ДД эти же детали будут видны примерно так же при печати на ~10% меньше по линейным размерам.

Перебивать большую табличку в блог мне было лень, поэтому результаты привожу в виде графика:

Линии на графике отвечают четырем размерам деталей в тенях:

  1. Шрифт 12pt (размер цифр на снимке - 30 пикселов), черным по серому, контраст 0.5EV
  2. Шрифт 18pt (~50 пикселов на снимке), черным по серому, 1EV
  3. Шрифт 30pt (~70 пикселов), белым по серому, 1EV
  4. Шрифт 30pt, белым по серому, 1.5EV
Как и для 6D, первые три диапазона построены для светов, где ни один канал в сером не насыщен, а четвертый - для такой экспозиции светов, когда зеленый уже начал выбиваться (впрочем, разница в этом месте - всего 0.3EV).

К точкам на графике следует относиться не как к абсолютной истине. Снимки оцениваются глазами, по критерию читаемости, ошибка в +-снимок (т.е. 0.3EV) вполне вероятна.

О чем мы думаем глядя на эту кучу битого кирпича? А вот о чем:

RawDigger 0.9.16 RC2: поддержка небайеровских RAW

Граждане фотографы!

Особенно те из вас, кто не уехал на праздники.

А вот опробуйте свежий RawDigger 0.9.16 RC2:

Крупные изменения

  1. Поддержка не-байеровских RAW: sRAW/mRAW, linear DNG, некоторые виды файлов с multishot MF backs.
    Поддержки фовеона в данной версии нет, запланировано на 0.9.17
    Для YCC-кодированных файлов (sRAW, Kodak YCC) показываются RAW-значения после преобразования в RGB (это преобразование делается LibRaw/RawSpeed на этапе декодирования RAW).
  2. Поддержка DNG с lossy-компрессией (сохраненные Lightroom 4.x)
  3. Правильная работа с не-4-цветными RAW: нельзя выбрать для показа несуществующий канал, в сохраненных таблицах правильное число столбцов (нет столбцов с нулями) и т.п.

Мелкие изменения и багфиксы

  • Сохранение CGATS:
    • В первую строчку пишется CGATS.17, чтобы новые версии Argyll были счастливы
    • Элементы цветовой таблицы можно именовать "с ведущим нулем" (A01 вместо А1), для совместимости с уже существующими стандартными таблицами замеров стандартных мишеней.
  • Исправлено (возможное) падение под Mac OS X, если надропать сразу много файлов.
  • Окончательно (хочется надеяться) исправлен показ передержки/недодержки для файлов, использующих полный 16-битный диапазон значений.

Мне было бы приятно, если бы эту штуку потестировали бы, особенно на sRAW/mRAW от разных кэнонов (оказалось, что не так просто найти таких примеров).

EOS 6D: высокие ISO

От низких ISO перейдем к высоким.

Методика исследования немножко другая:

  • Возьмем ту же мишеньку, осветим ее (я просто прикрыл жалюзи в комнате)
  • Будем снимать при одной и той же экспопаре с вилкой по ISO: для самой высокой чувствительности в ряду у нас будет экспозиция "по экспонометру", а более низкие ISO будут, соответственно, недодержаны.
  • Никакой вилки по экспозии не было, изучаем воспроизведение среднего тона (какие уж там тени на высоких ISO).
  • Процессинг:
    • RPP в режиме Raw Color и тоновой кривой "гамма" (чтобы исключить влияние color management и ошибок в профиле в тенях).
    • Экспокоррекция (движком Exposure) на столько же стопов, на сколько недодержан снимок при данном ISO
    Понятно, что RPP - отдельный случай и в других (целочисленных) RAW-процессорах все будет иначе, но мне оно безразлично.
Такая постановка задачи позволяет выяснить, нужно ли нам поднимать ISO (до необходимого при данном уровне освещенности), или же более низкая чувствительность (с недодержкой) даст картинку лучше.

Выдержка во всех тестовых сериях, кроме H2 (ISO102400) была 1/60s, диафрагма менялась от f/4 до f/22 (на дифракцию в данном тесте наплевать, какие уж там мелкие детали на ISO12800 и выше).

Перейдем теперь к результатам.

EOS 6D: динамический диапазон на низких ISO

Постановка задачи

Вопрос, собственно, простой:

Допустим, света достаточно (снимаем днем, снимаем неподвижные предметы со штатива), какое ISO ставить на камере?

Из общих соображений, "самое низкое из настоящих", однако опыт эксплуатации 5D Mark II показал, что на ISO200 проработка теней чуть (капельку) лучше, чем на ISO100, хотя причины этого и непонятны (предположительно, усилитель работает в неоптимальном режиме).

Соответственно, на новой камере захотелось сделать такой же эксперимент, как и для 5D2.

Методика

Методику я описывал ровно 4 года назад: берем мишеньку с деталями фиксированного контраста, снимаем ее с вилкой, обрабатываем все кадры вилки одинаково, сравниваем результат.

Мишенька у меня сохранилась с прошлого раза:

Про Fuji X-Trans

Цитата (это про Coolpix A):
....Возможно она по ИСО будет проигрывать Фуджи с её матрицей...

Ну и много где я подобное встречал, по смыслу "ну, Фуджи, она кисть дает..."

Мои поздравления пиарщикам Fuji: несмотря на то, что картинка с их камеры дает артефакты на демозаике (и на сегодняшний день, как я понимаю, и ACR 7.4 и LR 4.4, в которых это полечено, все еще в бете), а обещанного подавления муара не случилось - широкие массы фотографов продолжают быть уверенными, что X-Trans - это такой прорыв и так далее.

Pages

Subscribe to Обработка RAW