RawDigger

RawDigger 0.9.20 (Release Candidate)

Граждане фотографы,

особенно снабженные камерой с сенсором Foveon (или интересом к таковой камере),

потестируйте пожалуйста RawDigger 0.9.20:

Изменения в этой версии таковы (пишу чуть подробнее, чем в Changelog):

  1. Поддержка Foveon:
    • Поддержан как старый формат файлов (Sigma SD9-SD15, Polaroid x530), так и новый (SD1, DPxx).
    • Файлы с Foveon показываются только в режиме RAW-display (composite и поканально), RGB-рендеринга нет.
    • Все прочие действия с RAW доступны: можно смотреть гистограмму, можно экспортировать CGATS, можно экспортировать сами RAW-данные как TIFF.
  2. Вычитание уровня черного работает и для полноцветных форматов (Foveon, sRAW, Kodak YCC и проч). Для sRAW/Kodak оно было не нужным (оттого и не работало), а вот у Foveon есть желание покрутить черный для проверки качества линеаризации.
  3. Увеличена точность вывода значений с плавающей точкой (и на экран, при показе среднего/сигмы, и в CGATS/CSV файлы). Интересуюсь: не нужно ли эту точность регулировать, вдруг кому надо 10 значащих цифр (float их все едино не даст, но вот вдруг кому надо 7-8).
  4. Из соображений совместимости, работа с RawSpeed отключена на Mac OS X 10.5
  5. Исправлена ошибка: при копировании в clipboard строчки из таблицы Samples программа не падает если цветовых каналов в файле менее 4.

Про Foveon

Привинтив к LibRaw не-GPL-ную поддержку Foveon, я, естественно, тут же собрал RawDigger с ней (публичной версии пока нет, идет внутреннее тестирование) и накормил его самплами с разных камер.

Я никоим образом не претендую на какую-то полноту (за этим, к примеру, вот сюда), мне хотелось составить личное впечатление, насколько это возможно сделать по доступным самплам. Качественно я фовеону уже удивлялся, теперь захотелось удивиться количественно (понятно, я мог поудивляться и пораньше, использовав dcraw -D, но при наличии собственного инструмента лепить что-то из палок и веревок откровенно лень).

В качестве предмета для изучения была взята Sigma SD1 Merill (снимки колорчекера брались с imaging-resource.com), впрочем DP1 Merill выглядит примерно так же.

Перейдем теперь к собственно разжиганию содержательной части.

RawDigger 0.9.19

Как и ожидалось, вышел RawDigger 0.9.19.

Кроме вошедших в RC1 плюшек, появилась еще одна: для RGB-представления можно выключить автояркость, картинки снятые с эксповилкой начнут различаться сильнее.

Preferences - Display - Automatic exposure correction for RGB render

Желающие поспамить англоязычные форумы могут списать слова отсюда

RawDigger 0.9.19 RC1

Граждане фотографы!

А потестируйте, кому не лень, RawDigger 0.9.19 уже не надо, вышел релиз.

Это косметический релиз, который не вносит ничего принципиально нового, но лечит проблемы и доделывает недоделки предыдущих версий:

  • Экспорт всех цветовых байеровских RAW-данных в одноканальный (grayscale) TIFF.
    В первую очередь этот режим предназначен для использования с черно-белыми камерами, изготовленными путем смытия светофильтров (maxmax.com и другие).
  • Параметры Selection Grid запоминаются между перезапусками программы.
  • Можно выбрать набор фолдеров, показываемых в левой колонке в диалогах сохранения файлов (экспорт RAW-данных, сохранение таблицы замеров).
    Регулируется через Preferences - Misc Options - Sidebar folders in Save dialogs
    Данная регулировка появилась в связи с жалобами: если запоминать список использованного и в нем окажется медленный или отключенный диск (неработающие сетевые диски и т.п.), то диалог сохранения открывается черезвычайно медленно.
  • Поля CGATS-файлов в которых могут быть пробелы (имя файла, Maker/Model камеры) выводятся в одинарных кавычках
  • Возможен экспорт RAW/RGB данных в Uncompressed TIFF. Для сжатого TIFF улучшено сжатие.
  • При выводе чисел с плавающей точкой везде выводится не менее 4 значащих цифр (исключение: процент пере/недоэкспонированных пикселов, там 3 цифры)
  • Появилась настройка Preferences - Misc Options - Disable check for updates at startup
    Если она включена, RawDigger не обращается к сайту с апдейтами на старте. скрипт noCheckUpdates.reg (.sh в Mac-версии) удален из дистрибутива.
  • Обновлена LibRaw, добавлена поддержка новых камер: Panasonic LF1,GX7, Fujifilm X-M1, Canon EOS 70D, Sony RX100II и RX1R, Olympus E-P5

При отсутствии противопоказаний, эта же версия выйдет в начале следующей недели как "релиз", английская версия выйдет тогда же. Пожалуйста, не тревожьте англоязычных пользователей раньше времени анонсами.

Про зеленые каналы

Тема "одинаковости зеленых каналов" регулярно всплывает. Понятно, речь не идет об очевидных случаях, вроде старых камер Olympus, которые при усреднении зеленого давали maze artifacts на небе (и, тем более, о RGBE-камере Sony F828). Речь идет об обычных рабоче-крестьянских, Сонях, Кэнонах и Никонах. Для них принято считать, что два зеленых - суть одно, можно усреднить, интерполировать эти каналы надо как одни данные, цветовые профили - трехканальные (из RGB в RGB) и так далее.

Помнится, на семинаре Ильи Борга на эту тему случилась дискуссия, причем Илья говорил что разница между каналами - существенная, а верили ему не очень (втч. и я).

И я давно собирался проверить, аппарат давно имеется, но все не доходили руки. А тут зацепились языками на форуме LL и дернуло же меня проверить на первом попавшемся кадре с колорчекером. Это был кадр с Sony SLT-A77. И понеслось.

Собственно, идея простая. Берем снимок с колорчекером (я беру их с Imaging resource), натягиваем в RawDigger сетку, экспортируем в Excel и смотрим на отношение среднего в каналах G и G2:

Первым мне попался кадр с Sony A77, затем с Leica M9, затем я пошел на Imaging Resource и взял там еще кадров для EOS 6D, Oly OM-D E5, Nikon D800 и Panasonic G5. Первые две камеры у меня есть и мне интересно, последние две - чтобы никонистам и братьям по micro-4/3 не было обидно (на самом деле вся обработка данных с одной камеры занимает в районе минуты и проверить любую камеру вы можете самостоятельно, основное время у меня заняло выведение результатов на суммарные графики).

И вот что получилось:

RawDigger 0.9.18

RawDigger 0.9.18 успешно выпустился:

Брать здесь.

Впрочем, если вы пользователь, то вам ваша рабочая версия уже сказала.

В сравнении с Release Candidate 1 изменилось следующее:

  1. Добавление EXIF-тегов к экспорту работает на Mac с встроенным exiftool
  2. Exiftool (указанный пользователем в настройках) проверяется на наличие и на исполняемость файла.
  3. В диалоге экспорта добавлена галка "Open exported file with default application", если ее поставить, то будет запущено приложение, ассоциированное в вашей системе с .tif
  4. Windows: при смене типа экспорта, RD будет предлагать разумные имена файлов для экспорта. На маке, увы, это работает неустойчиво, лезть в дебри QFileDialog мне противно и там фишка выключена.

Про sRAW

Про внутреннее устройство sRAW я задумался, увидев вот такую вот гистограмму у темнового кадра (это 6D, ISO800, 20 секунд выдержки):

Внутренний голос протестовал против того, что у синего-красного пики на нуле (как им, в теории, и надо быть в темновом кадре), а у зеленого - очень даже нет.

Пришлось прикрутить к RawDigger возможность рассматривать sRAW в исходном виде (т.е. прямо вот в виде YCbCr, который там хранится).

И вот что видно, если начать рассматривать:

RawDigger 0.9.18 RC1

Граждане фотографы!

А потестируйте пожалуйста Release Candidate следующей версии RawDigger:

Всем спасибо, вышла 0.9.18 без лишних букв.

Список изменений в этой версии короткий, однако изменения существенные. От менее значительных к более:

  1. 9 новых камер (см. Changelog)
  2. В CGATS-файлы пишется дополнительная информация (об использованных коэффициентах ББ, о множителе масштабирования, о максимумах данных), сами CGATS-файлы еще более приближены к стандарту.
  3. Можно делать RGB Rendering "как видит камера" (т.е. без наложения камерного профиля, конвертирующего в sRGB)

    Настройка Preferences - Display Options - Display RGB Render in RAW colors

    Если брать какой-то стандартный объект, скажем Color Checker, то чем менее насыщенными будут цвета в этом режиме, тем "шире фильтры". Вероятно, можно придумать какую-то метрику, которая будет это описывать.

    Если вы включите эту галку для 4-канальных не-RGBG RAW, то у вас пропадет RGB-rendering на экране (потому что как на RGB-экране посмотреть CMYG или там RGBE), но результат рендеринга можно будет экспортировать в 4-канальный TIFF и затем рассмотреть его в Фотошопе (который, правда, воспримет этот TIFF как CMYK :).

  4. Canon sRAW-файлы можно рассматривать "как они на самом деле устроены":

    В sRAW записаны данные в формате YCbCr, стандартная процедура декодирования (в LibRaw/RawSpeed) сразу конвертирует их в RGB и всего безумия, которое там творится, не видно.

    В новой версии RawDigger это преобразование можно отключить настройкой:

    Preferences - Data Processing - Show YCbCr data for Canon sRAW files

    И рассмотреть YCbCr данные как они есть.

    Очень поучительное зрелище, отвращает от этого формата надолго.

  5. Экспорт RAW/RGB-render данных в TIFF-файл.

    Menu - File - Export TIFF

    Несмотря на то, что эта штука во многом дублирует имеющиеся в LibRaw утилиты командной строки (dcraw_emu, 4channels, unprocessed_raw), пользоваться ею через GUI оказалось удобно.

На последней штуке остановлюсь подробнее:

RawDigger 0.9.17

RC1 качали, но не жаловались. Значит - работает, значит надо релизить.

Изменения (Changelog)

Новое

  • Новый параметр настроек:

    Data Processing -> Selection/Sample stats: discard abnormal pixel values

    Если настройка включена, то при подчете статистики по selection или Sample отбрасываются 10% самых больших и 10% самых маленьких значений. Это позволяет фильтровать шум (грязь, небольшие блики) на снимках мишеней.

  • Поддержка новых камер:
    • Canon 100D (Rebel SL1), 700D (Rebel T5i)
    • Fujifilm: X20 и X100S,SL1000, HS50EXR
    • Sony SLT-A58
    • Nikon 1 J3, 1 S1, Coolpix A, Coolpix P330, D7100
    • Olympus XZ-10
    • Panasonic G6
    • Pentax MX-1
  • Exiftool обновлен до версии 9.30
  • sRAW/mRAW файлы Canon обрабатываются библиотекой RawSpeed т.е. открываются быстрее.

RawDigger 0.9.17 RC1

Граждане фотографы!

Если вы за компьютерами - потестируйте пожалуйста RawDigger 0.9.17 RC1: берите настоящую 0.9.17, тестирование RC1 закончено.

Изменения:

  • Новый параметр настроек:

    Data Processing -> Selection/Sample stats: discard abnormal pixel values

    Если настройка включена, то при подчете статистики по selection или Sample отбрасываются 10% самых больших и 10% самых маленьких значений. Это позволяет фильтровать шум (грязь, небольшие блики) на снимках мишеней.

  • Поддержка новых камер:

    Canon: 100D (Rebel SL1), 700D (Rebel T5i)
    Fujifilm: X20 и X100S,SL1000, HS50EXR
    Sony SLT-A58
    Nikon: 1 J3, 1 S1, Coolpix A, Coolpix P330, D7100
    Olympus XZ-10
    Panasonic G6
    Pentax MX-1

  • Exiftool обновлен до версии 9.30
  • sRAW/mRAW файлы Canon обрабатываются библиотекой RawSpeed т.е. открываются быстрее.
Исправлены ошибки:
  • Исправлена проблема с автоматической установкой уровня черного на 12-битных файлах Sony (A900 и подобные)
  • Исправлена ошибка: при изменении Preferences и нажатии кнопки Apply, обновление содержимого экрана работало только один раз, повторное изменение того же параметра и нажатие Apply не имело эффекта.
  • При обработке большого количества файлов (drop на иконку многих файлов на Mac) exiftool не запускается, если уже есть запущенный exiftool.

Вопрос: фильтрация данных со снимков мишеней

А вот проведу опрос (в каментах)

На снимках мишеней для профилирования бывает лишнее. Грязь на мишени, грязь на матрице и так далее. Это дело принято фильтровать и в RawDigger такая фишка запланирована.

Понятно как фильтровать: оценить все значения в квадратике, посчитать среднее/дисперсию, все пиксели, не влезающие в "окно" значений - выкинуть, пересчитать по невыкинутым.

Есть два варианта определения окна:

  1. Все что не влезает в окошко по "сигмам". Ну там ±2σ - пущаем, остальное - не пущаем.
  2. Установить лимит в штуках. Ну там по 10% верхних и нижних значений - отрезаем.
Результат будет - в нормальных условиях (пылинка не занимает больше 10% площади патча) - примерно одинаковым.

А вот как понятнее?

Olympus OM-D E-M5: динамический диапазон

В рамках изучения свежеобретенного Olympus OM-D E-M5 (ну и название!), проделал ему операцию по определению "фотографического динамического диапазона".

Использовалась та же методика, что и для EOS 6D. Более того, случайно получилось так, что результаты по этим двум камерам вообще сравнимы с некоторыми (минимальными) оговорками:

  • Дистанция съемки была та же
  • Размер (в пикселях) у Oly на ~10% меньше (по линейному количеству пикселов в каждом направлении)
  • ЭФР оптики, наоборот, на 10% больше (использовался 75/1.8, а на EOS 135/2).
  • Поэтому детали получились практически одного размера (в пикселях снимка).
Как следствие, результаты по ДД сравнимы при одном и том же dpi печати, т.е. если на отпечатке с EOS видны какие-то детали, то при том же ДД эти же детали будут видны примерно так же при печати на ~10% меньше по линейным размерам.

Перебивать большую табличку в блог мне было лень, поэтому результаты привожу в виде графика:

Линии на графике отвечают четырем размерам деталей в тенях:

  1. Шрифт 12pt (размер цифр на снимке - 30 пикселов), черным по серому, контраст 0.5EV
  2. Шрифт 18pt (~50 пикселов на снимке), черным по серому, 1EV
  3. Шрифт 30pt (~70 пикселов), белым по серому, 1EV
  4. Шрифт 30pt, белым по серому, 1.5EV
Как и для 6D, первые три диапазона построены для светов, где ни один канал в сером не насыщен, а четвертый - для такой экспозиции светов, когда зеленый уже начал выбиваться (впрочем, разница в этом месте - всего 0.3EV).

К точкам на графике следует относиться не как к абсолютной истине. Снимки оцениваются глазами, по критерию читаемости, ошибка в +-снимок (т.е. 0.3EV) вполне вероятна.

О чем мы думаем глядя на эту кучу битого кирпича? А вот о чем:

RawDigger 0.9.16

Раз никто не пожаловался, значит все работает. Значит надо выпускать релиз.

Вот он: Никаких изменений (кроме смены номера/названия версии) с RC2 не было.

Желающие поспамить англоязычные форумы, могут брать текст анонса отсюда :)

RawDigger 0.9.16 RC2: поддержка небайеровских RAW

Граждане фотографы!

Особенно те из вас, кто не уехал на праздники.

А вот опробуйте свежий RawDigger 0.9.16 RC2:

Крупные изменения

  1. Поддержка не-байеровских RAW: sRAW/mRAW, linear DNG, некоторые виды файлов с multishot MF backs.
    Поддержки фовеона в данной версии нет, запланировано на 0.9.17
    Для YCC-кодированных файлов (sRAW, Kodak YCC) показываются RAW-значения после преобразования в RGB (это преобразование делается LibRaw/RawSpeed на этапе декодирования RAW).
  2. Поддержка DNG с lossy-компрессией (сохраненные Lightroom 4.x)
  3. Правильная работа с не-4-цветными RAW: нельзя выбрать для показа несуществующий канал, в сохраненных таблицах правильное число столбцов (нет столбцов с нулями) и т.п.

Мелкие изменения и багфиксы

  • Сохранение CGATS:
    • В первую строчку пишется CGATS.17, чтобы новые версии Argyll были счастливы
    • Элементы цветовой таблицы можно именовать "с ведущим нулем" (A01 вместо А1), для совместимости с уже существующими стандартными таблицами замеров стандартных мишеней.
  • Исправлено (возможное) падение под Mac OS X, если надропать сразу много файлов.
  • Окончательно (хочется надеяться) исправлен показ передержки/недодержки для файлов, использующих полный 16-битный диапазон значений.

Мне было бы приятно, если бы эту штуку потестировали бы, особенно на sRAW/mRAW от разных кэнонов (оказалось, что не так просто найти таких примеров).

6D: ISO100 или ISO200

В предыдущем забеге ISO100 и ISO200 оказались неразличимы по ДД. Но вопрос "что же ставить, если есть выбор" продолжал мучать и я снял еще кадров, по две серии. Условия немного изменил: диафрагма оставалась фиксированной т.е. сравнивать надо кадры, отличающиеся по выдержке на стоп.

Результат: ISO200 чуть-чуть, совершенно незначимо, лучше:

  • Для ISO100 самые мелкие и неконтрастные буквы читались при 1/200 (два кадра), у ISO200: 1/400 и 1/500.
  • Следующий шаг, буквы 18pt с контрастностью 1 стоп: ISO100: 1/500 и 1/500; ISO200: 1/1000 и 1/1250
Впрочем, заметить эту разницу на практике - почти нет шансов. Т.е. если условия требуют уменьшения чувствительности до 100 (50 - плюшевая), то это можно делать смело.

Oly EPL3, часть 3: это НЕ ослабление светового потока

В комментариях ко вчерашнему посту про постепенную "деградацию" пересвеченных областей на камере Olympus E-PL3 многократно высказывалась идея, что дело в ослаблении светового потока:
  • за счет захода солнца
  • за счет "помутнения органики" (микролинз и/или светофильтров)

Если бы это было так, то в изучаемой области мы имели бы значения в пикселах, распределенные по гауссиане (пуассониане), потому что поток фотонов имеет естественные вариации, распределенные по Пуассону (фотонный шум).

Как следствие, в районе 41-го снимка в серии (4-й пример в предыдущем посте), который с отдельными крапинками насыщенных пикселов, мы увидели бы эти крапинки распределенными случайно.

Посмотрим, так ли это.

Вот 40-й снимок в серии, увеличение 1000%, обведены крапинки, объединившиеся в столбик:

41-й снимок:

Oly EPL3: оно устало!

В продолжение вчерашней темы про Oly E-PL3.

В той длинной тайм-серии нашелся набор кадров с такими вот условиями:

  • Начиная с первого кадра серии - солнце в кадре.
  • Перед началом (под-)серии у камеры был перерыв на ~15 минут (я ел еду и про серию маленько забыл). То бишь оно успело немного отдохнуть.
  • Это уже совсем вечер, весьма прохладно, существенного нагрева от солнца - не было.

Вот первый кадр из серии (красное - OverExposure в исполнении RawDigger):

Гистограмма квадратика (на солнце):

Oly EPL3: загадочное поведение в насыщении

Есть у меня Oly E-PL3, который я использую как мыльницу (с набором фикс-оптики). И угораздило меня летом попытаться снять для нее кадры для Time-Lapse.

Вот, наконец, дошли руки, стал смотреть эти кадры и вижу там удивительное:

Ну то есть да, обычные розовые облака, но если посмотреть гистограмму серого квадратика на розовом, то там вовсе безумно странное:

RawDigger 0.9.15 (релиз)

Так как на RC1 никто не жаловался, RawDigger 0.9.15 пошел в народ. Переходите по ссылке и скачивайте.

Помимо упомянутых в прошлом посте удобств для профилирования камер, в 0.9.15 добавлены и другие фишки:

  • 32-битная виндовая версия маркирована как совместимая с /3GB switch (инструкции по включению на 32-битных Windows). В результате 32-битной версии RawDigger доступны 3GB памяти на 32-битной винде (с включенным /3GB) и 4GB памяти на 64-битной винде (включать ничего не надо, правда зачем бы на 64-битной винде гонять 32-битную версию приложения - не могу придумать). А в результате этого - 80-мегапиксельные RAW с Leaf/Phase One прекрасно рендерятся в RGB, памяти хватает.
  • Поддержаны нежатые NEF-файлы с камер Nikon D5100 и D7000 (этот режим доступен после хака фирмвари).
  • Для файлов с полным диапазоном значений 0..65535 (16-битные задники) корректно индицируется передержка и не менее корректно считается статистика передержки.
  • Поправлена ошибка при сохранении (таблицы замеров, гистограмм), когда выбран файл для сохранения и нажат Esc.
Жаловаться на эту версию лучше бы в правильном месте

Если вы хотите анонсировать английскую версию, текст для анонса можно брать тут.

RawDigger 0.9.15 (RC1): удобное профилирование камер

Граждане фотографы!

В очередной раз предлагаю потестировать Release Candidate свежего RawDigger:

В версии 0.9.14 в RawDigger была добавлена удобная работа с цветовыми шкалами, но результат этой работы выводился в виде усредненных RAW-значений: в диапазоне значений камеры, без баланса белого, без гамма-коррекции. Как следствие, для нормального использования в программах профилирования эти данные приходилось предварительно обрабатывать в Excel или подобных программах: накладывать ББ, масштабировать, гамма-корректировать.

Версия 0.9.15 исправляет этот недостаток, теперь можно получить CGATS-файлы, пригодные для прямого скармливания в Profile Maker, Argyll и подобные программы.

Кроме этого, 0.9.15 умеет корректировать неравномерность освещения мишени.

Подробности:

Pages

Subscribe to RawDigger