Обработка RAW

О цветовоспроизведении и экспонометрии

В комментариях к предыдущему посту на меня напали, дескать эффект то есть, у одних камер цветопередача лучше, у других хуже.

Вот пишут:

Было забавно прочитать, как владелец продал a850, купил a99, продал её и снова купил a850. Говорит, портреты женские "красивей" с a900 и это так!!!
Так как у меня соневские файлы выкачаны и "вот лежат", дай, думаю, посмотрю.

Беру 'still life' сцену имени Imaging-resource (бутылки и нитки), пихаю в RawDigger:

На белом бумажном кружочке делаю selection (там видно квадратик на картинке) и смотрю на среднее в зеленом канале:
  • A850 (12bit): среднее на белом 2300 при максимуме 3900, белое на 0.76EV ниже насыщения
  • A900 (cRAW): среднее на белом 8390 при максимуме 16116, 0.94EV ниже насыщения
  • A99: 4930 при максимуме 16116. 1.71EV ниже насыщения
Вообще, Imaging-Resource все делает "аккуратно". В том смысле, что замер там (конечно?) камерный, но повторяемость самой сцены, при съемке на разных камерах, там более-менее хорошая (там были давно всякие косяки с естественным светом, но после перехода на искусственный все вроде бы наладилось).

Так вот, мой вопрос: а не связан ли случайно "плохой цвет" у A99 с тем, что там экспонометр стандартно меряет на стоп ниже? Если у A900 поставить вечную экспопоправку -1, не станет ли так же плохо?

Про Sony ARW2 Hack

Да, в процессе разборок с битностью у Sony осознал про Sony ARW2 Hack (была такая опция в LibRaw и RawDigger):

Так как до A99 все cRAW-камеры были, по факту, 12-битными и менее, то использованный в dcraw способ распаковки, когда cRAW-данные после применения кривой делились на 4, не приводил к фатальной излишней и немотивированной потере уровней в полутонах-тенях.

Зато уровень черного для cRAW и 12-битных RAW оказывался согласованным и одинаковым (как я уже писал, у...

О цветовоспроизведении

Скопирую письмо из личной переписки, чтобы в другой раз не писать того же самого.

Меня спрашивают (по поводу предыдущего поста):

Как это всё отразится на цвете (ведь именно ради него берут a900/a850, а a99, a7/a7r ради исо, может немного утрировано =)
(ну и кроме этого - я тут с удивлением узнал, что дискуссии CMOS vs CCD продолжаются по сей день).

Имею сказать:

По-моему, если мы взяли и построили цветовые профили двух камер по одинаковой...

О битности у камер Sony

После рассказа о битности A900 в режиме cRAW стали задавать вопросы про другие камеры.

Кроме того, в этом рассказе я не уточнял, что за счет нелинейной тоновой кривой общее количество возможных уровней (значений пикселов) не следует впрямую сравнивать с обычными камерами без тоновой кривой:

  • у обычных камер половина всех уровней это самый верхний стоп (где столько не нужно), четверть второй сверху стоп (тоже не нужно)
  • в случае с cRAW, уровни распределены по всему диапазону значений гораздо
  • ...

LibRaw 0.16 (релиз)

Вышла LibRaw 0.16-Release.

Все существенные изменения тут описывались, детальнее - смотрите в Changelog в дистрибутиве.

По стабильности эта версия ничем не отличается от ранних альф той же версии (какие-то баги правятся, новые - вносятся), я development-версию спокойно использую в RawDigger и в других программах, формальный выпуск релизной версии связан с необходимостью поломать бинарную совместимость (размер внутренних структур), что на стадии беты я не делаю.

Ситуация с более старыми версиями:

  • 0.16 - поддержка новых камер будет добавляться, баги - исправляться, до выхода 0.17-беты.
  • 0.15 - если будут найдены существенные баги ("в безопасности") - будут исправления.
  • 0.14 - лежит на сайте, обновлений никаких не будет.
  • 0.13-0.12 - удалена с сайта, забыли и проехали. Требуйте от ваших вендоров обновлений.
Если кто пользуется darktable, передайте автору, что с 0.14.7 хорошо бы перескочить на 0.14.8 (последняя в ветке 0.14), а лучше на 0.15.4, а еще лучше - на 0.16

Отдельно хочу заметить, что за 8 месяцев с релиза 0.15.0 были добавлены 47 камер. То есть темп "полторы камеры в неделю" - индустрия уверенно держит.

Все страньше и страньше

Как-то летом меня спросили, как я отношусь к онлайн-обработке RAW. Я ответил в том духе, что не понимаю: бьются за секунды предварительной обработки и за показ результатов движков сразу (во всяком случае, наличие кнопки Refresh в RPP сильно затрудняло работу с этим конвертором лет 5-6 назад, во времена Core2 Duo и Core2 Quad).

Вот сегодня читаю в новостях Pics.io rolls out online RAW converter, collaborative photo sharing.

Ну пошел туда. Дропнул туда NEF от D800 (одну штуку). Уже 20 минут пишет 'Converting image', причем прогресс-бара нет, неизвестно сколько осталось, минута или до утра будет фигачить. Мне не жалко, оставлю вкладку до утра.

Понятно, новость на главной DPR, наплыв народу, но блин.

UPD: это оно в Firefox не работает. В Chrome заработало и судя по скорости показа - процессинг локальный. И только когда в сессию еще кто-то приходит - гоняется через сервер.

Q: Lightroom/ACR: HDR DNG?

Полтора года назад в анонсе ACR 7.1 писали:

Camera Raw can also now read 16-bit, 24-bit, and 32-bit HDR files. Supported HDR formats are TIFF and DNG.
Кроме того, в спецификациях DNG 1.4 написано следущее:
  • BitsPerSample может быть от 8 до 32
  • SampleFormat может быть unsigned integer или float.
  • Для Float поддерживаются 16,24 и 32 bits per sample.
Это, типа, теория.

А вот что с практикой?

  • Жрет ли ACR (и LR) floating point DNG?
  • Жрет ли ACR 24- и 32-битные DNG с целыми данными?
  • Кто может делать указанные выше DNG (Адобовский DNG SDK версии 1.3 - не может, а более новых нету). Ну то есть я знаю про Darktable, которая пишет, если я правильно исходники прочитал, 32-битную плавучку, а еще кто и как?
  • Встречаются ли многобитные DNG "в дикой природе"?
Вопросы пока сугубо теоретические, но если массовый софт (ACR, LR) поддерживает плавучку и/или 24-32-битные целые и нормально (без клиппинга, без постеризации) их обрабатывает, то это ж совсем другой ландшафт вокруг.

И я бы с этим ландшафтом поэкспериментировал бы, если есть готовые тулзы, которые эти многобитные DNG варят.

LibRaw 0.16 Beta1

Собрался с силами, и выпустил LibRaw 0.16 Beta1.

Полный Changelog там есть, поэтому я кратко про эту версию:

  • Поддержано 12 новых камер (относительно Alpha3, которую я тут не анонсировал, но это за месяц с ее выхода 22.10). Всего их стало 613, если я в списке поддержаных ничего не пропустил.
  • Обновлены цветовые данные еще для пяти, теперь у всех поддержаных - полноценный профиль.
  • Финализирована новая поддержка Foveon: поддержаны маленькие и промежуточные размеры для старых камер (SD9-SD15
  • ...

RawDigger 0.9.20

RawDigger 0.9.20 зарелизился

Вот полный Changelog относительно версии 0.9.19 (относительно RC4 добавились несколько камер):
Новое

  • Поддержка Foveon:
    • поддерживается декодирование RAW-данных всех известных камер Foveon
    • Для камер Sigma SD1 и всех камер Merrill автоматически рассчитывается уровень черного
    • RGB Rendering поддерживается для всех камер, но с разным качеством получаемой RGB картинки (приемлемая для SD1 и всех камер Merrill, худшего качества для старых DPxx, совсем "справочная" для SD9-SD15 и Polaroid x530).
    • Для камер Sigma SD1 и всех камер Merrill поддерживаются
  • ...

LibRaw 0.16 Alpha2

Тем временем, зарелизилась LibRaw 0.16 Alpha2.

Основные изменения касаются Фовеонов:

  • LibRaw теперь знает размер черной рамки на всех фовеоновских камерах.
  • Для SD1 и всех Merrill-ов есть приемлемый цветовой профиль.
  • Для DPxx (pre-Merrill) цветовой профиль весьма приблизительный.
  • Исправлен memory leak в используемой библиотеке x3f-tools.
Но и для остальных камер произошли заметные изменения:
  • Поддержаны камеры (включая цветовые данные т.е. dcraw_process() нормально работает):
    • Canon Powershot G16
    • Hasselblad Lunar, Stellar
    • Pentax K50, K500, Q7
    • Samsung Galaxy NX (EK-GN120)
    • Sony NEX-5T
  • Поддержаны камеры без цветовых данных (работает распаковка RAW, определение черной рамки, установка уровня черного т.е. все фазы до dcraw_process(). Постпроцессинг даст условный цвет)
    • Canon Powershot S120
    • Fujifilm X-A1
    • Nikon Coolpix P7800
  • Дополнительные проверки размера файла, позволяющие отвергнуть битые данные на более ранней стадии.
  • Исправлена несовместимость DHT-демозаики с реализацией OpenMP компилятором MS Visual Studio.

RawDigger 0.9.20 (RC3)

Граждане фотографы-сигмоводы,

пришло время потестировать очередную вариацию на тему работы с Foveon (других изменений нет):

Изменения:

  • Появился RGB-рендеринг. Достаточно приличный для камер SD1 и DP (и Merrill и нет) и весьма условный для старых камер (SD9-SD15 и Polaroid x530). Для старых камер, собственно, используется профиль от DP-не-Merrill, потому что никаких других данных нету.

    Результаты RGB-рендеринга можно экспортировать, естественно.

  • Появилось знание о координатах черной рамки у всех камер.
  • Для камер на "Merrill-сенсоре" (SD1, DPn-Merrill) уровень черного считается автоматически.

Про Foveon

Привинтив к LibRaw не-GPL-ную поддержку Foveon, я, естественно, тут же собрал RawDigger с ней (публичной версии пока нет, идет внутреннее тестирование) и накормил его самплами с разных камер.

Я никоим образом не претендую на какую-то полноту (за этим, к примеру, вот сюда), мне хотелось составить личное впечатление, насколько это возможно сделать по доступным самплам. Качественно я фовеону уже удивлялся, теперь захотелось удивиться количественно (понятно, я мог поудивляться и пораньше, использовав dcraw...

LibRaw 0.16 (Alpha1)

Мастер-версия LibRaw получила официальный номер 0.16-Alpha1 и доступна для скачивания.

Это означает, что все глобальные идеи по развитию закончились (на ближайшее время) и нестабильности API - не ожидается. Сама по себе 0.16 достаточно стабильна, в RawDigger используется именно эта версия (и всегда используется "девелоперская", а не "стабильная"), проблем не было.

С полным списком изменений относительно версии 0.15 можно ознакомиться в changelog, ниже откомментированы основные места:

  • Добавлено 19 новых камер. Добавлять поддержку новых камер
  • ...

RawDigger 0.9.19

Как и ожидалось, вышел RawDigger 0.9.19.

Кроме вошедших в RC1 плюшек, появилась еще одна: для RGB-представления можно выключить автояркость, картинки снятые с эксповилкой начнут различаться сильнее.

Preferences - Display - Automatic exposure correction for RGB render

Желающие поспамить англоязычные форумы могут списать слова отсюда

RawDigger 0.9.19 RC1

Граждане фотографы!

А потестируйте, кому не лень, RawDigger 0.9.19 уже не надо, вышел релиз.

Это косметический релиз, который не вносит ничего принципиально нового, но лечит проблемы и доделывает недоделки предыдущих версий:

  • Экспорт всех цветовых байеровских RAW-данных в одноканальный (grayscale) TIFF.
    В первую очередь этот режим предназначен для использования с черно-белыми камерами, изготовленными путем смытия светофильтров (maxmax.com и другие).
  • Параметры Selection Grid запоминаются между перезапусками программы.
  • Можно выбрать набор фолдеров, показываемых в левой колонке в диалогах сохранения файлов (экспорт RAW-данных, сохранение таблицы замеров).
    Регулируется через Preferences - Misc Options - Sidebar folders in Save dialogs
    Данная регулировка появилась в связи с жалобами: если запоминать список использованного и в нем окажется медленный или отключенный диск (неработающие сетевые диски и т.п.), то диалог сохранения открывается черезвычайно медленно.
  • Поля CGATS-файлов в которых могут быть пробелы (имя файла, Maker/Model камеры) выводятся в одинарных кавычках
  • Возможен экспорт RAW/RGB данных в Uncompressed TIFF. Для сжатого TIFF улучшено сжатие.
  • При выводе чисел с плавающей точкой везде выводится не менее 4 значащих цифр (исключение: процент пере/недоэкспонированных пикселов, там 3 цифры)
  • Появилась настройка Preferences - Misc Options - Disable check for updates at startup
    Если она включена, RawDigger не обращается к сайту с апдейтами на старте. скрипт noCheckUpdates.reg (.sh в Mac-версии) удален из дистрибутива.
  • Обновлена LibRaw, добавлена поддержка новых камер: Panasonic LF1,GX7, Fujifilm X-M1, Canon EOS 70D, Sony RX100II и RX1R, Olympus E-P5

При отсутствии противопоказаний, эта же версия выйдет в начале следующей недели как "релиз", английская версия выйдет тогда же. Пожалуйста, не тревожьте англоязычных пользователей раньше времени анонсами.

LibRaw 0.15.4

Майская история с уязвимостями в LibRaw получила очень приятное развитие: у меня в почте нарисовался человек из Debian, который не поленился
  • почитать код
  • увидеть там проблемные места
  • сделать "reproducers" т.е. специальным образом поврежденные RAW-файлы (непростое упражнение, заметим)
  • ну и выдать это мне.
В результате, стремные места числом примерно 7, которые проявлялись бы только на поломанных RAW (и не просто поломанных, а должны звезды сойтись) - залечены. Ну и выпущена LibRaw 0.15.4.

Кроме этих проблемных мест, там добавлена поддержка 7 камер (в Changelog они указаны).

Для тех, кому интересно: проблемные места будут полечены и в 0.14, но отдельной версии выпускаться не будет, кто использует 0.14 - берите из гитхабовского репозитория.

Девелоперская версия (master branch) будет полечена тоже, хотя там проблемных мест не 7, а всего 4.

Ожидаемое время лечения 0.14 и master - завтра.

Про Canon 5D3 Dual ISO

По ссылке с dpreview попал сюда, а там невероятное. Если я правильно понял прилагаемую PDFку, записав странное в один из регистров на 5D3/7D (про другие камеры не понял, вроде пока нет), можно поставить всю конструкцию раком и в RAW начнут чередоваться полосы по два пикселя с разной чувствительностью

  • две строчки ISO100
  • две строчки ISO1600
  • .. и так далее
Отчего происходит понятно что:
  • конверторы дуреют
  • но если им вправить мозг (путем изрядной модификации алгоритмов интерполяции), то можно нарастить ДД стопа на два.
Понятно, что разрешение в полутонах и выше попортится (midtone на этой камере примерно на 4 стопа ниже насыщения т.е. среднесерое на ISO100 как раз и вылетит в насыщение на 1600), в первую очередь это касается вертикального разрешения (ну и в первом приближении можно так жить, вспоминаем Nikon D1X). Но если нужен результат для веба - то отчего бы и нет?

По мне, так правильной парой было бы ISO200/800 (что толку с тех 1600), ну да будем надеяться сделают это место регулируемым.

Я про другое: какова идея!

P.S. если кто будет пробовать - расскажите потом.

Про зеленые каналы

Тема "одинаковости зеленых каналов" регулярно всплывает. Понятно, речь не идет об очевидных случаях, вроде старых камер Olympus, которые при усреднении зеленого давали maze artifacts на небе (и, тем более, о RGBE-камере Sony F828). Речь идет об обычных рабоче-крестьянских, Сонях, Кэнонах и Никонах. Для них принято считать, что два зеленых - суть одно, можно усреднить, интерполировать эти каналы надо как одни данные, цветовые профили - трехканальные (из RGB в RGB) и так далее.

Помнится, на семинаре Ильи Борга...

RawDigger 0.9.18

RawDigger 0.9.18 успешно выпустился:

Брать здесь.

Впрочем, если вы пользователь, то вам ваша рабочая версия уже сказала.

В сравнении с Release Candidate 1 изменилось следующее:

  1. Добавление EXIF-тегов к экспорту работает на Mac с встроенным exiftool
  2. Exiftool (указанный пользователем в настройках) проверяется на наличие и на исполняемость файла.
  3. В диалоге экспорта добавлена галка "Open exported file with default application", если ее поставить, то будет запущено приложение, ассоциированное в вашей системе с .tif
  4. Windows: при смене типа экспорта, RD будет предлагать разумные имена файлов для экспорта. На маке, увы, это работает неустойчиво, лезть в дебри QFileDialog мне противно и там фишка выключена.

Про sRAW

Про внутреннее устройство sRAW я задумался, увидев вот такую вот гистограмму у темнового кадра (это 6D, ISO800, 20 секунд выдержки):

Внутренний голос протестовал против того, что у синего-красного пики на нуле (как им, в теории, и надо быть в темновом кадре), а у зеленого - очень даже нет.

Пришлось прикрутить к RawDigger возможность рассматривать sRAW в исходном виде (т.е. прямо вот в виде YCbCr, который там хранится).

И...

Pages

Subscribe to Обработка RAW