О «шумных высоких ISO»

Чем дальше в лес - тем толще!

Одним из самых распространенных заблуждений среди (цифровых) фотографов является такое:

Высокие ISO – шумные! Больше ISO – больше шум!

Это – очень вредное заблуждение (которое, в частности, загубило часть моих ночных кадров), типичный случай перестановки причины и следствия. Хуже всего то, что это заблуждение проникает во всякие фотографические курсы и ранит неокрепшие души фотографов-новичков.

Давайте разбираться на конкретных примерах.

Говорить о влиянии ISO имеет смысл, если мы зафиксировали остальные параметры, а именно:

  • Снимаемую сцену и ее освещение, чтобы можно было нормально сравнивать
  • Экспозицию (количество света, попадающего на сенсор/отдельный пиксель), а именно
    • Выдержку
    • Диафрагму

Обычно в тестах так не делают, вместо этого фиксируют сцену и освещение и начинают перемещаться по треугольнику экспозиции и, таким образом, путают естественный шум самого сигнала (о котором мы чуть подробнее поговорим позже) с шумами, создаваемыми камерой («за счет повышения ISO»). Мы эту ошибку повторять не будем.

В интернете уже есть приемлемо аккуратно снятые примеры и там уже все ясно без слов. Вот, к примеру, скриншот с DPReview (тест Canon 5D Mark IV, страница про ISO invariance, но я покликал по странице и загрузил тестовые файлики от Canon 6D, где разница видна получше):


(кликабельно)

Это 4 кадра одной сцены с одинаковой освещенностью, показан один и тот же фрагмент Color Checker, снятый с одной парой выдержка/диафрагма, но на разных ISO (и далее яркость приведена к одинаковой при процессинге). Как мы видим, чем выше ISO – тем меньше шум (при «прочих равных»!).

Совершенно аналогично ведет себя Sony A7S:

Да, ISO100 (+6 в конверторе) выглядит получше, чем у 6D, но это мы и так подозревали (мегапикселей поменьше, отдельный пиксель - покрупнее, ну и вообще шумит A7S тоже меньше 6D).

Справедливости ради: мы знаем, что изрядный вклад в шум вносит постпроцессинг (raw-конвертор или прошивка камеры). На скриншотах DPReview мы видим результаты этого процессинга, которые могут быть (мягко говоря) «не оптимизированы» для больших движений слайдера экспокоррекции.

Имеет смысл смотреть непосредственно на RAW-данные (при помощи RawDigger), например просто на стандартные отклонения на плоских плашках, благо все RAW-файлы доступны для скачивания.

Однако примеры с DPReview имеют два недостатка:

Сцена освещена недостаточно равномерно:

Это хорошо видно прямо в браузере, правый край светлее левого:

При анализе маленьких патчей (и их сравнении) это, скорее всего, неважно, но пуристы могли бы придраться.

Есть единственная экспозиция - вот эта претензия, по мне, важнее: мы можем посмотреть зависимость шума от ISO, но не можем зависимость шума от количества света.

Поэтому я попросил Илью Борга, благо у него все готово в студии для съемки мишеней, снять набор тестовых кадров. Вот таких:

Для проверки равномерности освещения, я накидал «самплов» (RawDigger-а) по верхнему краю колочекера (по рамке):

И вот как выглядят эти замеры:

Если смотреть, к примеру, на зеленый канал, то там разброс среднего от 1001 до 1099 т.е. +-5%, то есть чуть больше 1/15 фотографического стопа (можно было бы оценить, насколько такой разброс объясняется естественной дисперсией постоянного сигнала, но я не буду, точность в любом случае более чем достаточная)

В эксперименте 8 кадров:

  • 4 пары с разной экспозицией, 1/50, 1/100, 1/200 и 1/400, f/5.6
  • В каждой паре одно значение ISO «нормальное» (соответствует выбранной экспозиции и освещению), а второе – на 3 стопа ниже (т.е. будет – для этого ISO – три стопа недодержки).

Я взял самый темный квадратик на ColorChecker, расположил на нем Selection (RawDigger-а) и смотрю на сигнал и шум в синем (самом шумном) канале:

Отношение среднего значения (Avg) к стандартному отклонению (σ) – это отношение сигнал-шум.

Результат замеров приведен на графике:

Как мы видим:

  1. При одной и той же экспозиции, более высокое значение ISO дает меньший шум (отношение сигнал/шум – выше). Разница не очень большая (кроме пары 100/800), но всегда в одну сторону
  2. График «для высокого ISO» начинается с ISO800 (слева), а для «низкого ISO» - заканчивается на ISO800 (справа). При этом S/N отличается практически втрое (что ожидаемо, экспозиция в 8 раз ниже).
  3. Кроме того, для низких ISO присутствует артефакт, шум на 1/50-ISO100 практически такой же, как на 1/100-ISO200, несмотря на то, что исходный сигнал – вдвое выше. Такое бывает, такое мы видали и на, к примеру, Canon 6D (и, пожалуй, в еще более выраженной форме, там на ISO200 /и экспонировании «по экспонометру» т.е. вдвое меньшем количестве света/ тени даже чище, чем на ISO100. А для данной камеры – они «примерно такие же».
    Вот данные sensorgen.info, действительно на ISO100 шум чтения (см. ниже) у Nikon Df вдвое выше, чем на ISO200.

Таким образом, при одной и той же экспозиции, использование более высоких значений чувствительности дает лучшее отношение сигнал/шум т.е. более чистый снимок.

Объяснение у данного феномена достаточно простое:

  • Суммарный «шум на снимке» - это смесь шумов из нескольких источников, в частности:
    • Фотонного шума (или shot noise) – это свойство самого сигнала (потока фотонов)
    • «Шума чтения» (read noise) – шум, возникающий при оцифровке сигнала.
    • «Теплового шума» - пропорционального длительности выдержки.
  • У фотонного шума отношение S/N будет равно корню квадратному из количества попавших на пиксель фотонов (точнее, из количества образовавшихся электронов). При одинаковой экспозиции («произведении» выдержка*диафрагма) – эта составляющая будет одинаковой.
  • Шум чтения – как правило уменьшается при увеличении значения ISO
  • Тепловой шум – при одинаковой выдержке будет, опять же, одинаков. Так как мы, в данном примере, управляли экспозицией путем уменьшения выдержки, то при движении по графику слева направо (в сторону укорочения выдержки), тепловая составляющая должна уменьшаться, но при таких выдержках она настолько невелика, что это никак не должно быть заметно (вот оценки теплового шума для Sony A7R-II для этой камеры ростом теплового шума на выдержках до четверти секунды можно смело пренебречь даже на высоких значениях ISO).

P.S. Впрочем, сказанное выше не всегда верно. Есть ряд камер (например, Sigma Merill, или Fuji X-T1 на высоких ISO, много их), где крутилка ISO не делает вообще ничего (кроме записи тега ISO в метаданные). В этом случае - ничего и не происходит, Signal/Noise от положения крутилки ISO не зависит. 

P.P.S. Камер, у которых было бы поведение, обратное рассмотренному в статье (то есть где крутилка ISO увеличивала бы шум с повышением цифры чувствительности), среди современных серийных не замечено.

Comments

Хочу провести такой эксперимент со своей камерой (ну, не в таких лабораторных условиях, естественно).
Но меня интересует, как в контексте такого исследования относиться к тому что у меня (K5) на ISO1250 начинает насильно вычитаться чёрный, а от ISO3200 наблюдается размытие данных? Разве не имеет смысл удерживать ISO до этих границ?

Тут, в общем, не было лабораторных условий. Снято при самых обычных лампах накаливания, специально, чтоб результат был более жизненным. Единственное маложизненное - диафрагма и выдержка на 2/3 ступени выше показаний экспонометра. Без такой поправки результат еще заметней.

А, ну с лампами накаливания проблем нет, да и, благо, стабилизатор стоит на квартиру, напряжение стабильное. Да и к поправкам вверх я привык уже. Настраивал так, чтобы камерный экспонометр точку клал в итоге около L*=50 в RPP.
Но, собственно, вопрос о чёрном и размытом остаётся.
И, да, Илья, пока вы здесь: я тут писал Твердохлебу насчёт донейта RPP не через PayPal, а каким-то русским способом, но что-то он пока молчит. Может, вы что-то скажете на этот счёт?

К вопросу о черном и размытии - нет у меня Пентакса, что, конечно, неудобно в данном случае. Давайте смотреть файлы. Там могут настройки камеры влиять, а может быть и трюки какие-то. Они могут не вычитать cgtwbfkmyj черный на самом деле - просто так сенсор запрограммирован. У ряда сенсоров Сони можно менять уровень черного в зависимости от ISO, чтобы чуть-чуть выиграть в динамическом диапазоне. По ряду снимков с одной экспозицией на разных ISO такое можно увидеть.

Донейт: я совершенно не в курсе, денежная сторона RPP меня никак не касается.

Нужно найти время и отснимать серии, как Алексей сделал. Настройки камеры перерыл почти все, сомневаюсь, что это как-то управляемо. Учитывая, что сенсор производства Сони — вполне возможно, что это в железе уже зашито. Вот графики дельты и сигмы на темновых кадрах:

Я решил особо не заморачиваться и (возможно, конечно, неправильно) просто отснимал слегка расфокусированный лист оранжевой (чтобы синий потише) бумаги, освещённый лампой (да ещё и светодиодной). Чтобы покрыть больший диапазон экспозиций, разницу ISO решил делать в два стопа.

Ну, что сказать, тенденция подтверждается, но разница копеечная в моём случае. Вот sensorgen подсказывает, что у меня шум чтения по всему диапазону одинаково маленький: http://sensorgen.info/PentaxK5.html Вероятно, это как-то обусловливает.

Влияние вычета чёрного на паре 400/1600 и тем более вычета+размытия на 800/3200 хорошо видно, по моему. И потом, логично, на паре 3200/12800 разница пропадает, так как обе функции и там, и там.

Вывод для себя такой: снимать на высоких ISO буду теперь более спокойно, но всё же, пока света достаточно для съёмки вплоть до ISO 1100 — я предпочту, чтобы с чёрным разобрался RPP, а размывать-то я и сам умею.

Тенденция, о которой мы говорим, в том, что подъем ISO не увеличивает шум (а может и уменьшить). Вот, собственно, что пишется в стандарте на фоточувствительность, прямо во введении:

When an image from a DSC [digital still camera] is obtained using an insufficient exposure, proper tone reproduction can generally be maintained by increasing the electronic or digital gain, but the image will contain an unacceptable amount of noise.

Имеется в виду, где оно, «electronic or digital gain», уже будет: в железе или софте — не суть важно, результат и там и там будет шумный? Или здесь только про внутрикамерные манипуляции?

Да, но при аналоговом усилении есть шанс, что результат (чуть, если говорить о современных сенсорах Сони) менее шумен. Многое зависит от того, как выполнена цепочка между аналоговым буфером и аналогово-цифровым преобразователем. Она есть всегда, и у нее собственный шум. "Худший" случай - когда преобразователь внешний, цепочка длинная, шум высокий (так, напр., у Nikon D3/D3s, Nikon D5, Canon 5D..5D3 и ряда других Canon). Но даже если использован внутренний преобразователь (как у тех же сенсоров Сони, и не только Сони), некий шум добавляется. Теперь поставим усилитель на выходе буфера, а то и перед буфером. Результат таков - уровень сигнала повышается, а шум ниже точки усиления остается неизменным. Таким образом соотношение сигнал-шум улучшается.

> а каким-то русским способом

мб купите eGift Card на амазоне и пошлите код мылом

Z / V

Ну это всё равно нужно с автором согласовывать.

Ну если это такая проблема - я могу поработать передастом. Принять сбербанком, заплатить Андрею пейпалом.

Хотя и это полезно с ним согласовать, потому что на мой емейл уже выписан ключик.

Он пару лет назад предлагал WebMoney, но тогда был 2014, #КрымНаш и у нас вообще толком ничего не работало. А теперь, вот, Андрей не отвечает, в понедельник ещё спросил. Иначе бы я Илью и не тревожил.

уточнения ради, к-5 первый или второй?

Первый, 2010 года.

> ISO100 (+6 в конверторе) выглядит получше, чем у 6D, но это мы и так подозревали (мегапикселей поменьше, сенсор покрупнее, ну и шумит A7S тоже меньше

Обе же полнокадровые. Или у сапога полный кадр не такой полный, как у сони?

Пиксель, да.

Мне казалось, что у всех камер при съемке в raw чувствительность - это всего лишь число в метаданных.
Что, у некоторых стоит усилитель сигнала?

Да, усилитель.
У некоторых еще емкость пикселя меняется на каком-то уровне - и мы видим уменьшение "уровня темнового шума" скачком
Вот A7R-II: http://blog.lexa.ru/2015/11/17/sony_a7r_ii_shum_v_tenyah.html

> Что, у некоторых стоит усилитель сигнала?

скорее правиьные слова = "у некоторых не стоит" ... камеры у которых __все__ ISO = ISO by tag в сильном меньшинстве...

Z / V

У X-T2 тоже такое читерство с исо будет как и у единички?

Вот по памяти (потому что хранилка raw сейчас в offline) - нет, там на ISO выше 1600 вроде нормальная гистограмма (а не 1600+недодержка).

Память почти не подвела: ISO51200 - это 25600 и недодержка в стоп, а все что ниже - выглядит нормально по общей гистограмме

(P.S. равчики доступны, RawDigger trial доступен - зачем спрашивать?)

Мне давали тестовые кадры с X-T2 (снято 20 ноября в Минске), и выглядело так что кадр на 6400 не был светлее, чем снятый на 3200. Даже чуть темнее: https://content.onliner.by/forum/200037/800x800/fe61d3c3b9f861ddab6fbb79... При этом камерный джипег отличается по экспозиции. Может конечно это Raw Therapee чудит, но я сомневаюсь.

Ну я ж тоже не высосал из пальца, а посмотрел rawdigger-ом тестовые файлы взятые с imaging resource.

Там снята строго одна сцена, сопоставлять просто.

Я понимаю, просто закралась мысль: может разные прошивки в камерах, и они по разному работают. Камерный джипег то отличается как и ожидаем от смены ИСО.

Надежнее сравнивать на одной сцене (и лучше простой, вроде листа бумаги во весь кадр)

А то маленькое движение, экспонометр подумал свое, ну и

Так там же серия кадров снятая с зафиксированными диафрагмой и выдержкой (на скриншоте видно экспопару), меняется только ИСО. Я абсолютно согласен что для сравнения это не лучший кадр. Но учитывая что камерный джипег на 6400 выглядит заметно светлее кадра на 3200, а в raw он примерно одинаковый по экспозиции (глянул и в RawDigger) - странно в общем.

Где - "там"?
Вы говорите о каком-то наборе кадров, но я не понимаю о каком.

upd: скриншот выше по ссылке увидел, но сами кадры бы....

Вот у меня есть тестовый набор равок от исо 200 до 6400 с шагом в стоп в сравнении с некс 5н

https://yadi.sk/d/NXawvjYax9pHG

Действительно 3200 и 6400 - примерно один фиг по гистограмме.

Но вот я вижу в makernotes:
Dynamic Range Setting: Auto (100-400%)

Нету ли в этом месте аналога Auto-ISO какого-то?

После исо 800 оно может пушить света-тени само, видимо поэтому так

Спасибо за примеры. Смотрим внутрь:

ibmacbook:~ iliah$ exiftool -H -S -G /Users/iliah/Downloads/X-T2/*.RAF -RawExposureBias -ISO -AutoDynamicRange
======== /Users/iliah/Downloads/X-T2/DSCF7943.RAF
[RAF] 0x9650 RawExposureBias: -1.7
[EXIF] 0x8827 ISO: 1600
[MakerNotes] 0x140b AutoDynamicRange: 200%
======== /Users/iliah/Downloads/X-T2/DSCF7945.RAF
[RAF] 0x9650 RawExposureBias: -0.7
[EXIF] 0x8827 ISO: 3200
[MakerNotes] 0x140b AutoDynamicRange: 100%
======== /Users/iliah/Downloads/X-T2/DSCF7947.RAF
[RAF] 0x9650 RawExposureBias: -1.7
[EXIF] 0x8827 ISO: 6400
[MakerNotes] 0x140b AutoDynamicRange: 200%
3 image files read
ibmacbook:~ iliah$

Иными словами, кадр, в котором написано ISO 1600 снят на "внутреннем" ISO 800. Кадры на ISO 3200 и 6400 - сняты на внутренней установке ISO в 3200, оба.

Еще раз прощелкал все исо и прогнал через екзифтул с установленным авто др в 100.

То есть он всегда недодерживает на каждой чувствительности?

https://vk.com/wall2838455_4469

Ну надо смотреть на камеру. Но -0.7 - это не стандартный ли сдвиг точки серого (а -1.7 - соответственно, нестандартный)?

Похоже что стандартный. Значит и чувствительности вполне железные. Только с исо 100 не совсем понятно, то, что передержка, это понятно, но по остальным параметрам нет, и размер файлов отличается почти на полтора мегабайта в плюс у исо 100