Oly EPL3, часть 3: это НЕ ослабление светового потока

В комментариях ко вчерашнему посту про постепенную "деградацию" пересвеченных областей на камере Olympus E-PL3 многократно высказывалась идея, что дело в ослаблении светового потока:
  • за счет захода солнца
  • за счет "помутнения органики" (микролинз и/или светофильтров)

Если бы это было так, то в изучаемой области мы имели бы значения в пикселах, распределенные по гауссиане (пуассониане), потому что поток фотонов имеет естественные вариации, распределенные по Пуассону (фотонный шум).

Как следствие, в районе 41-го снимка в серии (4-й пример в предыдущем посте), который с отдельными крапинками насыщенных пикселов, мы увидели бы эти крапинки распределенными случайно.

Посмотрим, так ли это.

Вот 40-й снимок в серии, увеличение 1000%, обведены крапинки, объединившиеся в столбик:

41-й снимок:

В RawDigger есть бага: при загрузке следующего изображения, если было увеличение больше чем Fit-To-Screen, то картинка дергается. Положение Selection (рамки вокруг столбика) сохраняется, а примерно в то же положение я возвращал руками. Бага - в списке багов, к следующей версии поправлю.

42-й cнимок:

44-й снимок, столбик начинает "разрушаться" (в том смысле, что пиксели перестают быть насыщенными):

47-й снимок, три крапинки:

53-й снимок, осталась одна:

Начиная с 54-го снимка серии в выделенной области крапинок нет. Начиная с 57-го - их нет во всей "пересвеченной" области (которая, формально, уже не пересвеченная).

Можно было бы взять любой другой набор крапинок, там примерно та же картина, в-основном положение их стабильно (нет, есть какое-то количество мерцающих, но мерцающие и должны быть, фотонный шум то никуда не делся). Но вот этот вот столбик, который я рассматривал, показался мне наиболее красивым.

Выводы

Вывод прост: ни о каком ослаблении освещения пикселей, как естественном (за счет угасания солнца), так и наведенном (помутнение чего-то на сенсоре) речь не идет, ибо в этом случае мы имели бы случайное распределение пересвеченных пикселей по матрице. А оно - не случайное, это систематика, хотя и украшенная наложенными сверху естественными случайными эффектами

Comments

Ну так там же на матрицу понавешано ролей, помимо, собственно, изображать из себя фотопленку ... Но прикольно, да.

А воспроизвести этот артефакт получилось? Или только на том таймлапсе?

Позавчера руки не дошли, а потом сперли солнце.

Вернут - попробую еще.

на этом видео: http://vimeo.com/61083440 похожая фигня творится, снято на какие-то никоны :)

в промежутке 3:04-3:08

По освещенному что-то странное бегает?
Ага.

Получается, проблема есть много у кого)
На конкретную модель камеры не спишется)

Я вот когда увижу и пощупаю RAW - смогу сказать. А что там в космосе бегает по МКС - не знаю, может это тамошние глюки.

> А оно - не случайное, это систематика,

систематика была просто задана дефектами при производстве CFA... a ?!

Пиксели же - неодинаковые (по емкости, к примеру).

> Вывод прост: ни о каком ослаблении освещения пикселей, как естественном
> (за счет угасания солнца), так и наведенном (помутнение чего-то на сенсоре)
> речь не идет, ибо в этом случае мы имели бы случайное распределение
> пересвеченных пикселей по матрице.

Неочевидный вывод. Есть ячейки легче насыщаемые (меньше емкость, больше квантовая эффективность) есть хуже насыщаемые, и это более-менее стабильный их параметр. И при угасании освещения первыми стабильно выйдут из насыщения те, что насыщаются хуже. Что мы и видим на данном примере.

Осталось продемонстрировать такие же устойчивые паттерны в светах у "нормальной" матрицы.

Это уже много раз демонстрировали.
Гуглить noise characterization (был весьма толковый и подробный pdf в сети). ...знтузиасты астро-фотграфы тоже занимались этим, но у меня "пруф-линков" не сохранилось (ибо нафик?)

Видим картину, которая легко интерпретируется как Fixed Pattern Noise.
Совершенно никаких выводов из этой картинки сделать не получится.

Это в светах то, которые обрезаются в нормальной ситуации сильно ниже насыщения?

Вне всякого сомнения, это fixed pattern. Но вот Noise это можно назвать только в очень расширенном смысле.

>> Это в светах то, которые обрезаются в нормальной ситуации сильно ниже насыщения? <<
Ничего не понял.
во-первых: что значит "обрезаются сильно ниже насыщения" ?
во-вторых: где ты тут "нормальную ситуацию" увидел ?

лично я здесь вижу тотально засвеченное поле с "умело" подобранным threshold.

>> Вне всякого сомнения, это fixed pattern. Но вот Noise это можно назвать только в очень расширенном смысле. <<
устоявшаяся терминология. Вообще говоря, всякое отклонение от "эталона" принято рассматривать как шум.

>> во-первых: что значит "обрезаются сильно ниже насыщения" ?

То и значит. Для получения ровной полки шириной в одно значение (как на 1-м снимке в этом посте: http://blog.lexa.ru/2013/03/13/oly_epl3_ono_ustalo.html ) рабочий диапазон выбирают так, чтобы максимум на выходе АЦП получался бы ниже, чем минимальная емкость пикселя.

В противном случае в светах будет странный дребезг. Как на следующих снимках в рассматриваемой серии, например.

>> ...рабочий диапазон выбирают так, чтобы максимум на выходе АЦП получался бы ниже, чем минимальная емкость пикселя. <<
Это твои фантазии и домыслы.
А на практике так никто не делает и даже напротив - оставляют некоторый margin в старших разрядах.

>> В противном случае в светах будет странный дребезг. Как на следующих снимках в рассматриваемой серии, например. <<
Этот "странный" (для тебя) "дребезг" легко наблюдается любым, кто дал себе труд посмотреть на поведение сенсора в режиме полной засветки.

>> ...рабочий диапазон выбирают так, чтобы максимум на выходе АЦП получался бы ниже, чем минимальная емкость пикселя.

> А на практике так никто не делает и даже напротив - оставляют некоторый margin в старших разрядах.
> "странный" (для тебя) "дребезг" легко наблюдается любым

Как-то все в кучу свалено. На АЦП в камере дело не заканчивается, значения непосоедственно после АЦП в raw-файл пишутся только в бета-версиях камер, в научных применениях и в домашних поделках. В нормальной рабочей камере есть обработка после АЦП, которая, в частности, дребезг обязана срезать практически полностью. И его таки и нет на тех кадрах, где область засвечена как пологается - максимум на полке.

>> Этот "странный" (для тебя) "дребезг" легко наблюдается любым, кто дал себе труд посмотреть на поведение сенсора в режиме полной засветки.

Ой. Иногда лучше жевать, чем говорить.
На практике: есть Nikon-ы, у которых не дребезг, а очень даже систематический паттерн. И есть остальные (все, или практически все), с ровной полкой.

>> Ой. Иногда лучше жевать, чем говорить... <<
Вот и жевал бы себе спокойно, а то у тебя какой-то "странный дребезг" получается вместо членораздельного мычания :-)

>> На практике: есть Nikon-ы, у которых не дребезг, а очень даже систематический паттерн. И есть остальные (все, или практически все), с ровной полкой... <<
Ну и здесь мы видим "очень даже систематический паттерн".
С течением времени контраст сцены падает существенно (для закатов, когда движение солнца и изменение цвета наблюдаются буквально в реальном масштабе времени, 11 минут _очччень_ много - солнце успело на 5 своих угловых размеров сместиться по небу и уж не меньше чем на два диска по вертикали, полностью уйдя за облака).
Соотв. никакой магии и "падения ёмкости сенселя" не наблюдается: понизили контраст сцены - ушли из насыщения... а что до кривого ББ, дающего "розовыенькие рюшечки", так это тебе флаг в руки - иди и не греши выпрямляй ро-диггер ,-)

>>С течением времени контраст сцены падает существенно

Да-да, и магическим образом яркость отражения солнца и яркость самого солнца и яркость облака рядом оказались равны. Конечно. Так и было.

>> Да-да, и магическим образом яркость отражения солнца и яркость самого солнца и яркость облака рядом оказались равны.... <<
Ой, я не знаю что у вас там в Хогвардсе творится, но на приведённых сэмплах отчётливо видно как контраст сцены падал.
В частности, от переэкспонированного солнца и чёрных облаков до вполне себе светлых облаков и нормально экспонированного закатного свечения.
При этом экспозиция, как мы видим, тоже менялась - от 1/160 до 1/50 - т.е. опускались ни разу не магические сумерки :-))

Ну то есть солнце и блик - одной яркости? И полосатые (третий снимок)?

>> Ну то есть солнце и блик - одной яркости? И полосатые (третий снимок)? <<
Лёша, ты чего, - совершенно [не]магическим образом поглупел прямо перед всем строем, или всегда таким и был, да ловко скрывался ? :-))

Посчитай, пожалуйста, размер солнца на этом снимке (в пикселях) и сравни с размером патча и вообще области пересвета.
Что же касается "полосатости", то тебе же уже сто раз "прозрачно намекали" - Fixed Pattern Noise, одна из составляющих которого, т.наз. PRNU (pixel response non-uniformity), именно так и выглядит.
Что, сон разума не позволяет осознать такие тривиальные вещи ?

Да-да, размер солнца - это хороший поинт. С учетом того, что солнце не отличается по яркости от окружения.

Ну так ты посчитал, или нет ?
Понимание того, что ты там ищешь чёрную кошку в "абсолютно чёрной заднице комнате" ещё не забрезжило ?

Ты что сказать то хотел? Сделай утверждение и мы его обсудим.

Я уже сделал утверждение (см.выше) - ты его обсуждать отказался.
Теперь я просто предлагаю тебе _самому_ нарисовать солнце и проследить его траекторию на последовательности снимков.
Ты опять упираешься, защищаешь плоды и химеры своего сна разума :-)

Утверждение "это все на границе насыщения, и источник и блик" - действительно не имеет смысла обсуждать, потому что реальные яркости источника и блика - отличаются (в природе, не на снимке) в силу очевидных причин.

Да и отношение каналов у этой "границы насыщения" получается несколько удивительным для вечернего (закатного) солнца.

Сделай теперь следующее утверждение, про размер солнца.

Уточню - не просто в силу очевидных причин, а в силу закона Френеля, ибо вода - не металлическое зеркало.

Оно еще и неровное.

>> Утверждение "это все на границе насыщения, и источник и блик" - действительно не имеет смысла обсуждать...<<
Я такого утверждения и не делал.
Но ты с ним носишься как курица с яйцом, и хотя (на словах) не видишь смысла его обсуждать, но всё подсовываешь его и подсовываешь всем и каждому ("уж вечер наступил, а старушки всё падали и падали" :-)).

>> Да и отношение каналов у этой "границы насыщения" получается несколько удивительным для вечернего (закатного) солнца.<<
А чего удивительного ?
аптека, улица, фонарьОзеро, лето, сумерки...
Оно и днём-то над озером парит и отдаёт синим (вплоть до сизого леса на противоположном берегу). По-моему это совершенно обычное дело (как минимум летом): снимаешь над водоёмом - получаешь blue cast.

>>Я такого утверждения и не делал

Ну так сделай какое-нибудь, пригодное для обсуждения.

:-)
дядя Лёша оказался дядей Троллем. "как это мило с его стороны" (с)

Оборотитесь к зеркалу, сударь.

Хаха, мне это уже нравится: "отдаёт синим", "blue cast". Я тоже так хочу, а то всё зелёный вылетает да зелёный - пусть хоть на закате синий зашкалит.

Сударь, вам не кажется, что вы тут немного не соблюдаете субординацию?
Если уж вы считаете всех такими лохами - чего вы здесь тогда свет просвещения в массы несёте?
Я лично не вижу непосредственной связи между вашими словами и обсуждаемой ситуацией.

Чтобы собеседник услышал, ему надо отвечать в ЖЖ, комментарии осюда в туда - не транслируются.

А, я не знал, что тут такая структура. Неважно, всё равно я не зарегистрирован в ЖЖ.

> а что до кривого ББ, дающего "розовыенькие рюшечки"

А разобрались-ка бы Вы в вопросе...

Вот решил я проверить свой сенсор "в режиме полной засветки".
Сделал серию из 39 кадров с совершенно одинаковыми параметрами. Скорость съёмки была 1 кадр в 1,5 c, выдержка 1/25 (при 1/500 по экспонометру). Источник света - дохлая люминесцентная лампа, прикрытая белым листом; нагрев от неё за минуту, равно и изменение светового потока как-то отпадает.

Ниже приведены данные по 1-му, 19-му и 39-му кадру. Уровень чёрного одинаковый, индикация пересветов выставлена вручную на 3982.

Видно, как гистограмма "сползает" вниз, причём по кадрам видно, что левая часть кадра начинает темнеть раньше (некая градиентная неравномерность по сенсору).

Кадры (масштабированные):
http://i53.fastpic.ru/big/2013/0315/e7/6149a8cfab30211e28ee2ec1fb463fe7.png
http://i51.fastpic.ru/big/2013/0315/3a/2176fa7e6c7a2243067a1ca9cca5363a.png
http://i51.fastpic.ru/big/2013/0315/a7/4ecdc7c46ece9f1b634fdf54c0f782a7.png
Гистограмма (по всему кадру):
http://i51.fastpic.ru/big/2013/0315/93/6b6d158931e73fc32c91a703c700e393.png
http://i51.fastpic.ru/big/2013/0315/c1/0942aee46ea8e37d1dde49ccf7fedac1.png
http://i54.fastpic.ru/big/2013/0315/e3/9d84466dea3c21e5a2ba83ac100b28e3.png

PS. Да, камера Oly-E520. Простите за fastpic с его рекламой :)

А вы специально так выводили, что на полной засветке нет ровной полки? Или это камера такая и там засветка всегда так?

Полосатость заставляет предположить, что это уходит АЦП/усилитель, а не сенсор.

Я ещё попробую поэкспериментировать. Так, при очень сильной засветке все значения доходят до 4095 с отдельными точками, где значения немного ниже (штук 30 таких).
В моём тесте было наглядным именно сползание значений, про полку я особо не беспокоился. В принципе, можно сделать такой же тест, только с очень сильным засветом.