И о шумах. Или о демозаике? Или о шумах демозаики?

lexa - 12/Сен/2016 11:44

Sony A7S-II, ISO 102400, увеличение 500%, снимок с DPReview (Studio Shot). Для увеличения - кликните:

Это - один и тот же снимок, один и тот же фрагмент, три разные демозаики, никакого дополнительного шумопонижения нет (с шумодавом было бы еще веселее). Называть демозаики не буду, ибо какая разница (во всяком коммерческом софте мы вообще плохо знаем что используется, можем только догадываться примерно).

О чем вы думаете глядя на эту кучу кирпича этот фрагмент?

Я вот, например, о том, что даже внутри одной программы и даже для одной камеры (и даже, может быть, для одного ISO, просто вот для разной "оценочной экспозиции по кадру") могут использоваться разные алгоритмы и/или один алгоритм, но с разными параметрами. И как тогда сравнивать камеры по шуму (да и по разрешению)? Стандартной проявкой проявителем "Стандартный №2"  dcraw со стандартными параметрами?  Ну вариант конечно, но "Стандартный №2" для разных пленок работал с разным успехом.

А если у нас "программно-аппаратный комплекс", камера + RAW-конвертор, то фиксировать ручки конвертору глупо, а не фиксировать - как объективно сравнивать?

Comments

kiavan92 - 12/Сен/2016 14:00

Похоже на:
2 — VNG
3 — AHD
Так а это внутри одной программы всё или из разных?

lexa - 12/Сен/2016 14:13

3 - угадали, 2 - нет (простой bilinear).

Это внутри одной программы - экспериментируем в RawDigger с разными вариантами 'quality demosaic' (в бой пойдет, понятно, первая)

Но такого же эффекта можно добиться dcraw -q N (или dcraw_emu -q N, меняем N от 0 до, в случае dcraw_emu с demosaic packs, - десяти)

kiavan92 - 12/Сен/2016 14:19

Тогда первый — LMMSE? Он всегда был более резким и шумным по каналу яркости, с явно меньшим шумом в цветности.

lexa - 12/Сен/2016 14:25

Нет (С)
Этих демозаик(ов) сейчас как собак. Тут - некоторое упражнение на тему 'joint demosaic and denoising' (и таких тоже - уже немало)

lexa - 12/Сен/2016 14:28

LMMSE даже не смотрели, он сильно прожорливый по памяти и (насколько я помню) не очень быстрый.

А нам скорость - важнее качества (и то что качество, внезапно, хорошее - вообще здорово)

kiavan92 - 12/Сен/2016 14:33

А, таких зверей я не встречал, только тех, что в LibRaw имеются. Но если оно и быстро, и результат более чем приемлемый — это ж прогресс.

lexa - 12/Сен/2016 15:26

Да, там мысль научная не стоит на месте.

Другой вопрос, что результаты этой мысли не всегда можно (легко) применить к практике.

deejjjaaaa - 12/Сен/2016 20:20

> как __объективно__ сравнивать?

зачем ? большинство интересуется связкой : камера + конвертер/профиль... вот на своей любимой связке пусть и сравнивают сами... А страшно далеким от народа можно же и отдельно по каждому каналу

Z / V

lexa - 12/Сен/2016 20:41

Тем не менее
а) есть выбор камеры (или даже системы) и качество картинки играет не последнюю роль
б) есть выбор конверторов, сильно больше одного и как мы видим по RPP - меняют даже на неудобный
в) у конверторов внутри неонка, а снаружи - много ручек

И пространство выбора сильно расширяется....

deejjjaaaa - 12/Сен/2016 20:58

> есть выбор камеры (или даже системы) и качество картинки играет не последнюю роль

и ? конвертер и вложенные туда человеко-часы (уже вложенные и в перспективе) тоже влияют и это нормально... поэтому совершенно незачем рассматривать камеру отдельно от...

Z / V

lexa - 12/Сен/2016 20:42

Причем, в моем последнем абзаце (в посте) вообще написано только про пункт "в", крутим ручки - меняем результат.

deejjjaaaa - 12/Сен/2016 20:54

> Причем, в моем последнем абзаце (в посте) вообще написано только про пункт "в", крутим ручки - меняем результат.

так я и говорю - не надо озадачиваться вообще это проблемой - кому интересно пусть сами ручки крутят и сравнивают результат...

Z / V

mikeuz - 13/Сен/2016 10:00

Мне вот интересно, почему для цифры не рисуют "плёночную" характеристическую кривую (всё очень плохо?)?
Понятно, что сигнал с матрицы нам может показать только производитель, а дальше уже напёрстки... Но почему никто не рисует ХК сигнала, который пишется в RAW?

lexa - 13/Сен/2016 10:17

Google: photon transfer curve
Вы про это?

А если без шума, то там прямая от (почти) самого низа и до (почти) самого верха. RawDigger в руки и вперед.

mikeuz - 13/Сен/2016 12:07

Все кричат, что цифра насквозь линейна, и что я вижу? -
https://micro-manager.org/w/images/2/2c/PhotonTC.gif - логарифмы по обеим осям!
(за подсказку спасибо)

Я тупой и не очень понимаю, как с помощью RawDigger построить кривую прямую, аналогичную D от E (для плёнки), как посчитать чувствительность матрицы в плёночных "терминах" (D вуали + 0.1 - очевидный критерий)

Я не издеваюсь. Я понимаю, что я глупый слоупок. Я даже догадываюсь, что в современной фоторгафии "война - это мир" (с) Оруэлл

lexa - 13/Сен/2016 12:14

По осям там логарифмы, это верно.
Но по вертикальной оси там не сигнал, а шум (или S/N, по разному рисуют).

То есть это не "характеристическая кривая" как мы для пленки рисуем, а совершенно другой график (для пленки такое рисовал Roger N Clark, там вообще ужасы в тенях).

lexa - 13/Сен/2016 12:16

>> как с помощью RawDigger построить кривую прямую, аналогичную D от E
Снять серую шкалу (E знаем), нарисовать отклик по квадратикам шкалы.

>> как посчитать чувствительность матрицы в плёночных "терминах" (D вуали + 0.1 - очевидный критерий)

Ну вот для "чувствительности матрицы" в RAW-единицах стандарта нет (он есть для JPEG камерного).
Но разумнее отталкиваться наверное от насыщения, а не от Dвуали+0.1, иначе шумопонижение будет менять чувствительность, что, вероятно, неправильно.

mikeuz - 13/Сен/2016 22:58

У меня нет, к сожалению, специальных приборов, измеряющих освещённость с достаточной точностью.
1. В абсолютных единицах адекватно оценить я могу только выдержку (запись звука срабатывающего затвора).

2. Все "измерения" проводят, делая серию при разных экспотройках. А ведь камера может может блудить, учитывая +/- экспозиции относительно камерой же измеренной. Делал ли кто-нибудь тестовую съёмку так, чтобы В_1_КАДРЕ был ДД больше 14 стопов?
Спецы мне радостно напомнили, что можно сделать цветные и серые клинья на мониторе (и такие тесты снимались и измерялись)... Но сколько реальных стопов выдаёт на статике даже хороший монитор??!

3. У Кларка (и у старого DxO) минимальный темновой шум (для моего 5Dm2) 2.5е ПРИ ИСО 3200, а ёмкость насыщения сенселя ~55 000 ПРИ ИСО 100 ( когда шумы больше 20е!). Но ДД матрицы считают 55 000 делить на 2.5. Это как? Такое в реальной съёмке возможно??? Насчитали 13,7 стопов, кажется. Насколько полезна это число на практике?

4. СНИМАТЬ что-либо - это вводить в результаты измерений "чудеса" оптики. Как их учесть при интерпретации экспериментов?

Ну и другие мелочи...

lexa - 13/Сен/2016 23:13

3) Да, стоит делить одно и то же: шум при фиксированном каком-то ISO и используемую емкось при нем же.

В остальном же
- точность выше точности отработки затвора вам, ну как минимум для начала, не нужна. Если получится с точностью затвора (1/6EV) то уже же хорошо, это 0.05 в D, графики для пленки с такой точностью не рисовали.
- давайте рисовать по оси X не абсолютные цифры, а относительные. Ну ошибемся (сдвинем) на точность экспонометра - ну и ладно.
- "ДД в одном кадре больше 14 стопов" - это как раз нарываться на чудеса оптики (flare), поэтому давайте возьмем равномерно залитое поле. Даже если на нем будут чудеса оптики (виньетирование) - они будут одинаковы при любой выдержке.

Вот мы и получили постановку эксперимента.
Если в нем вылезут какие-то чудеса - ну это повод его поставить как-то иначе. Но начать стоит с такой постановки.

И да, я так делал, получается высоколинейно (в пределах точности затвора), никаких чудес

mikeuz - 14/Сен/2016 11:28

"Если получится с точностью затвора (1/6EV) то уже же хорошо, это 0.05 в D, графики для пленки с такой точностью не рисовали."
Как раз "рисовали", и критерий Dо+0.1 как бы на это намекает. Вы же можете с помощью линейки отмерить, скажем, ~117.5 мм. На миллиметровке аналогично, но уже по двум осям.

Кто бы что бы не говорил, оптика весьма ощутимо влияет на передачу яркостей. Это понятно. Поэтому во все времена сенситограммы делали "методом контактной печати". Для цифры подобных экспериментов не делают.
А где гарантия, что при съёмке серией камера не пересчитывает сигнал?

Вот, кстати, один из стандартных бланков:
http://files.stroyinf.ru/Data2/1/4294821/4294821070.files/23.gif
Предусмотрен дельта D=7 (7.5) Сколько это в стопах, минимум 23?
Стандартный сенс. клин с 30 полями даёт пресловутые 14 стопов (чуть больше, как я понимаю) - 1:22000.
И методика такова, что соседние поля друг на друга не влияют (за исключением пограничных эффектов) - объектив исключён и не влияет...

У Canon 5D II ёмкость ячейки 55 700е. Понятно, что первые 10 стопов - нерабочие (уровень чёрного ~1000е). Но если оставшееся поделить на "математические" стопы, то получается сильно больше мониторных 8. Т.е. одной экспозицией не обойтись.

Ладно, всё это - лирика. Просто хочется знать, как оно внутри на самом деле.

lexa - 14/Сен/2016 11:41

>> Понятно, что первые 10 стопов - нерабочие (уровень чёрного ~1000е).
Не, это bias, смещение нуля, его надо вычесть (у 5DMk4 разный bias - это что "разное число стопов - нерабочие")?

А в остальном же: бессмысленно рассуждать что "невозможно сделать точный эксперимент", поэтому делать мы ничего не будем, будем только рассуждать.

В той точности, в которой этот эксперимент можно сделать на коленке - камеры высоколинейны и каких-то особенностей не замечено. Эта точность со всех практических сторон (учитывая и точность экспонометрии) - достаточная.
При этом, изобретать стенд на 14 стопов (и бороться со всеми прочими приколами, вроде рассеяния оптики) - для измерения линейности не нужно.
Считать что камера что-то там намеряла и скомпенсировала чтобы казаться линейной - можно, но с практической точки зрения это не отличается от линейной камеры.

Собственно и все.

mikeuz - 14/Сен/2016 14:13

Сразу первый вопрос:
Почему тогда сразу не изобрести профиль, компенсирующий ошибки экспозиции (хотя бы те, что отмечены в exif)? параметры всего семейства кривых прямых известны ведь (и стабильны)?

"Считать что камера что-то там намеряла и скомпенсировала чтобы казаться линейной - можно, но с практической точки зрения это не отличается от линейной камеры."
Как я ощущаю, ответы даже профильных спецов сводятся к одному: считайте камеру "чёрным ящиком" и юзайте CookBook.
Уныло. :-(
Правда, на практике все именно так и поступают.

lexa - 14/Сен/2016 15:15

Я про профиль - не понял. Проблемы с компенсацией ошибки экспозиции (если там недодержка) никакой нет.
Ну то есть шум растет, ну и в первом приближении - все.

>>ответы даже профильных спецов сводятся к одному:

Я вам в первом же сообщении ответил, что "на рабочем участке - сенсор высоколинеен".
А вот комбинация камеры и оптики - нет, потому что flare. Но мы же вроде "пленку" обсуждаем?

N/A (not verified) - 14/Сен/2016 16:34

> А вот комбинация камеры и оптики - нет, потому что flare.

а сам "сенсор" с учетом того что в сборке сверху поверхности кремния куча всего ?

lexa - 14/Сен/2016 20:46

Вопрос в постановке задачи.

Для сенсора с оптикой - мы обычно хотим передавать "сцену". Без оптики - наверное еще не хотим.

mikeuz - 14/Сен/2016 21:44

1. Понять, как оно внутри "на самом деле" (с)
2. Вот есть кадр (да, я сам дурак) - ОЧЕНЬ сильно ошибся с экспозицией -:
http://rgho.st/private/6QQVwFXsj/9f10ad351ee0608f70da89941bbb955d
Но даже на плёнке ТАКОЙ ореол попробуй получи!
На плёнке подобное объяснялось:
- несовершенством оптики (но это снято EF 100/2.8 macro IS);
- рассеиванием света в эмульсионном слое (но на цифре!...)

- небо было ВИЗУАЛЬНО чистым (окно в облаках),
- перетекание заряда (но картинка это опровергает),
- дифракция - тоже не канает. ...

Возможные причины понятны, но ТАКУЮ картинку я ОДНОЗНАЧНО объяснить не могу. :-(

ib - 14/Сен/2016 15:18

Вообще-то PTC на камерах и сенсорах снимают без объектива. За 1/30 сек выдается переменное число импульсов лазерного светодиода (дома можно просто на светодиоде учинить, у них высокая повторяемость до длины импульса около 150 наносек).

mikeuz - 14/Сен/2016 21:47

Развейте мысль, пожалуйста.
Некоторые из нас - тёмные. Поясните на пальцах, будьте любезны. ...

1 (not verified) - 14/Сен/2016 01:33

Кстати, насколько честный RAW в среднем формате, то есть во всяких мамиях и хасельбладах?

Насколько я помню, гистограмма RAW есть только там по вине маркетологов, так что на это они тоже могли повлиять.

lexa - 14/Сен/2016 09:23

Raw-гистограмма вроде только в лейке S?

AlexeyD - 14/Сен/2016 18:44

В Кодаковских Пробэках старых тоже - только там не поканальная а совмещенная яркостная.

lexa - 14/Сен/2016 18:52

Умноженная на веса каналов по формуле для Y ?

AlexeyD - 14/Сен/2016 18:54

Честно - не помню, по моему да. Могу поковырять если интересно.

lexa - 14/Сен/2016 19:05

С такой формулой - мы никогда не увидим пересвета в синих (да и красных) светах же?

mikeuz - 14/Сен/2016 21:49

Вот я примерно об этом. :-)