О линейности в тенях

Товарищи солдаты, о чем вы думаете, глядя на эту картинку:

Как она получена:

  • Берем серую карту, экспонируем по экспонометру.
  • Дальше начинаем крутить выдержку (сохраняя диафрагму) в сторону уменьшения, пока не упремся в 1/8000.
  • Дальше берем (усредненные) RAW-значения для выдержки, скажем, 1/4000 и делим на значения для 1/8000.
  • Повторяем для пары 1/3000-1/6000, 1/2500-1/5000 и так пока тестовый набор не кончится.
  • Ожидаем, что значения различаются ровно вдвое.

Понятно, что затвор имеет право немножко ошибаться, поэтому повторяем три раза, для разных диафрагм. Для ISO200 получается достаточно одинаково (а другие я толком и не пробовал).

Механизм явления понятен, у нас не сигнал, а "сигнал+шум", базовый уровень шума (т.е. при околонулевом сигнале) в районе 4-5 единичек, вот шум то и жрет контраст. Если смотреть на значения еще ниже, то там график аккуратно стремится к единице (полному отсутствию контраста).

Кроме того, может быть неверно рассчитанный уровень черного (но с ним я поэкспериментировал численно и ошибки больше чем в единичку не наблюдаю).

Таким образом, камера может считаться совсем линейной до значений не ниже 100 единичек в RAW, а более-менее линейной - где-то до 25-30 (талию можно делать в разных местах).

Теперь следите за руками:

  • Серый при дневном освещении - это примерно 1000 единиц в зеленом и 440 в красном (синий - посередине).
  • Рабочий диапазон без вопросов от 100. С вопросами - от 30.

Что дает нам ниже средней точки примерно два стопа хорошего линейного ДД в красном канале и 3.2 стопа в зеленом. Ну и, да, 5 стопов в красном и 3.7 в зеленом вверх от средней точки. Всего - семь, правда использовать все семь стопов красного канала без вылетов зеленого - для большинства сюжетов затруднительно.

С вопросами мы можем считать, что ДД на 2 стопа больше, шума там еще немного, но отклонения от линейности уже заметные, хотя и не фатальные.

При этом, вопрос о происходящем в светах пока мной недоисследован, там точки получаются безобразно редкие, нужно какую-то другую мишеньку. На первый взгляд, кроме самого самого верха, все более-менее приличненько.

В очередной раз хочу пнуть дохлого льва помянуть ETTR. Казалось бы, если в тенях все так плохо, то надо оттуда вылезать. Да, надо, если сюжет позволяет. НО. Не забудьте перестроить профили камер для новых настроек точки серого: практически гарантированно темно-синие патчи мишени, по которой строился профиль камеры, залезли в нелинейность в красном канале (и, наоборот, если профиль строили при свете ламп накаливания, то у вас беда в синем, причем гораздо худшая, 6 стопов линейного диапазона из семи лежат выше средней точки). Соответственно, профиль компенсирует эту нелинейность, а если вы вылезаете в более линейную сторону - то перекомпенсирует.

Comments

Э, не это.
По осям (обеим) - совершенно другое.

То есть график выше мне кажется удивительным, в частности по той причине, что я знаю что 50 и 100 - это просто одно и то же, но он не про это.

Вообще тема интересная,
тут http://photography-on-the.net/forum/showthread.php?t=675667&page=5 пишут что iso3200 фековое
iso 50 переэскпонируемое исо 100
http://photography-on-the.net/forum/showthread.php?t=675318 тут тоже интеерсно пишут

исходя из предыдущего рисунка, который я вам постил, какое исо являеться не фековым- не вычисляемым ?

Я не могу исходить из предыдущего рисунка т.к. он противоречит моему пониманию данной камеры. Но могу исходить из собственных измерений.
Вот я тут уже писал про фейковые пару дней назад: http://blog.lexa.ru/2011/03/22/o_drobnykh_iso_u_canon_5d_mark_ii.html
ЖЖ-линк: http://alextutubalin.livejournal.com/230357.html

Я фейковость определяю следующим методом: если на двух разных ISO насыщение (выход данных на константу - "полку") происходит при одинаковой экспозиции, то одно вычислено из второго (а какое из какого - понятно если сравнить максимумы, у "нормального" максимум будет как у других "нормальных" ISO на этой же камере, а у вычисленного - будет отличаться).

И ряд 160-320-640-1280-2500 - фейковый, хотя у 2500 есть особенность: насыщение там примерно одновременно с 3200, а максимум немного отличается от других фейковых.

А 3200 - "нормальное" ISO, насыщается позже чем ISO4000.

С 50 и 100 немного другая история. 50 вообще никак не пересчитывается из 100, RAW-значения для 50 и 100 и одинаковой экспозиции просто равны.

да, почитал - интересно
теперь мне понятно почему в гастом фанкшен даеться ряд изменений ios 1/2 и 1/2

1/3

Пурпурный хвильтр нать!
А на других исо картинка идентична? Типа 400-800?

На других - не делал пока. Там надо успеть снять несколько серий при постоянстве освещения. С нашей переменной облачностью не так и просто.

И, кстати, пурпурный фильтр - тоже означает перепрофилирование.

Вот что нашёл.

Собственно, вопрос - можно ли из этого построить обратную кривую, и увеличить линейность?

Так. Стоп :-)

Если передаточная функция l' = l + k, то "размер стопа" будет (2*l + k)/(l + k)

Вот этот график при k = 8, для наглядности, наложенный на исходную картинку.

О чём это говорит? О том, что в первом приближении, шумы просто смещают уровень черного в плюс.

У шумов матожидание, по идее, ноль (если мы правильно вычли черный).

Но. Если мы вычитаем черный "как всегда" (а оно и тут было так), то матожидание смещается.

Потому что сигнал "5" и шум "-10" дадут в сумме 0, а не -5.

Это тоже вносит свой вклад. Допустим, шум гаусианный. Когда уровень сигнала больше, ну, трёх сигм распределения шума, то вклад "обрезания" должен быть минимален.

Три сигмы - это 4 пикселя на каждый мегапиксель. Если изменить значения в пределах 4 пикселей на любые другие, то сумма по мегапикселю, кажется, вообще не изменится в рамках точности 16 бит. Если сигма 8, то начиная с яркостей порядка 25 вклад этого явления должен быть нулевым. А это не так, судя по графикам.

Ну, хорошо. Можно попробовать представить данные в виде другой диаграмы, в виде передаточной функции? Тогда сразу всё станет ясно.

Я не понимаю, как связан шум по площади ("на мегапиксель") и шум в отдельном пикселе.

Реальная сигма (если не вычитать черный) на ISO100 и околонулевом сигнале - 6.3-6.8 единичек.

Три сигмы - соответственно - 20. О чем я примерно и говорю, разумный сигнал начинается с 30, если очень сильно прикрыть глаза ну тогда с 20, да и то...

Я промоделировал эту ситуацию в Excel сейчас.

У меня вышла такая табличка. Фон1 и Фон2 - исходные яркости (вторая в два раза больше первой). Ср1 и Ср2 - яркости, которые получены прибавление случайной величины с сигмой 7, и отсеканием всего чего меньше нуля до значения нуля.

Фон1 Ср1 Фон2 Ср2 Коэфициент стопа
0,00 2,79 0,00 2,79 1,00
1,00 3,32 2,00 3,90 1,18
2,00 3,90 4,00 5,23 1,34
3,00 4,54 6,00 6,76 1,49
4,00 5,23 8,00 8,44 1,61
5,00 5,97 10,00 10,24 1,71
6,00 6,76 12,00 12,12 1,79
7,00 7,58 14,00 14,06 1,85
8,00 8,44 16,00 16,03 1,90
9,00 9,33 18,00 18,01 1,93
10,00 10,24 20,00 20,00 1,95
11,00 11,17 22,00 22,00 1,97
12,00 12,12 24,00 24,00 1,98
13,00 13,09 26,00 26,00 1,99
14,00 14,06 28,00 28,00 1,99
15,00 15,04 30,00 30,00 1,99
16,00 16,03 32,00 32,00 2,00
17,00 17,02 34,00 34,00 2,00
18,00 18,01 36,00 36,00 2,00
19,00 19,01 38,00 38,00 2,00
20,00 20,00 40,00 40,00 2,00

То есть, для значений 16-32 этот эффект уже вообще не важен. А на графике нелинейность есть даже на 100.

Добавьте к супу ошибку в определении уровня черного в единичку и все станет веселее

На графике указано больше или меньшее значение из пары?

Со смешением в единичку такое выходит:

Фон1 Ср1 Фон2 Ср2 Коэфициент стопа
00,00 03,32 00,00 03,32 1,00
01,00 03,90 02,00 04,54 1,16
02,00 04,54 04,00 05,97 1,32
03,00 05,23 06,00 07,58 1,45
04,00 05,97 08,00 09,33 1,56
05,00 06,76 10,00 11,17 1,65
06,00 07,58 12,00 13,09 1,73
07,00 08,44 14,00 15,04 1,78
08,00 09,33 16,00 17,02 1,82
09,00 10,24 18,00 19,01 1,86
10,00 11,17 20,00 21,00 1,88
11,00 12,12 22,00 23,00 1,90
12,00 13,09 24,00 25,00 1,91
13,00 14,06 26,00 27,00 1,92
14,00 15,04 28,00 29,00 1,93
15,00 16,03 30,00 31,00 1,93
16,00 17,02 32,00 33,00 1,94
17,00 18,01 34,00 35,00 1,94
18,00 19,01 36,00 37,00 1,95
19,00 20,00 38,00 39,00 1,95
20,00 21,00 40,00 41,00 1,95
21,00 22,00 42,00 43,00 1,95
22,00 23,00 44,00 45,00 1,96
23,00 24,00 46,00 47,00 1,96
24,00 25,00 48,00 49,00 1,96
25,00 26,00 50,00 51,00 1,96
26,00 27,00 52,00 53,00 1,96
27,00 28,00 54,00 55,00 1,96
28,00 29,00 56,00 57,00 1,97
29,00 30,00 58,00 59,00 1,97
30,00 31,00 60,00 61,00 1,97
31,00 32,00 62,00 63,00 1,97
32,00 33,00 64,00 65,00 1,97
33,00 34,00 66,00 67,00 1,97
34,00 35,00 68,00 69,00 1,97
35,00 36,00 70,00 71,00 1,97
36,00 37,00 72,00 73,00 1,97
37,00 38,00 74,00 75,00 1,97
38,00 39,00 76,00 77,00 1,97
39,00 40,00 78,00 79,00 1,98
40,00 41,00 80,00 81,00 1,98
41,00 42,00 82,00 83,00 1,98
42,00 43,00 84,00 85,00 1,98
43,00 44,00 86,00 87,00 1,98
44,00 45,00 88,00 89,00 1,98
45,00 46,00 90,00 91,00 1,98
46,00 47,00 92,00 93,00 1,98
47,00 48,00 94,00 95,00 1,98
48,00 49,00 96,00 97,00 1,98
49,00 50,00 98,00 99,00 1,98
50,00 51,00 100,00 101,00 1,98

Большее.

Тогда как-то так

В принципе, похоже. То есть, если теория объясняет этот эффект, то получается что всё это не проблемы матрицы, а проблемы обработки. Нужно учитывать отрицательные значения, а не отбрасывать их.

Тут вот есть еще какая штука. При съемке серии черных кадров подряд на одной и той же выдержке видно, что имеется разброс значений для одного и того же пиксела.

Так ведь шум

Точно так, при этом после вычитания для некоторых пикселов на одном снимке значение получается отрицательное, а на другом снимке - ноль или положительное.

Так ведь да.

А вы как хотели-то :-) ?

Я расчитывал по матожиданию.

Я бы - знать, как вычитать :-)

Мое естественнонаучное образование подсказывает мне, что если отношение сигнал-шум 0.5 или даже 2, то пить боржоми на тему линеаризации поздновато.

Снимать много кадров и усреднять.

Я снимаю 3 кадра: 0EV, +3.5EV, -3.5EV. Если разрешение терять нельзя, то несколько троек, в панораму.

Если можно снять несколько кадров, то не лучше ли снимать с одинаковой экспозицией?

На кэнонах это возможно хотя бы в теории.

Подавляющее большинство остальных камер вычитает уровень черного самостоятельно.

На кэнонах это возможно и на практике. 32 бит на канал позволяет отрицательные значения. Достаточно импортировать с запасом, потом наложить слой вычитающий.

Кстати, по непонятной мне причине, есть очень много точек с сильно отрицательными значениями, гораздо ниже трёх сигм.

Остальные - ну... Можно придумать хитрый фильтр, который будет восстанавливать линейность.

Дело же не только в битности. На кэнонах разумный способ оценки уровня черного - это усреднение (кусочка) черной рамки (по каждому каналу отдельно). И эти значения плавают и с температурой и с ISO и вообще плавают. А ошибка на единичку - неприятная.
Возможно, нужна ручка в конверторе, которая позволит регулировать тени на глазок (перерегуляция в другую сторону - тоже ничего хорошего, контраст в тенях излишне задирается вместе со всем шумом). Ну и усредненный dark frame.

В том что касается характера распределения - сказать пока ничего не могу, варез считает минимум, максимум, среднее и дисперсию, до гистограммы еще не дошел.

Если считать всё на float (а я о чём говорил) то ошибки на единичку не будет.

Кстати, у чёрной рамки фильтров нет, как считаь с неё по каналам? Я визуально смотрел, там никакого байеровского рисунка нет.

Да, то что float улучшает тени - известно. И считать, конечно, надо так.

Что же до фильтров, то что есть они, что нету - разницы никак выяснить не получится, ибо света там точно нет, фильтровать нечего.

В таком случае какая разница в поканальном балансе черного?

Если бы каждый канал считался своим ЦАП - да, а так ведь нет.

У D3 этих АЦП аж шесть штук.
И вообще, их обычно более одного. А еще бывают разные коэффициенты усиления по каналам.

Но как, если там построчно считывает АЦП?

Они же не под 45 градусов расположены.

Как у Никона это устроено - не знаю. Может быть каждая пара - свою треть матрицы обрабатывает.

А так - обычно по столбцам, не по строкам.

Ты знаешь, вот читаю я который раз твое вполне обоснованное мнение про проблемы нелинейности в тенях, связанные с профилями, и все не могу понять его практического применения.

Да, отклонения в цвете есть (странно, но с появлением профилей они стали меньше, чем было до того, а не больше). Да, я эти отклонения могу увидеть. Не очень большие, но есть. Но ... сказать, что эти отклонения как-то портят цвет - не могу. Цвет у меня в любом случае определяется моим вкусом, а не тем, что было, и отклоняю я его намного дальше, чем делают профили при экспокоррекции в конверторе. И при любом цвете на входе на выходе я получу одно и то же :)

При этом очевидный выигрыш для цвета от ETTR (когда при съемке коррекция максимально в плюс, а при обработке - в минус) я уже показывал. И это ничем другим не заменить.

Если рассматривать workflow "по Маргулису" (да и вообще, это разумная последовательность), то там три последовательных шага
- борьба с неверным цветом исходника
- управление контрастом
- управление насыщенностью

Вот правильный профиль позволяет первый шаг свести почти к нулю работы в простых случаях.

Отсюда и борьба за него.

Если первую часть назвать все-же не "Борьба с неверным цветом", а "борьба за нужный цвет", то правильный профиль ничего не упрощает, нужный цвет всегда индивидуален. Ну за исключением колометрически верной репродукции картин и съемки моделей с точной передачей цвета кожи.

Пленочные профили в RPP делают красивые искажения цвета, да. Но это все-таки просто некий пресет, а я делаю разный цвет под разные фото, шаблон меня неинтересует.

Т.е. выигрыш какой-то в простых случаях есть, верю. Но проигрыш уж больно очевиден. И чем больше контраста и насыщенности мы делаем на шагах 2 и 3, тем больше очевидней проигрыш.

Да, можно играть на ненастроенном рояле. Но зачем?

Продолжая твою аналогию, видимо потому, что это не требует никакого дополнительного мастерства, зато дает более чистый звук и возможность играть более сложные произведения ... :)

Да на самом деле говно вопрос - сделать профили под экспокоррекцию. Только вот не сделал никто, а мне самому лень возиться.

Может быть ты планируешь жить вечно и тогда привыкать каждый раз к новому роялю можно сколько угодно, это неважно.

Профиль (входного устройства) - это способ сократить затраты времени на рутинные операции примерно до нуля. Можно не пользоваться. Точно так же можно не пользоваться профилями выходных устройств, а каждый раз подгонять по месту.

Я не знаю, о каких рутинных операция в данном случае ты говоришь. Подбор интересного цвета у меня в любом случае - процесс творческий. Что с использованием экспокоррекции, что без него. Количество кнопоконажатий - одинаковое. Волшебных профилей, находящих для меня правильный цвет я не вижу ни в LR, ни в RPP.

Скажите, художник, а почему у вас трава голубая, а небо - зеленое....?

У меня цвет травы не зависит от экспокоррекции при обработке :)

И с другой стороны - я ж показал http://skoblov.livejournal.com/76291.html чем полезен ETTR. Какой в оригинале был цвет неба - не важно, важно что без ETTR у него все плоховато с цветом становилось.

Приколы нашего городка заключаются в том, что *огромная* часть цветных шумов является следствием целочисленной обработки, особенно на низком сигнале (вылет за гамут, вылет в минуса и округление).

И адобовский движок (и ACR и LR) этим местом сильно болеет.

Сухой остаток: да, наверное, во многих конверторах эта проблема есть.

Предлагаешь пропустить те же исходники через RPP? :) Я тестировал RPP. Ничего волшебного не увидел по качеству, чтобы ожидать, чтобы на этом тесте будет по-другому. Но могу попробовать еще раз, правда вмварь придется переустановить.

Впрочем, если все дело в том, что конвертор плохо работает со слабым сигналом (правда он в этом случае не так уж и слаб), то видимо придется говорить не о том, что съемка с экспокоррекцией вредна, а вредна она только для конкретного конвертора. А для другого - полезна :)

Дело вообще в любом out of gamut.

Другой вопрос, что около нуля (по одному из каналов), равно как и около точки белого, это out of gamut достигается легче легкого.