Вопрос: фильтрация данных со снимков мишеней

lexa - 24/Май/2013 09:40
А вот проведу опрос (в каментах)

На снимках мишеней для профилирования бывает лишнее. Грязь на мишени, грязь на матрице и так далее. Это дело принято фильтровать и в RawDigger такая фишка запланирована.

Понятно как фильтровать: оценить все значения в квадратике, посчитать среднее/дисперсию, все пиксели, не влезающие в "окно" значений - выкинуть, пересчитать по невыкинутым.

Есть два варианта определения окна:

  1. Все что не влезает в окошко по "сигмам". Ну там ±2σ - пущаем, остальное - не пущаем.
  2. Установить лимит в штуках. Ну там по 10% верхних и нижних значений - отрезаем.
Результат будет - в нормальных условиях (пылинка не занимает больше 10% площади патча) - примерно одинаковым.

А вот как понятнее?

Comments

corbenov (not verified) - 24/Май/2013 10:38

Если результат одинаковый, то зачем усложнять ?
Я вот не знаю что такое сигма и % как-то понятнее

lexa - 24/Май/2013 10:55

Проблема в том, что
а) в сигмах - правильнее
б) и проще считать (меньше модификаций существующего кода)

corbenov (not verified) - 24/Май/2013 11:32

Тогда ответ на ваш вопрос будет в том для кого вы делаете этот софт.
Для программистов или для конечных юзеров ?

Если второе - то:
1) юзерам все равно как "правильно", им нужен результат
2) см. п. 1

lexa - 24/Май/2013 11:38

Да, вопрос скорее именно про конечных юзеров: понятна ли им "сигма".

Правда ниже Слава пишет, что выкидывать верхнюю-нижнюю дециль и научно вернее.

jabbervorx - 24/Май/2013 10:47

IMHO, в сигмах правильнее.

_slw (not verified) - 24/Май/2013 10:54

вариант 2.
так написанно в методичке

lexa - 24/Май/2013 11:02

На обработку данных?

Аргумент, да!

_slw (not verified) - 24/Май/2013 11:14

ага, в ней.

lexa - 24/Май/2013 11:25

А вот профессор по обработке данных (терверу и статистике) говорит что без гипотез о виде ошибок - можно и так и эдак, один хрен.

_slw (not verified) - 24/Май/2013 11:31

у нас методичка была по обработке эксперементальных данных. т.е. гипотезы туда были уже заложены

gigacyan (not verified) - 24/Май/2013 11:53

10% отрезать как-то неправильно - если пылинки дают перекос в одну сторону, то отрезав поровну с обеих сторон, можно сдвинуть среднее значение. А если просто медиану считать, ничего не обрезая? Или слишком медленно?

lexa - 24/Май/2013 12:14

Для целей профилирования, возможно, медиана лучше (хотя вот ее не используют почему-то, более того на участках около насыщения - медиана себя будет вести, наверное, неправильно).

Проблема в том, что для остальных применений среднее как-то более понятно. Вводить медиану вместо среднего - нельзя, а вместе со средним - поменяет сильно больше, чем хотелось бы поменять).

Но да, идея интересная, как минимум систематический пиксельный шум (хотпиксели) отфильтрует.

ReAl (not verified) - 24/Май/2013 14:25

Если пылинок набегает даже 1% по площади (испорчено 100 пикселей в квадрате 100х100), то это уже грязь, а не пылинки.
И то при отрезании по 10% с каждой стороны сместит уже не сильно.

wrest (not verified) - 24/Май/2013 15:43

А какую метрику будешь применять для определения "верхних" и "нижних"? Дельту Е после конвертации по умолчанию?
Или просто выкидывать поканально?

lexa - 24/Май/2013 15:51

"Верхние/нижние" - это в диапазоне значений.

Считая плашку ровной (одноцветной) - это ж эквивалентно dE в первом приближении.

wrest (not verified) - 24/Май/2013 16:20

Ну я ж и говорю -- сначала *как-то по умолчанию* конвертировать RAW в Lab, затем сделать баланс белого по серым плашкам, потом *как-то* посчитать среднее Lab по плашке, а потом дельту E от среднего по-пиксельно и то что не уложится в сигмы/проценты -- откинуть, и заново пересчитать среднее Lab по плашке, которое и использовать для профилирования?

lexa - 24/Май/2013 16:42

Плашка снимается с целью построить профиль камеры, т.е. то самую конвертацию RAW в Lab

Проблему курицы и яйца вижу я!

jabbervorx - 24/Май/2013 17:25

half не создаёт проблему.

Anonymous (not verified) - 24/Май/2013 18:28

> half не создаёт проблему.

и каким образом он отменяет необходимость color transform в нужное вам пр-во ?

jabbervorx - 24/Май/2013 19:27

Я отвечал на другой вопрос. Суть как я понимаю примерно такая: чтобы в числах иметь качественное представление о цветах, которое соотносится с тем, что видит человек, нужен профиль. Если человеку очевидны небольшие пертрубации синего на зелёном фоне, то алгоритму демозаики порой трудно разобраться из-за относительной слабости синего в канале яркости и неправильной интерпретации его в силу неверного профиля. Именно для этого может быть полезен правильный профиль камеры, о котором тут речь. Интерполяция half способна выдать _цвет_, который необходим для профилирования, не используя настоящую демозаику, она как бы не особо нужна тут.

Anonymous (not verified) - 24/Май/2013 19:42

но проблема курицы и яйца (см постинг AT на который вы отвечали) относилась (заложусь и напишу - наверное) к необходимости использовать какой-то "неправильный" (ибо только он и есть на этот момент) "профиль" для того чтобы рассчитать что-то ( после color transform'a RGB координат после демозаики - даже если half - используя этот "неправильный" "профиль" в какое-то правильное цветовое пр-во ) что будет использоваться (фильтрация всякой грязи, шума, etc) для построения "правильного" "профиля"... использование half (а ля rpp) к данному вопросу о курице и яйце таки ортогонально (хотя и правильно)

lexa - 24/Май/2013 19:44

Ну и главное - в первом (вполне приличном) приближении, чем дальше значение в пикселе от среднего, тем больше будет dE от среднего. Да, наверное, у синего канала это выражено меньше, а у зеленого - больше, ну и что?

Iliah Borg (not verified) - 24/Май/2013 18:27

deltaE - как минимум, ничем не лучше. Перевести можно и по профилю камеры, но вот сама мерика deltaE осмысленна здесь тогда, когда хорошо известно, как неравномерности отрабатывает пакет профилирования.

Anonymous (not verified) - 24/Май/2013 18:29

> А вот как понятнее?

а дать человеку возможность выбора в UI - что ему понятнее то пусть и использует

lexa - 24/Май/2013 18:32

Люди которые способны выбрать и для них существенна разница - способны сами спрограммировать на LibRaw что хотят.

Anonymous (not verified) - 24/Май/2013 18:36

> Люди которые способны выбрать - способны сами спрограммировать на LibRaw что хотят.

способны != будут... посему таки дать опцию выбора Ё-) и снять вопрос с повестки

lexa - 24/Май/2013 18:49

Ради этого исчезающе малого процента пользователей (которым есть осмысленная разница) - программировать два пути расчета (а они, сюрприз, маленько разные) нет смысла.

Потому что им же нужна и медиана и, вероятно, какие-то еще метрики и прочая. Ну пусть возьмут свой Матлаб и вперед.

А остальным пользователям - придется объяснять разницу (или, точнее, что разницы для их целей - нет), опять тратить силы на бессмыслицу.

Anonymous (not verified) - 24/Май/2013 18:58

тогда нужно сделать просто - предоставить один слайдер в ни о чем не говорящих единицах и все (как вариант просто чекбокс - убрать пыль или нет)... а внутри как душе нравится.

lexa - 24/Май/2013 19:09

О!

Вот это правильная идея!

jabbervorx - 24/Май/2013 19:31

Тоже поддерживаю простой крыжик "удалить пыль и мусор"

Anonymous (not verified) - 24/Май/2013 19:44

дайте два

1) пыль

2) мусор

lexa - 24/Май/2013 23:08

3) мелкие камушки
4) кирпичи

Egor Egorov (not verified) - 28/Май/2013 00:13

Любой нормальный человек знает, что такое сигма и нормальное распределение. Ну вот любой. Спроси продавицу в киоске - она знает. Не говоря уже о фотографе.

То ли дело эти ваши заумные проценты. Совершенно контринтуитивная единица исчисления. В реальной жизни с детства люди привыкают считать сигмами и отклонениями, а не частями целого.

Так что я за сигму!
</sarcasm>

lexa - 28/Май/2013 09:08

Уже прокомпостировано.

Есть галка, которая что-то делает (срезает по 10% значений сверху/снизу), а регулировки нет

Egor Egorov (not verified) - 28/Май/2013 13:11

http://xkcd.com/1172/