Про ZFS и манипулирование данными

lexa - 06/Ноя/2016 19:23

Таскал тут данные туда-сюда, RAIDZ1 разобрать, RAIDZ2 собрать.

Но так как дисков/питания на "поднять оба массива сразу" не хватало, делал это хитровывернутым образом - скопировал на одиночные диски, потом собрал degraded-массив без этих дисков (подстановкой файликов из нулей вместо них), скопировал обратно, восстановил четность.

И смотрю я теперь на iostat -x 100 и не радуюсь:

device     r/s   w/s    kr/s    kw/s qlen svc_t  %b
da0      330.3  10.1 11156.0   104.6    0   3.9  20
da1      330.2  10.4 11152.1   107.8   ...

Sony, ты одурела!

lexa - 06/Ноя/2016 10:42

353000/3500 = 100.85 рублей за доллар?

А для 70-200/2.8FE курс получается 92 рубля ровно, фотографам тоже расслабляться не стоит.

Поддерживает ли UFS2 файлы больше 1Tb?

lexa - 03/Ноя/2016 11:54

Да, поддерживает (интернеты в этом расходятся, было немножко нервно):

lexa@home-gw:~# ls -l /DATA/
total 3446778112
-rw-r--r--  1 root  wheel   877456780272 Nov  2 18:24 archive-books3
-rw-r--r--  1 root  wheel  1844203276336 Nov  3 01:49 archive-photoarc
-rw-r--r--  1 root  wheel   171793351432 Nov  2 19:47 archive-photoother
-rw-r--r--  1 root  wheel   635185397760 Nov  3 11:49 archive-raw-archive
 

Это уже второй 6-терабайтник заполняется, игра в 15, так ее растак:

  • Cбэкапить текущий ZFS (6x4Tb, RAIDZ1)
  • Собрать новый в деградированном виде (6xTB, RAIDZ2, два висят
    • ...

FastRawViewer 1.3.6: релиз

lexa - 02/Ноя/2016 19:10

FastRawViewer 1.3.6 выпущен "на Россию", брать на официальном сайте.

В сравнении с последней бетой, изменена мелкая мелочь: если в EXIF-данных в фокусном расстоянии оптики написано 0мм (но сама запись - есть), мы не показываем Lens: 0mm в панели EXIF, а просто эту строчку не показываем (ибо бессмысленна).

FastRawViewer 1.3.6-995

lexa - 27/Окт/2016 17:39

Пришла пора освежить бету 1.3.6 (не пугайтесь, что номер версии в заголовке и в ссылках на скачивание не совпадает - правим, публикуем, рабочий процесс, а если обновить заголовок, то изменится URL)

Тут были прямые ссылки но вышел релиз, берите на официальном сайте

По сравнению с предыдущей версией изменения незначительны:

  • Drag-drop фолдеров-файлов в главное окно программы работает во всех случаях (не работало - если выдавались сообщения "нет файлов для показа", "поломаный raw-файл", теперь эти уведомления принимают дропы).
  • Обновлена документация - там оставались упоминания .fastrawviewer.ini
  • Обработка файлов Fujifilm X-Trans Compressed у которых в метаданных записана некорректная длина блока данных.
  • Восстановлена правильная обработка чтения XMP из RAW-файлов, которую продолбали на ранних билдах версии 1.3.6
  • Иконка "использовалась вспышка" правильно меняет свой размер при изменении шрифта интерфейса.
  • Иконки "использовалась вспышка" генерируются (с соответствии с размером шрифта) отдельно для панели EXIF и для нижней строки.
  • Новый элемент нижней строки 'Selected files count', по-умолчанию выключен.
  • Sony: при подключении оптики через адаптер без контактов - объектив показывается как Lens: Undefined

Sale: ручные цейссы 50/2 ZF, 35/2 ZF, 28/2 ZE

lexa - 23/Окт/2016 17:10

Очередная порция закромов на распродажу, не используется.

Цена: ориентировался на ebay (проданные лоты, без доставки) и на "55% цены нового в Москве" (получилось близко)

I. Объектив Zeiss Makro Planar 50/2 ZF

Долгое время работал у меня пейзажным полтинником, вытеснен соневским 55/1.8

Состояние: оптически ОК, на оправе потерта краска, наверное вот "состояние 4+". Не падал, не тонул.

Комплект полный: объектив, крышки, бленда, коробки, документы.

Байонет никоновский (ZF, не ZF2, т.е. без контактов), я использовал с переходником на Canon, будет желание -...

О новых технологиях, мать их за ногу

lexa - 21/Окт/2016 18:27

Постоянные читатели этого блога уже знают, что недавно я сменил беспроводную мышку на проводную.

Пришла очередь клавиатуры: последние дни вечерами я чудовищно страдал уже от клавиатуры: буквы набирались не сразу, иногда двоили и все такое. Я даже винду восстановил из бэкапа двухнедельной давности (думая что какой-то апдейт чего-то кривой прилетел), но не помогло.

И вот сегодня - опять.

Воткнул проводную такую же (Logitech Wave) - как рукой сняло.

Подозреваю теперь, что соседи снизу включают направленную в меня микроволновку  обзавелись какой-то бытовой техникой, которая на 2.4 гигагерца гадит. И придя с работы - ее включают

Пойду значит в лабаз за нормальной механической кнопочной, осталось только выбрать.

А подозрения в протухлости беспроводной мыши были, похоже, напрасными.

О цвете ЦФК

lexa - 18/Окт/2016 11:24

После выхода каждой новой камеры начинаются стоны, дескать старые давали цвет, а теперь вот утеряно искусство.

А можно просто достать (линейку) и померяться.

Вот просто взять, к примеру, сырые данные (но снятые одинаково, при одном освещении, одной оптикой) и сравнить.

Вот Илья Борг взял и сравнил Canon 5D Mark III, 5Ds, 5DsR, 5D Mark IV, читайте:  Color Differences Between Cameras (извините за басурманский).

Что получается, если вкратце:

  • Если баланс белого ставить правильно (например, по камерному пресету)
  • И снимать в повторяемых условиях (свет, оптика)
  • То на ColorChecker 24
  • Разница в dE в пределах 3 единиц
  • Что - копейки и компенсируется, например, профилем камеры (заметим, в исследовании профиль камеры не применялся, а сравниваются нормализованные (к одному максимуму) и сбалансированные по белому данные).

Отчего же на практике оно не всегда так? Да от неповторяемости:

  • Разный свет
  • Разная оптика
  • Сравниваются разные сцены
  • Применяются непонятно откуда взятые пресеты/профили камер (и да, в первых версиях конверторов с поддержкой новой камеры - профиль зачастую сделан из того что было, нашли какой-то снимок мишени с неизвестным цветом и сняли).

P.S. конечно, при сравнении камер от разных производителей, авторы фильтров CFA которых решали одну и ту же задачу ("правильного цветовоспроизведения"), но (скорее всего) с несколько другими приоритетами, разница в RAW-данных скорее всего будет больше и имеет смысл строить, к примеру, простейшие матричные профили и сравнивать с их использованием.

FastRawViewer 1.3.6-989: продолжаем тестирование

lexa - 15/Окт/2016 10:47

Продолжаем тестировать 1.3.6, вашими стараниями поправлены несколько неприятных проблем, хотим еще:

Тут были прямые ссылки но вышел релиз, берите на официальном сайте

Не пугайтесь, что номер версии в заголовке поста и в ссылках на скачивание различается, просто поправили еще одну мелочь.

Относительно предыдущего варианта, исправлены проблемы:

  • Исправлен memory leak при просмотре файлов Foveon
  • Исправлена обработка форматов sRAW/mRAW для новых камер Canon
  • Добавлена дополнительная проверка целостности файлов Samsung NX
  • Обновлена документация (только список поддерживаемых камер)
  • Ориентация для файлов
    • ...

RawDigger 1.2.15

lexa - 14/Окт/2016 18:26

Релиз-кандидат, если не будет жалоб - зарелизим  Выпустили: http://www.rawdigger.ru/download

Wanted: sRAW1/sRAW2 от Canon 5D Mark IV

lexa - 14/Окт/2016 10:45

Спасибо, файлы прислали. Интернет работает!!!

Собственно, в заголовке все написано: очень нужны примеры формата sRAW (обоих вариантов) от 5D Mark IV. Тут вылезла особенность в 80D (неверное креативное указание размера в LJPEG-заголовке) и очень надо проверить, нет ли такого же у 5D4.

Cюжет любой (но как-то узнаваемый, белый лист бумаги на снегу - не надо, черная...

Готовь сани летом

lexa - 10/Окт/2016 11:57

В очередной раз задолбался с посудным мешком на семью (пять мисок, пять кружек, пять ложек, один нож), он килограмма два  у нас весит, и стал решать проблему системно, вот приехал первый сампл:

Для сравнения, миска из нержавейки (среднего размера) весит 110г, термокружка 0.4л из той же нержавейки - 250г.

То что на снимке - совсем уж экстремальное, кружка на 200 кубиков,...

Pages

Subscribe to blog.lexa.ru: все статьи