RawDigger 1.2.16 (release candidate)

Что-то давно мы RawDigger не обновляли. Значит пора, заодно и юбилейный билд:

Update: RD 1.2.16 выпущен, брать на официальном сайте

Изменения:

  • Поддержка камер:
    • Canon EOS M5
    • Google Pixel, Pixel XL
    • Hasselblad X1D, True Zoom
    • Olympus E-M1-mkII
    • Panasonic DMC-FZ2000/2500/FZH1, DMC-LX9/10/15
    • Samsung Galaxy S7, S7 Edge
    • Sony ILCA-99M2 (A99-II), ILCE-6500
  • Exiftool обновлен до  10.36
  • Исправлена проблема показа некоторых старых Canon sRAW

Пробуйте, жалуйтесь. Не пожалуетесь - выпустим эту версию в качестве релиза.

Samsung NVME Drivers

В октябре самсунг обновил свои NVME-драйвера для Windows, выпустив версию 2.0 (которая, да, свежее более старой 2.4, потому что старые были версия 1 релиз 2.4 или как-то так).

Вот дошли руки обновиться, слева направо "было-стало", это 950 Pro:

Маловероятно, что 10% прирост на больших блоках заметит хоть какое-то...

Заканчивая неделю ZFS

Заканчивая неделю (или полуторамесячник) ZFS, финальные тесты. Списал данные, добавил еще один диск, прежде чем возвращать данные - маленько потестировал

Оборудование: i3-6300T, 32GB RAM, 7 дисков (6Tb HGST: 4 штуки 7k6000 и 3 штуки He8), диски подключены к чипсетному контроллеру (Intel C236).

Окружение: FreeBSD 11.0-p4

Методика: собираем пул, делаем на нем один датасет с размером блока 1m или 128к, пишем 200-гигабайтный файл
dd if=/dev/zero of=/zdata/testset bs=1m count=200k
Затем читаем этот файл той же командой dd в /dev/nul с...

Есть многое на свете....

А вот возьмем OS X Sierra. Есть один (то есть единственный) пользователь, на компьютере которого не работает такой вот код:

QString xmpfile = ....; // вычислить имя XMP из имени raw
QFile xmpw(xmpfile);
if (!xmpw.open(QIODevice::WriteOnly)) -> тут обрабатываем ошибку

И ошибка - EACCESS, прав нету

А вот такой вот код работает:

QString xmpfile = ....; // вычислить имя XMP из имени raw
int fd = open(xmpfile.toUtf8().data(), O_WRONLY | O_CREAT | O_TRUNC, 0664);

То есть открывается дескриптор...

(надеюсь) в последний раз про ZFS

Перебросил один (самый большой) датасет туда-сюда, старый пока не стирал.

И вот сравнение ("чтение реального микса файлов"):

Было (правда я через 20+ минут задолбался ждать и нажал Ctrl-C, за это время оно прочитало 200Gb):

$ tar cf - datasetname |  dd of=/dev/null
^C418664864+0 records in
418664864+0 records out
214356410368 bytes transferred in 1414.744341 secs (151516005 bytes/sec)

Стало (аналогично, прервал прочитав 200Gb):

$ tar cf - /archive2/datasetname |  dd of=/dev/null
^C421087495+0 records in
421087494+0 records out
215596796928
...

Если вы планировали купить RawDigger или FRV

Наш сервис обработки платежей (MyCommerce/Digital River/RegNow) сообщает нам:

И не врут, действительно, с 1 января начинает работать "налог на гугл".

Если вы планировали в ближайшее время покупку RawDigger или FastRawViewer - не откладывайте "до после нового года", станет дороже (касается, понятно, только России).

Мы, конечно, немножко подкорректируем цены вниз, чтобы они продолжали выглядеть красиво, но именно немножко, не на 18%....

Анонс: Монголия-2017

Мопед не мой, я просто разместил объяву!

В прошлый раз тут было недовольство, дескать поздно зову, поэтому в этот раз - за полгода с небольшим.

C 13.06.2017 по 05.07.2017 компания Алтай-Гид организует очередную экспедицию в Монголию.

Предуведомление: у Алтай-Гида - это бизнес, к которому я не имею отношения (я там многолетний и очень довольный клиент). Однако данный тур...

Slow ZFS read: проблема не в коде а в данных на диске

Картинка, вероятно, уже надоела, но вот вам очередная порция тестов.

Ящик: Intel i5-2400, 16Gb RAM, Adaptec 5805, 5x4Tb (HGST NAS) в JBOD, собраны в RAIDZ2.

Свободного места достаточно:

$ zpool list
NAME      SIZE  ALLOC   FREE  EXPANDSZ   FRAG    CAP  DEDUP  HEALTH  ALTROOT
zdata    18,1T  5,11T  13,0T         -     9%    28%  1.00x  ONLINE  -

настройки в loader.conf:

vm.kmem_size="15G"
vfs.zfs.arc_max="14G"

Загружаем FreeBSD 11.0-RELENG:...

FreeBSD ZFS read: 11-STABLE тоже поломана

Все оказалось еще гораздо хуже, чем казалось на первый взгляд:

  1. FreeBSD 11-STABLE тоже поломана
  2. И поломка - это свойство, возникающее при записи файла.

Давайте значит по порядку.

I. Другой ящик:

  • i3-6300T, 32Gb RAM, 6 дисков по 6Tb в RAIDZ2, диски подключены к контроллеру на материнке.

II. Берем FreeBSD 11-STABLE, конкретно вот эту вот:

FreeBSD home-gw.lexa.ru 11.0-STABLE...

FreeBSD ZFS read speed: они убили кенни!

Вчерашний вечер у меня тоже прошел не скучно.

Я взял уже знакомый вам стенд:

  • i5-2400, 16GB RAM
  • LSI 9211-8i (FW 16.0, IT-mode, без BIOS)
  • 7 дисков WD1003FBYX

И начал делать так:

  1. Скачиваю с ftp.freebsd.org FreeBSD-NN.y-RELEASE-amd64-memstick.img
  2. Пишу его на флешку
  3. Загружаюсь с этой флешки (никаких дополнительных настроек!)
  4. Собственно тестирую:

zpool create -O recordsize=nn ztest raidz2 /dev/gpt/DISK[0-5/6]
...

Про ZFS prefetch (2)

Продолжение вот этого вот текста, теперь более систематически.

АХТУНГ. Все описанные ниже эксперименты (и прошлая серия экспериментов) - относятся ТОЛЬКО к FreeBSD-12. На 10.3-11.0 (РЕЛИЗНЫХ, в -stable все похоже хуже) картина принципиально другая и деградации скорости чтения при маленькой глубине префетча нет.

Провел вчерашнее утро, а затем - вечер за стендом,  который схематически показан на картинке (там 7 дисков, потом...

О правильных точках отсчета - дополнение

Я маленько подумал, и решил, что в моей заметке О правильных точках отсчета не хватает еще одного куска. По смыслу - между имеющейся содержательной частью и "моралью".  Вот он:

Возьмем теперь другой кадр, та же сцена снята той же камерой, но на ISO200. Размножим его аналогично (оригинал, конверсия в DNG с помощью Adobe DNG Converter, конверсия в DNG digiKam). RAW-гистограмма всех трех кадров совершенно одинакова, поэтому приведем на этот раз только одну:

...

4 года прогресса

Берем одну и ту же FreeBSD11 и делаем

time make -j8 buildworld

Сначала на i3-2120:

А потом на i3-6300T (пересадив диск на другую материнку)

Тактовые частоты одинаковые (3.3Ghz), платформы (материнка, сокет, тип памяти) - понятно что разные, но это как раз нормально т.к. апгрейд процессора "на 4 поколения" всяко сопровождается сменой платформы. Диск - SSD, памяти достаточно, чтобы влезли и исходники и получившийся результат (в сумме...

О правильных точках отсчета

Дней 10 назад, когда появились первые тестовые RAW от Olympus E-M1-II я в них заглянул и захотел про эту камеру написать, но заела текучка, может быть еще и напишу.

В процессе написания того текста, возник отдельный пунктик, на который хочется отдельно обратить внимание на реальных примерах.

Вот, к примеру, обсуждение:

Вот это вот «определенно лучше тянется вверх» нуждается в детальном комментарии (чтобы потом на него ссылаться...

О «шумных высоких ISO»

Чем дальше в лес - тем толще!

Одним из самых распространенных заблуждений среди (цифровых) фотографов является такое:

Высокие ISO – шумные! Больше ISO – больше шум!

Это – очень вредное заблуждение (которое, в частности, загубило часть моих ночных кадров), типичный случай перестановки причины и следствия. Хуже всего то, что это заблуждение проникает во всякие фотографические курсы и ранит неокрепшие души фотографов-новичков.

Давайте разбираться на конкретных примерах.

Говорить о влиянии ISO имеет смысл, если мы зафиксировали остальные параметры, а...

Exclusive! blog.lexa.ru Black Friday Deals!!!

(Подсмотрел у Питенина в фейсбуке)

По случаю почернения пятницы, объявляется скидка 10% на все, что я тут распродаю потихоньку:

  • Видеокарты
    • NVidia GTX970 в исполнении ASUS Strix: Продано.
    • AMD Radeon 7970HD: 7000р  6300р
  • Оптика Zeiss
  • Оптика Pentax67:
    • Pentax67 55/4 (прекрасно сочетается со следующим пунктом):
  • ...

Exposure triangle: WTF?

В буржуйском интернете постоянно встречается словосочетание Exposure Triangle и я его долго терпел, пока не попалась вот эта вот статья:

The Exposure Triangle – A Beginner’s Guide

После чего я уже терпеть не могу.

Давайте разбираться:

Допустим, у нас есть какая-то сцена и мы знаем, какая там должна быть экспозиция (ну вот знаем и все). Тогда у нас

  • Для конкретного поставленного ISO
  • ...

Sale: Asus/NVidia GTX970-DC2OC

добавил картинок, освежил дату

Продается:

Видеокарта Asus GTX970-DC2OC

 

Продано.

Про ZFS prefetch

Вынесу из комментариев, потому что это важное, чтобы потом самому было легче найти.

АХТУНГ. Все описанные ниже эксперименты (и прошлая серия экспериментов) - относятся ТОЛЬКО к FreeBSD-12. На 10.3-11.0 (релизных! со -stable все сложно) картина принципиально другая и деградации скорости чтения при маленькой глубине префетча нет.

Собрал я тут ZFS массив на следующие (я надеюсь) лет пять: 6x6Tb, в RAIDZ2 (2 - потому что я устал срочно бегать в магазин, покупать замену вылетевшему диску), диски HGST, правда разные...

Про поддельный макинтош

Давно не писал про хакинтоши (а все что в том разделе написано, то давно устарело, теперь Clover) и, честно говоря, даже и не хотелось.

Но вот имеющийся дома МакМини (примерно 2007 года) уже совсем устарел, OS X свежее 10.7 на него не ставится, а многие программы уже поддержку 10.7 (да и 10.9 уже) подропали. Надо новый.

Но, блин, новые миники (которых 2 года не обновляли) это

  • Старые процессоры
  • Чудовищная цена за кастомную версию: 16RAM/256SSD мне российский Apple
  • ...

Ахтунг: Paypal, Ebay, сломалась опция "конверсия банком"

Наткнулся второй раз (29 октября и сегодня) на такую фигню:

  • При оплате на ebay через Paypal, счет выставлен в валюте (это были AUD и EUR)
  • При выставлении в пейпале опции "конверсия карточной системой/банком"
  • Платеж не проходит.
  • А если ставить опцию "конверсия пейпалом" - то проходит, списываются рубли. По известно какому (конскому) курсу пейпала.

Первый раз цена всего вопроса была меньше $2 (то есть на потери я тупо наплевал), второй раз 29EUR - и тут я уже позвонил в саппорт пейпала.

В саппорте мне сказали:

  1. Проблема известная
  2. "проблема не у них" а в выставлении счета ebay
  3. Они уже знают и чинят.

Короче, если у вас валютная карта (как у меня) и вы не хотите терять на двойной конвертации (как я), то с покупками на eBay стоит подождать с недельку, а потом попробовать на какой-то очень мелкой ерунде.

P.S. На фейсбуке мне пишут "все работает". У меня - все не работает, но карты при этом ВТБ24 и просто ВТБ (Банк Москвы), может дело в банке еще.

UPD: по состоянию на 20 ноября, долларовый платеж без лишних конверсий проходит при оплате пейпалом не-ebay.

10 лет в эфире

Забегался и пропустил юбилей.

Этот бложик с вами уже 10 лет ну и еще 6 дней.

Про ZFS и манипулирование данными

Таскал тут данные туда-сюда, RAIDZ1 разобрать, RAIDZ2 собрать.

Но так как дисков/питания на "поднять оба массива сразу" не хватало, делал это хитровывернутым образом - скопировал на одиночные диски, потом собрал degraded-массив без этих дисков (подстановкой файликов из нулей вместо них), скопировал обратно, восстановил четность.

И смотрю я теперь на iostat -x 100 и не радуюсь:

device     r/s   w/s    kr/s    kw/s qlen svc_t  %b
da0      330.3  10.1 11156.0   104.6    0   3.9  20
da1      330.2  10.4 11152.1   107.8   
...

Sony, ты одурела!

353000/3500 = 100.85 рублей за доллар?

А для 70-200/2.8FE курс получается 92 рубля ровно, фотографам тоже расслабляться не стоит.

Поддерживает ли UFS2 файлы больше 1Tb?

Да, поддерживает (интернеты в этом расходятся, было немножко нервно):

lexa@home-gw:~# ls -l /DATA/
total 3446778112
-rw-r--r--  1 root  wheel   877456780272 Nov  2 18:24 archive-books3
-rw-r--r--  1 root  wheel  1844203276336 Nov  3 01:49 archive-photoarc
-rw-r--r--  1 root  wheel   171793351432 Nov  2 19:47 archive-photoother
-rw-r--r--  1 root  wheel   635185397760 Nov  3 11:49 archive-raw-archive

 

Это уже второй 6-терабайтник заполняется, игра в 15, так ее растак:

  • Cбэкапить текущий ZFS (6x4Tb, RAIDZ1)
  • Собрать новый в деградированном виде (6xTB, RAIDZ2, два висят
  • ...

Pages

Subscribe to blog.lexa.ru: все статьи