Еще о многопоточности

lexa - 22/Ноя/2019 09:56

Три недели в углу лежал незакрытый гештальт, надо закрывать.

Если кто помнит, то в прошлой серии мы дошли до того, что Qt-шная система signal-slot плохо масштабируется в многопоточном случае и нужно для передачи данных между потоками использовать что-то еще. Ну, к примеру, lock-free очередь (из TBB или вот эту, такой уж большой разницы я пока не обнаружил, хотя и должна быть).

Ну что ж, берем делаем приложение:

  • пачка потоков (1...32) делает какую-то простую работу (копирует строку)
  • складывает
    • ...

RawDigger 1.4 (beta)

lexa - 15/Ноя/2019 12:03

С этого постинга мы начинаем плавное тестирование RawDigger 1.4 в котором немало изменений, требующих этого самого тестирования.

Обновление GUI Toolkit

(давно) Используемый нами в RawDigger GUI-toolkit Qt4 (давно) перестал соответствовать современным операционным системам. В результате, мы вынуждены (постепенно) от него избавляться, причем, по тем же соображениям поддержки новых фич в ОС, менять на очень новую версию Qt 5.12

Помимо изменений в коде RawDigger (небольших), это подразумевает долгое и полноценное бета-тестирование:...

FastRawViewer 1.5.4 Release (final)

lexa - 11/Ноя/2019 08:42

FastRawViewer 1.5.4 наконец то выпущен и на английском сайте (а на русском сайте обновлены ссылки на версию).

По сравнению с предыдущим анонсом:

  • Камеры Fujifilm X-Pro3, Sony ILCE-6100/6300, Olympus E-M5-III переведены из "предварительно поддержаны" в "поддержаны" (это означает, что добавлены данные для совместимости с Adobe: Baseline exposure, расчет баланса белого в CCT/Tint).
  • Исправлена ошибка, на которую пожаловались в комментариях к предыдущему анонсу.
  • Исправлена ошибка: некоторые RGBA-TIFF файлы показывались некорректно.
  • FastRawViewer теперь знает про Photoshop 2020.

Если вы уже брали версию 1.5.4 с русского сайта, то

  • Можно перевзять (с русского или английского сайтов)
  • Можно подождать: дней через 7-10 мы добавим новую версию в уведомления об апдейтах и при проверке обновлений FRV вам сам скажет что пора.

LibRaw 201910 snapshot

lexa - 31/Окт/2019 18:09

Выпущен свежий snapshot LibRaw:

Изменений много, поэтому переводить обратно с английского не буду.

Ключевое долгожданное изменение - поддержка Canon CR3 - присутствует. Хочу сказать публичное громкое спасибо Алексею Данильченко: Алексей, СПАСИБО, без тебя мы бы вряд ли справились сами.

FastRawViewer 1.5.4 Release

lexa - 30/Окт/2019 14:22

FastRawViewer 1.5.4 выпущен, пока только "на россию", брать только на русском сайте: https://www.fastrawviewer.ru/download

UPDATE: версия на сайте обновлена после исправления ошибки.

Скопирую оттуда же список изменений (в этот раз он совсем небольшой):

Поддержка камер

  • GoPro HERO5, HERO6, HERO7, Fusion
  • Better support for Nikon Coolscan NEF files

Предварительная/неполная поддержка камер

  • Canon EOS M6 Mark II, EOS M200, EOS 90D
  • Fujifilm X-A7, X-Pro3
  • Olympus E-M5 Mark III
  • Sigma fp
  • Sony ILCE-6100, ILCE-6600

Новое/изменения

  • Настройка File
    • ...

Ускоряем многопоточную программу в 150 раз за три простых шага

lexa - 29/Окт/2019 18:22

Во вчерашней истории я, не задумываясь, предложил два способа решения проблемы congestion у Qt signal/slot в многопоточном случае: выдавать результат работы потока пачками и/или вообще выдавать его другим способом (через неблокирующую очередь).

Вчера вечером я проверил первый способ (сегодня задокументировал-нарисовал графики) и вот что у меня получилось:

Исходный псевдокод собственно обработчика выглядит так:

while(job = nextJob()){ result = processJob(job); emit processed(result); }

Давайте накопим результаты в пачку и выдадим эту пачку принимающей стороне:

while(job = nextJob()){...

Закон Амдала против 'interrupt rate'

lexa - 28/Окт/2019 12:02

Давно не писал о программировании, а тут вдруг повод появился.

Допустим, мы хотим на Qt в много потоков что-то фигачить. Ну, к примеру, читать метаданные файлов (или метаданные RAW-снимков из RAW-файлов). Понятно, что в реальной жизни это все упирается в диск, но если все уже было прочитано и закэшировано, то нет.

В реальной жизни прекрасно работает вот такой вот паттерн: запустим N threads и в каждой из них будем делать как-то так:

while(job = nextJob()){ result =...

Отчет о проделанной работе

lexa - 24/Окт/2019 13:20

Что-то замучала текучка, но вот ее результаты

  • FastRawViewer 1.5.4 - Release Candidate. 14 новых камер, остальные изменения минимальны, даже баги поправленные какие-то смешные.
  • RawDigger 1.3.1 - релиз. Это изменение аж среднего номера версии (1.3.1 считаем вместе с 1.3.0), изменения заметные.
  • PixelShift2DNG 0.9.17 - Release Candidate. Поддержана полностью Sony A7R IV, поддержан Pentax KP (да, у него тоже есть PixelShift).
  • Monochrome2DNG, DPRSplit - выпущены новые версии, но выпуск был - только ради поддержки macOS Catalina,
    • ...

Про ZFS и L2ARC

lexa - 04/Окт/2019 09:54

У одного моего друга есть NAS на (7+2)-6Tb. Семь дисков в RAIDZ2 (том под данные), два диска в зеркале (том под бэкапы). И был там L2ARC-кэш на полтерабайта, Patriot Hellfire. Поскольку полтерабайта это мало (см ниже), этот кэш обслуживал только активные данные для работы, но не том с бэкапами, а для тома на котором живут торренты было secondarycache=metadata. И, в общем, было видно, что полтерабайта - мало.

Посмотрел один мой друг в прайслисты, посмотрел в обзор терабайтных SSD...

И снова анонсы

lexa - 14/Сен/2019 18:20

Обновили две наших утилиты

Monochrome2DNG 1.1

  • Возможность переписать имя вендора (EXIF:Make, DNG:UniqueCameraModel) на нужную вам строку.
    Например, если у вас монохромная (переделанная) камера Fujifilm и CaptureOne/Fuji, то название вендора FUJIFILM эта C1 жреть для монохромных файлов, а Fujifilm - нет.
  • Совместимость с macOS 10.15: для этой версии macOS необходима "нотаризация приложения" у Apple, что мы и стали делать.

Качать по ссылке выше.

PixelShift2DNG 0.9.11

  • Поддержка Sony A7R-IV (и 4- и 16-кадровые склейки)
  • Возможность указать количество склеенных кадров в имени выходного файла
  • Совместимость с macOS 10.15

Качать по ссылке выше.

RawDigger и (Adobe) Enhanced DNG

lexa - 30/Авг/2019 18:23

Как, вероятно, знают пользователи адобовских программ, в Camera Raw 11.4/Lightroom 8.4 появилась кнопка Enhance Image. Эта кнопка генерирует DNG в котором содержатся

  • исходные RAW-данные, как были
  • Linear DNG (т.е. после демозаики), причем демозаика какая-то особая, теплая, ламповая, с эксклюзивным вкусом AI

Так вот, в RawDigger 1.3 мы добавили поддержку этого второго слоя, а заодно и поддержку preview и fast load data слоев. Включается в Preferences - Data Processing - Vendor Specific - DNG:

  • Show Enhanced image frame
    • ...

О Mini-ITX и корпусах

lexa - 27/Авг/2019 12:23

Если взять Mini-ITX материнку с низкопрофильным кулером, то выглядит это все очень приятно и компактно

Но стоит добавить туда видеокарту (короткую, для Mini-ITX размеров), как все становится ужаснее:

Да, в этот угол можно запихать даже полноразмерный ATX-питальник, но в любом случае корпус вокруг такого чуда будет никак не меньше ~20x20~20 сантиметров в теории, а...

Pages

Subscribe to blog.lexa.ru: все статьи