FastRawViewer 1.5 technology preview: кэширование превьюшек

До версии 1.4 включительно, FastRawViewer ничего не писал на диск (кроме XMP-файлов) и это было хорошо, потому что диски не замусоривались. При этом, превьюшки даже самых толстых RAW декодировались достаточно быстро с быстрых носителей и вменяемо быстро - с медленных (вроде одиночных HDD или флеш-карточек)

Однако времена меняются, потребности растут. В частности, запланированная поддержка форматов TIFF и PNG требует других решений: TIFF может занимать сотни мегабайт, быть запакован медленным упаковщиком и не содержать превьюшки. Декодирование его займет, соответственно, секунды (или больше) и повторять эту процедуру каждый раз - значит тормозить на пустом месте.

Thumbnail database и ее настройки

В силу вышесказанного, в FRV 1.5 таки было решено сделать кэш превьюшек (сразу для почти всех форматов) и его уже можно попробовать (для RAW).

Управляется он настройками Preferences - Thumbnails cache (см. картинку слева), раздел Disk thumbnail cache.

На картинке показаны значения по-умолчанию, кроме пути до базы:

• Thumbnail database path - папка с файлом FRVThumbs.db.
  Стандартное расположение:
  • Mac: ~/Library/Application Support/libraw-llc/FastRawViewer
  • Windows: $HOME/AppData/Local/LibRaw LLC/FastRawiewer
• Database size limit -  предельный размер базы (о котором ниже), умолчания: 4000Mb для 64-битных систем, 2000Mb для 32-битных
• Stored thumbnail size - какой размер превьюшки писать в базу:
  • Current thumbnail size: максимальный из двух размеров, используемых в Grid/Filmstrip
  • Maximum thumbnail size: максимальный размер, который бывает в FRV (800x800, для ретина-мониторов соответственно 1600x1600 физических пикселей).
• Thumbnail image compression: вид сжатия (несжатый, JPEG-90%, JPEG-30%).
• Save cached thumbnail if image thumbnail extraction was longer than - основной магический параметр - в базе с превьюшками будут сохраняться только те превьюшки, на распаковку которых затрачено больше (или равно) времени, чем указано в данном параметре. Соответственно, в базу пойдет только то, что распаковывалось долго, а сама база будет медленнее расти.
  Если вы хотите писать в базу превьюшек все - поставьте этот параметр в 0 миллисекунд.
• Mark cached thumbnails with red dot - отладочный параметр, если он включен, то к превьюшкам при записи в базе добавляется красная точка в верхнем левом углу (до всех поворотов т.е. угол в "природной ориентации превью". Соответственно, все что взято из кэша (а не расспаковано на лету) будет иметь эту точку.

Замечание: запись превьюшек не реализована для RAW-файлов у которых превьюшки пишутся в нежатом битмепе (а не в JPG как обычно): эти превью имеют маленький размер, распаковываются моментально, кэшировать их нет смысла (в частности по той причине, что такой формат был только у сильно старых камер).

Как идентифицируются файлы

Запись в базе превьюшек привязана к полному пути файла, т.е. если вы файл переместили, превьюшка в базу ляжет новая. При этом, для файла запоминаются размер, дата создания и дата последней модификации (для тех файловых систем, где есть дата модификации), поэтому если вы файл изменили (и изменился размер либо дата) - запись в базе превьюшек тоже устаревает. Но если и размер и даты остались прежними - узнать что файл изменен FRV не может.

Очистка базы данных: ручная и автоматическая

Для ручной очистки базы можно удалить файл (при незапущенном FRV), а можно использовать Menu - File - Reload - Clear thumbnails database. Этот вариант очистки скукожит файл до минимального размера.

Кроме того, если настройка Stored thumbnail size установлена в "текущий размер", то при увеличении (но не уменьшении) размера показываемых превьюшек вам предложат очистить базу (без скукоживания).

Автоматическая очистка просыпается раз в 5 минут и проверяет размер файла базы и свободное место на диске. Если база доросла до 85% от лимита, либо до 10% свободного места на диске, то из базы будет удалено 10% записей. Если текущий размер базы больше трети свободного места, либо больше 90% лимита, то после удаления записей, файл базы будет скукожен (если для скукоживания есть достаточно свободного места).

Автоматичеcкая очистка работает "в фоне", программа не блокируется, но на время очистки кэш превьюшек отключается и FRV работает "по старому".

Есть ли в этом толк

Тестировалось, прямо скажем, на ограниченном наборе компьютеров (собственно, публикуем промежуточную версию - для расширенного тестирования), естественно с Save cached thumbnail if image... установленным в 0, чтобы в базу писалось все. Что можно сказать:

• если ваши RAW уже на быстром SSD, то толк от кэширования есть только если JPEG-превью в файле очень большое. Ну вот 50Mpix у Canon 5Ds. Конечно, распаковка мелкой превьюшки из базы будет быстрее распаковки 50Mpix JPEG и это прямо заметно.
  Для 4-8-12-20Mpix превью я, на быстром компьютере, существенной разницы не вижу.
• Если ваши RAW на относительно медленном сторадже (в моем случае это быстрый NAS с доступом по 10G), то разница будет и для 10-20Mpix (мы не кэшируем метаданные, только превьюшки, т.е. чтение EXIF/Makernotes в любом случае происходит из самого RAW).
• Наверное, в случае совсем медленного (для сегодняшнего дня) носителя, вроде единичного HDD, будет разница и для более мелких файлов.

Важно: подразумевается, что база превьюшек лежит на быстром SSD. Класть ее на одиночный HDD - возможно и есть какой-то толк, но вообще - сомнительно.

Ссылки для скачивания

Ссылки устарели, берите тут: https://blog.lexa.ru/2019/03/17/fastrawviewer_15_grid_overlay_zoom_in_limit.html

Тестовая версия требует для своей работы активации триала, либо релизного ключа. Если вы пробовали FRV раньше, но не покупали и триал протух, то пишите на support@fastrawviewer.com, выдадим временный ключик.

На этот же адрес нужно писать жалобы на работу новой фичи.

Разное

Понятно, что наличие БД превьюшек открывает всякие другие возможности. Например, при смене параметров рендеринга RAW (экспозиция, ББ) можно записать результат в эту базу и потом показывать оттуда. Это все понятно, но к FRV 1.5.0 делаться не будет (и не просите), крупные изменения в 1.5 - это поддержка TIFF/PNG.