2008

Leopard 10.5.6 в виртуальной машине....

[Оглавление раздела Hackinthosh]

не работает

Во всяком случае, попытка поставить апдейт на разрекламированную ранее виртуальную машину 10.5.5 не удалась: Vmware ругается страшными словами, что приложение решило подизейблить себе процессор, MacOS требует перезагрузки, а потом все вместе - не работает.

Снэпшоты рулят!

Drupal и memcached

Последние два месяца я собирался прикрутить к Drupal кэширование на memcached. Останавливало меня то, что модуль Memcache был только для Drupal 5.x (у меня используется 6-я версия), а Cache Router был в разобранном неработающем состоянии. Доводить же до ума еще и это место не хотелось.

Как выяснилось, в течение ноября оба модуля были починены и сейчас выглядят полностью рабочими под Drupal 6.8. Правда производительность у них резко отличается:

  • Memcache не дал мне заметного прироста производительности, более ~50 запросов в секунду из него вытащить не удалось (а у меня с кэшированием родными средствами Drupal - ну чуть меньше).
  • Cache Router, наоборот, честно все кэширует и скорость работы из кэша - порядка 850-880 req/sec

Соответственно, поставил я CacheRouter, выглядит работающим.

Тестирование проводилось путем накатки суточного лога LibRaw.SU утилитой http_load. Считался, естественно, второй проход, подразумевалось что все разлеглось в кэши. Сервер: Dual Opteron 875, FreeBSD 6.4, Postgresql 8.3.5.

Кит против слона, а Шадрин против Маргулиса

Прочитал вчера статью Алексея Шадрина Воспитание по доктору Маргулису: работа над ошибками и, кажется, осознал в чем заключается противоречие между двумя подходами к обработке изображений. О чем и написал сам.

Кит против слона: о двух подходах к цифровым изображениям
Позволю себе пару цитат:
....Есть "два лагеря" (Илья Борг предлагает называть их "колориметристами" и "перцептуалистами"), которые на текущий момент договориться не могут и я не уверен, что в ближайшее время это вообще будет возможно. ....
....фотограф вынужденно попадает в самый центр вышеописанного конфликта и избежать его не может. А основная ошибка, которая регулярно делается многими уважаемыми людьми, - это отрицание ... одного из подходов.....

Все комментирование, пожалуйста, под статьей на LibRaw

AdobeLabs PixelBender: отличная штука, но....

Что-то я анонс пропустил, а сегодня случайно наткнулся на Pixel Bender от Adobe Labs.

Казалось бы, отличная идея: пишешь шейдеры kernels на скриптовом языке, они исполняются на видеокарте или на CPU. Анонс тоже завлекал: дескать поддержвается любая разрядность цвета, все такое мультиплатформенное и хорошее. Есть плагин для Photoshop т.е. все изыски можно прямо в бою и использовать.

В-общем, я раскатал губу, скачал, поставил, закатал рукава и приготовился творить.

Safaribooks - 2

Мне кажется про это уже писали в комментах, но я не понял. А получив спам от ACM - понял.

Для членов ACM доступна сильно урезанная по выбору книжек версия сервиса Safaribooks (про который я уже писал), но зато на халяву (вы платите только за членство в ACM :). Помимо урезанности выбора, нельзя еще скачивать главы в .pdf, что обидно.

Напоминаю, что если в ACM при регистрации указать, что вы из России (что в моем случае правда), то регистрация будет стоить $35 $43 в год вместо ~$200. Даже не надо притворяться студентом.....

Упражнения с бревном - 2 (graid5 + gjournal)

Не удержался и попробовал комбинацию из geom_raid5 + gjournal.

Пробовались варианты:

  • Журнал на отдельном диске (старый WD Raptor 36Gb, скорость линейной записи около 60 MB/sec)
  • Журнал на том же массиве, что и файловая система (RAID5 из 750GB дисков Western Digital)

Как ни странно, но результаты практически одинаковые, по всей видимости full stroke seek но бОльшая скорость линейного I/O удачно разменялись на обратные величины.

  • Скорость линейной записи большого файла: 41 MB/sec с журналом в конце массива и 44 MB/sec с журналом на отдельном диске. По iostat прекрасно видно как флашится журнал...
  • Скорость создания большого числа мелких файлов тоже практически одинакова: tar xzvf ports.tgz (порты от 7.1-RC1) занимает 33 секунды с журналом на массиве и 31 секунду с журналом на отдельном диске (файловая система смонтирована, как велено в мане, без soft-updates, но с -o async)
  • Для сравнения: распаковка того же ports.tgz на массиве без журнала занимает
    • 29 секунд при монтировании -o async (без soft-updates)
    • 2 минуты 13 секунд без async, но с soft-updates
  • Скорость чтения практически не поменялась, все цифры в пределах ошибки от предыдущих тестов.

Мораль совершенно понятна: для приложений с большим количеством мелких файловых операций журнал дает возможность безопасно включить async mount, но при этом безобразно портит скорость записи. Наверное, если вынести журнал на массивчик из мелких (но быстрых) SAS-дисков, то станет полегче.

Упражнения с бревном (FreeBSD raid5 performance)

Бурное обсуждение моей предыдущей заметки про аппаратный RAID заставило меня потратить немножко времени в выходные на изучение software raid5 в FreeBSD (других подопытных ОС не оказалось).

Приборы и материалы

FreeBSD 7.1-PRERELEASE - i386, Core2Duo 1.86, 2GB RAM, 3 диска Western Digital WD7500AAKS (750Gb).

Диски я извлек из рабочей станции, там они показывали 140MB/sec на чтение и 120-125 на запись будучи прицеплеными к Areca ARC-1120 в режиме RAID5 под WinXP/Vista.

GEOM RAID5 все еще не входит в комплект FreeBSD, поэтому использовались две из трех имеющихся внешних реализаций: GEOM RAID5 TNG и GEOM RAID5 PP. Забегая вперед скажу, что существенной разницы в производительности я не увидел.

Помимо этого, я посмотрел на производительность RAID0 (GEOM stripe).

Тестирование проводилось на чтении-записи длинных файлов т.к. меня интересуют именно они. На коротких операциях всё может быть иначе, все "короткие" нагрузки настолько разные, что требуют тестирования по месту.

Все ли хорошо в RAW?

Мы с Ильей Боргом написали в Компьютерру статью, в которой постарались описать наше видение современного состояния дел с RAW-форматами. Прошло три недели с выхода журнала и, согласно первоначальной договоренности, перепечатываем у себя:

Позволю себе процитировать вводный раздел целиком.

Два пути в никуда: в поисках утраченного смысла

За последние 10—15 лет цифровая фотография вытеснила фотопленку практически из всех традиционных областей применения. Конечным потребителям проданы сотни миллионов цифровых фотокамер, не считая камер, проданных в мобильных телефонах. Столь массовая индустрия не может существовать без стандартов — и таковые, казалось бы, имеются: стандартизованы устройства для хранения данных (flash-карточки) и формат изображений JPEG — наиболее массовый и удовлетворяющий потребности подавляющего числа пользователей.

Однако формат JPEG далеко не всегда удовлетворяет требованиям профессионалов — фотографов, дизайнеров, персонал prepress-бюро, а тем более фотобанков и фотоархивов. Зачастую не удовлетворяет он и требованиям "продвинутых" фотолюбителей. Именно поэтому многие модели фотокамер, обычно позиционируемые производителем как профессиональные и полупрофессиональные, поддерживают, кроме JPEG, и запись изображения в так называемом "формате RAW". У стороннего наблюдателя может создаться впечатление, что RAW — это тоже такой стандартный формат, обеспечивающий лучшее качество — "качество для профи".

В нашем маленьком тексте мы хотим показать, что на самом деле жизнь гораздо сложнее, а положение профессионалов на сегодняшнем цифровом фоторынке не просто ужасно, а совершенно ужасно, и к тому же еще и быстро ухудшается (в то время как у менее притязательных любителей — все отлично).

Как мне кажется, обсуждать данный текст лучше рядом с ним, поэтому комментарии тут я закрываю. LibRaw.SU дает комментировать без авторизации, хотя авторизованым пользователям доступно чуть больше пряников.

LibRaw 0.6.2

По случаю позавчерашнего выхода новой dcraw обновилась и библиотека LibRaw:

  • Поддержка новых камер: Canon G10 and 5D Mark II, Leaf AFi 7, Leica D-LUX4, Panasonic FX150 and G1, Fujifilm IS Pro
  • Изменения в цветовых таблицах для камер из предыдущего апдейта: Canon 50D, Nikon D90 and P6000, Panasonic LX3 and FZ28, Sony A900
  • Исправлена ошибка в обработке файлов Panasonic .RW2, которая проявлялась только на thread-safe версии библиотеки.

Успешно протестировано, в том числе практически на полном списке файлов от новых камер (кроме Leaf и FX150).

Скачать можно где всегда. Пользователи KDE тоже уже осчастливлены, но им нужно обновить libkdcraw.

Бенчмарки и жизнь

Это вот - бенчмарка нового красивого массива (4 диска в RAID5):

copy-benchmark.png

Только вот размер блока при построении массива я взял мегабайтный, а обычные средние бенчмарки от этого дуреют (график HD Tach - просто обсмеяться).

Вспомним, для чего дома 3Tb диска? Хранить всякий мусор (тут скорость не важна) ну и мувать его. А при муванье - скорость важна, ибо сидим, пялимся в монитор, ждем пока отмувается. Так вот, в жизни все не так, как в бенчмарках:

copy-real.png

Верхняя строчка - чтение со старого массива, нижняя - запись на новый. Ну и если бы новый был бы старым, то все бы отмувалось не за 18 минут, а за 7, что я бы оценил.

Я, собственно, к тому, что мегабайтные блоки - рулят. Особенно, если время чтения 3-мегабайтного (и менее) куска вообще не волнует.

Pages