Skip to Content

Февраль 2012

О последствиях наводнений

Втр, 02/28/2012 - 10:51 — lexa

А напомните мне, сколько стоили в дефолт-сити самые дешевые 2- и 3-Tb диски до наводнения. WD Green и подобные.

Мне почему-то вспоминается, что 2500 и 4000 примерно, но ведь могу и путать.

Update: про 2Tb уже накидали данных, спасибо. 3Tb я помню что коэффициент было в районе 1.7-1.8 примерно т.е. экономически было еще невыгодно, но было "вот-вот".

10G дома: Infiniband + FreeBSD

Пнд, 02/27/2012 - 12:54 — lexa

Я тут интересовался про Infiniband и FreeBSD, теперь могу и сам рассказать :)

Datagram mode

Для начала нужна FreeBSD 9. У меня - какая-то, cvsup делал где-то в январе или около того.

Далее все тривиально:

/etc/make.conf:

  1. WITH_OFED=yes
Конфиг ядра (в GENERIC это место не включено) /sys/amd64/conf/OFED:
  1. include GENERIC
  2. options OFED # Infiniband protocol stack and support
  3. options SDP # Sockets Direct Protocol for infiniband
  4. device ipoib # IP over IB devices
  5. device mlx4ib # ConnectX Infiniband support
  6. device mlxen # ConnectX Ethernet support
  7. device mthca # Infinihost cards
У меня карты mthca, остальные два драйвера в моем случае вероятно не нужны.

Далее все просто:

  1. cd /usr/src
  2. make buildworld && make installworld # поставит IB-шный утиль, всякие ibstat и opensm
  3. make buildkernel KERNCONF=OFED && make installkernel KERNCONF=OFED

Что-то из этого добра (то ли userland IB-шный, то ли ядро) не собирается clang-ом, поэтому про CC=clang стоит забыть.

Если нужен Subnet manager (на другом конце линка/свитче его нет), то opensm_enable=YES в rc.conf (а если нету /etc/rc.d/opensm, то накатить его mergemaster-ом).

Бутимся....

...все что вы боялись узнать про RAW....

Пнд, 02/27/2012 - 08:49 — lexa

Согласно общепринятому мнению, "настройки ББ не влияют на RAW" (и для подавляющего большинства камер - это так).

Эту мысль часто толкуют расширенно "настройки JPEG не влияют на RAW", что, вероятно, тоже так. Точнее, я не видел никаких объемных экспериментов на эту тему, утверждать не могу, но для многих камер это наверное так. Хорошо бы проверить....

Следствие из этих тезисов такое: как не крути настройки камеры (очевидно, за исключением экспозиции, ISO и, вероятно, шумодава, сюда же и "расширенный динамический диапазон"), в RAW будет одно и то же.

И ничто не предвещало.....

А вот что намерял Panagiotis Markolefas на своей камере Panasonic GF1:

forums.dpreview.com/forums/read.asp?forum=1041&message=40731227

Если лень читать там, то вот мое изложение:

10G дома: новые бенчмарки на Myricom

ВС, 02/26/2012 - 21:13 — lexa

Опробованная вчера новая бенчмарка (с подсчетом md5 по куче файлов) сделана и для Myricom. Вкратце (сервер, время 1-й попытки, время 2-й попытки)

  • Win7: 2:10,2:09
  • Linux, Samba: 5:10,5:01
  • Linux, iSCSI: 1:37, 1:00

Бенчмарка "копирование Qt" оказалась очень чувствительной к количеству свободной памяти на машине. Что-то оно там префетчит, если памяти много. Как следствие, сравнение копирований между моими записями - неверное занятие. Внутри каждого отдельного поста - консистентно.

Мораль:

  • На крупных потоках один хрен, что IB, что Myricom (ну для IB я намеривал скорости побольше, но это неважно).
  • С Win7-"сервером" Myricom несколько быстрее IB. Не знаю почему.
  • С Linux-сервером - практически один хрен, что по Samba (медленно), что по iSCSI (быстро)
При этом IB-карты дешевле и двухпортовые т.е. на сервер и две WS нужны три карты, а не 4. Ну и SRP, MPI и прочие Infiniband-развлечения. Минусы тоже есть: не поддерживаются маками (Myricom - поддерживается), требуются пляски с IB-стеком, OpenSM опять же.

Завтра расскажу, как Infiniband c FreeBSD сочетается.

Q: генеалогия соляриса

ВС, 02/26/2012 - 10:13 — lexa

А тут вот разными способами подталкивают к (опен)солярису, дескать и ZFS там и SRP (и, небось, прямо встроенный в ZFS iscsi-target) и вообще цветет мульен цветов.

Только я стал туда смотреть и полностью запутался. Вопрос дня: OpenSolaris 11 (Oracle) или OpenIndiana? Возможность что-то перекомпилировать несущественна сама по себе.

10G дома: Infiniband, Linux, Samba, iSCSI, SRP

СБ, 02/25/2012 - 21:04 — lexa

Для начала картинка. Это SRP (SCSI RDMA Protocol), поднятый на Linux, клиент - Windows 7.

Если сравнивать с картинкой для iSCSI поверх Myricom (вторая картинка в этом посте), то выросла скорость на мелких блоках и нет падения на блоках больше 256к.

Но по порядку.

ZFS performance Q: hw RAID или RAIDZ(2)

СБ, 02/25/2012 - 12:51 — lexa

А вот такой практический вопрос.

Есть, к примеру, 6-8 не очень быстрых дисков (7200 rpm, что-нибудь типа Barracuda ES или как они теперь правильно называются, Seagate Constellation?). Двухтерабайтников, скажем (потому и не 10k/15k).

К тому же примеру, есть какой-то 8-портовый контроллер. Вот прямо на руках есть Adaptec 5805. Покупать что-то еще новомодное и быстрое (столь хвалимые LSI 9280, к примеру) не хочется, жаба не велит.

Процессор на тазике будет достаточно быстрый, что-нть в духе i7-920, памяти тоже не пожалею (12G скорее всего).

Хочется на этом месте поднять ZFS (потому что очень удобно на практике), предположительно на FreeBSD, но солярку (в каком-то лице) тоже можно рассмотреть.

Собственно, вопрос:

А как это правильно конфигурировать то:

  • JBOD или 6(8) single-disk arrays и ZFS поверх?
  • Или RAID6 на контроллере и ZFS "на одном томе"?
Вопрос касается именно производительности, причем типичных паттернов я вижу два:
  • I like to move it, move it большими файлами (кино, бэкапы, да мало ли в хозяйстве больших файлов). Т.е. линейное чтение-запись во всей красе.
  • Доступ по iscsi, причем тома будут прямо вот средствами ZFS нарезаны. А на этих томах - всякое разное.

Интернеты - противоречивы. У одних бойцов RAIDZ несколько медленнее, у других - наоборот. Как правило, из тестов непонятно, куда RAIDZ упирался, мог ведь и банально в память/процессор.

Помимо RAIDZ2/RAID6 рассматриваю еще и вариант с mirror, но он для 8 дисков какой-то обидный.

Про Лютера нашего Айвса

ПТ, 02/24/2012 - 19:58 — lexa
Luther-Ives condition become known in the beginning of the last century: a color capturing device with light detectors of three types might be used in correct color reproduction system if and only if DSS for every detector in the system might be represented as a linear combination of Cone Fundamentals (CFs).
отсюда

А вот эти самые Cone Fundamentals, взятые отсюда (в первом наборе контролов Quantal/1nm/plot):

Лютером-Айвсом цветовые ученые постоянно стращают, это прямо таки Священный Грааль цветовоспроизведенцев. И, исходя из общей теории всего, выглядит это разумно:
  • Есть некий первичный базис, эти самые Cone Fundamentals, говоря простым языком - спектральная чувствительность колбочек глаза.
  • Чтобы разговаривать с глазом в его "первичных координатах", хорошо бы уметь пересчитывать в этот самый первичный базис.
  • Что означает, что спектральная чувствительность сенсора (каждого канала) должна бы быть линейной комбинацией из базиса, тогда умножив на обратную матрицу - мы получим этот самый базис.
  • Никто не пишет, но очевидно что матрица из базиса в сенсор должна быть невырожденной, иначе обратную не построить.
Это - теория. Вполне похожая на правду, если бы не одно, но крупное НО.

Берем хорошую современную слайдовую пленку. Ну вот Kodak 100G. И берем из ее даташита кривые спектральной чувствительности. Вот они:

10G дома: Infiniband, Windows-SMB

ПТ, 02/24/2012 - 18:50 — lexa

Продолжаю потихоньку упражняться с 10G, вынул Myricom, вставил IB. Все под виндой, до Linux+IB руки только на выходных дойдут.

Для начала - завлекательная картинка:

На самом деле, я и слегка за 1Gb/sec видел, чего не должно бы быть (реальных гигабит данных 8 ровно), спишем на точность подсчета виндой.

Под катом: как оно было получено и что было получено еще.

10G дома: Myricom, Windows-SMB, iSCSI

ЧТ, 02/23/2012 - 19:31 — lexa

Продолжаю развлечения с 10G между двумя рабочими станциями.

Windows - Windows

Запускаю на обеих машинах Win7, на одной делаю Ramdrive на 8G, расшариваю его прямо windows-средствами, запускаю Atto disk benchmark, получаю вот такую картинку:

Каких-то настроек на серверной стороне я не делал, я их и не знаю.

Картинки с Самбы на той же машине (для сравнения) запрятаны в этом посте.

Как видим, на мелких блоках стало побыстрее в 1.5-2 раза (2 раза - для блока 8к), на больших блоках - незначительно медленнее.

Копирование крупных файлов идет с примерно той же скоростью, в районе 500-600MB/sec, то есть быстрее, чем можно надеяться имея в массиве разумное для дома количество HDD под этой сетью. Про копирование мелких файлов будет ниже и отдельно.

RawDigger international

СР, 02/22/2012 - 11:19 — lexa

Английская версия RawDigger вышла (отличия от русской - только в языке мануала, README и прочих подобных текстов).

Как следствие, просьба не анонсировать эту программу в нерусскоязычных community - более не актуальна. Аносировать можно, нужно и все такое, мы будем только благодарны. Текст для анонса можно брать прямо с глагне Rawdigger.com.

Несмотря на вышеупомянутую явную просьбу, некоторые преждевременные анонсы (со ссылкой на русский сайт) таки были. Злобу на их авторов мы затаили и при случае - припомним.

О цветопередаче

Пнд, 02/20/2012 - 18:36 — lexa

Еще один пост, родившийся из комментария.

Давид Мзареулян спрашивает:

Вот у нас сенсор (+АЦП). Сигнал от него, как я понимаю, линейный с высокой точностью. Даже если точность не очень высокая, то откалибровать отклик конкретной модели сенсора не должно составлять труда. Перед сенсором светофильтры. Они тоже линейно сворачивают спектр в скаляры. RGB-пространство тоже линейно, ну гамма там по яркости. Получается, что задача преобразования сигнала от сенсора в RGB — линейная с точностью до одной единственной заданной гаммы. Значит, чтобы заставить монитор светиться так же как светился объект перед камерой, достаточно линейно преобразовать сигнал от сенсора. С точки зрения цвета это означает — ткнуть пипеткой в нейтральный объект и таким образом найти взаимные коэффициенты для трёх каналов. Ну и гамму потом наложить. Всё, этого должно быть достаточно.

Что я упускаю? Потому что если я ничего не упускаю, то совершенно непонятно, почему разные конвертеры по-разному разрешают и передают цвета с разных камер — а они таки их передают по-разному.

Отвечаем (чуть подробнее, чем в том комментарии в ЖЖ):

О чувствительности цифровых камер

Пнд, 02/20/2012 - 10:47 — lexa
Скопирую из комментариев в raw-rpp, снабдив ссылками, потому что тема всплывает настолько регулярно, что надо куда-то давать ссылку, а не писать по десятому разу одно и то же.

Реплика:

проблема в том,что для обычного фотографа,юзающего цифрозеркало не хватает ТЕЗИСНЫХ определений простой пример-мне для работы необходимо знать
-возможности матрицы при условных исо от 100 до 400 (изменение диапазона матрицы)пусть с использованием внешнего экспонометра
-возможности матрицы при 3200 и 5500 (исправление разбаланса по каналам)
Ответ:

Правильно, тезисных определений не хватает.

В частности, нету определения "чувствительности в RAW", стандарт который на эту тему есть - определяет в лучшем случае чувствительность для JPEG (честно скажу, стандарт читал давно, а освежал мнение только изложением его в википедии).

С другой стороны, для пленки оно даже хуже: для латентного изображения понятия чувствительности вовсе нет, а для проявленного - есть, но чувствительность (и вообще вся характеристическая кривая) сильно зависят от режима проявки. А проявить, в отличие от RAW, можно только один раз.

Понятно что есть некий стандартный режим, но скажем для слайда результаты в погружной машине и в маленьком баке - при одном времени проявления и температуре - отличаются. И для листов и узкой пленки - отличаются. То есть единственный реальной стандартный процесс который был - это C41 (да и то, я вот обычно немножко перепроявлял, мне так нравилось).

Поэтому практический совет достаточно очевидный

  1. Если вы пользуетесь каким-то стандартным "проявителем" для цифры, ну там RPP или LR (или внутрикамерным, получая JPEG) - ну так померьте тоновую кривую один раз. В отличие от пленки, специализированного прибора (денситометра) не нужно, все есть в фотошопе. Но что для разных проявителей кривая отличается - ну это такой факт, это и для пленки так было.

    То что ACR (а значит и LR) поднимая полутона режет при этом света (при настройках по нулям) - будет для проделавшего этот эксперимент (не)приятным сюрпризом.

  2. Как минимум три года есть инструментарий (имени меня), который позволяет посмотреть "а что там в RAW на самом деле". Мой текст о запасе в светах у 5DMark II на libraw.su - датирован 20 февраля 2009 т.е. ровно 3 года назад.

    Не говоря о поминавшемся тут уже свежем туле RawDigger, который позволяет это проделать удобно. Ну и Rawnalyze тоже был/есть.

Но, конечно, то что у Adobe есть скрытая поправка в ~0.3-0.5 стопа, плюс "неявная" поправка, которая бывает тоже в полстопа (а бывает, наверное, и больше) - это такое интересное открытие, которое каждый делает для себя сам, так уж повелось испокон веку.

Друпальское: аккуратно разложенные грабли в pager

ПТ, 02/17/2012 - 19:38 — lexa

Для памяти, чтобы не забыть.

Со всей дури налетел на эту вот особенность: Pager missing if views is installed.

Причем, полдня происходила чистая мистика - меняешь тему оформления - появляется pager (в моем конкретном случае - в комментариях). Начинаешь разбираться, чем же она отличается от той, где листалки нету (ну там отладочная печать, то, се) - и вроде ничем не отличается.

Только вот в одном случае строится список комментариев с pager, а в другом - нет.

Когда в очередной раз обгуглился и нашел про Views, то конечно стало понятнее:

  • Блок Views с pager у меня таки был.
  • А в тех дизайнах, где pager под комментариями появлялся - просто не выводился этот блок из Views.
Штатное лечение - каждому pager во views - задать уникальный (по сайту) Pager ID, благо средства для этого есть. Риторический вопрос только один, а почему этот Pager ID сразу не формируется уникальным, ну там из ID view и номера блока в нем.....

На закуску хочу заметить, что вся эта конструкция, когда зовутся функции по именам (ну там themename_preprocess_html), а если такой нету, ну значит не судьба, - это очень гибко, но, блин, отлаживать это - это нечто.

10G дома: Myricom + Samba

СР, 02/15/2012 - 20:45 — lexa

Продолжаем развлекаться с 10G. Сначала картинка, чтобы было веселее. Это копирование с локального диска на "NAS"

Под катом - как она получена (и почему NAS в кавычках)


.