2012

10G дома: Infiniband, Linux, Samba, iSCSI, SRP

lexa - 25/Фев/2012 21:04

Для начала картинка. Это SRP (SCSI RDMA Protocol), поднятый на Linux, клиент - Windows 7.

Если сравнивать с картинкой для iSCSI поверх Myricom (вторая картинка в этом посте), то выросла скорость на мелких блоках и нет падения на блоках больше 256к.

Но по порядку.

ZFS performance Q: hw RAID или RAIDZ(2)

lexa - 25/Фев/2012 12:51

А вот такой практический вопрос.

Есть, к примеру, 6-8 не очень быстрых дисков (7200 rpm, что-нибудь типа Barracuda ES или как они теперь правильно называются, Seagate Constellation?). Двухтерабайтников, скажем (потому и не 10k/15k).

К тому же примеру, есть какой-то 8-портовый контроллер. Вот прямо на руках есть Adaptec 5805. Покупать что-то еще новомодное и быстрое (столь хвалимые LSI 9280, к примеру) не хочется, жаба не велит.

Процессор на тазике будет достаточно быстрый, что-нть в духе i7-920, памяти тоже не пожалею (12G скорее всего).

Хочется на этом месте поднять ZFS (потому что очень удобно на практике), предположительно на FreeBSD, но солярку (в каком-то лице) тоже можно рассмотреть.

Собственно, вопрос:

А как это правильно конфигурировать то:

  • JBOD или 6(8) single-disk arrays и ZFS поверх?
  • Или RAID6 на контроллере и ZFS "на одном томе"?
Вопрос касается именно производительности, причем типичных паттернов я вижу два:
  • I like to move it, move it большими файлами (кино, бэкапы, да мало ли в хозяйстве больших файлов). Т.е. линейное чтение-запись во всей красе.
  • Доступ по iscsi, причем тома будут прямо вот средствами ZFS нарезаны. А на этих томах - всякое разное.

Интернеты - противоречивы. У одних бойцов RAIDZ несколько медленнее, у других - наоборот. Как правило, из тестов непонятно, куда RAIDZ упирался, мог ведь и банально в память/процессор.

Помимо RAIDZ2/RAID6 рассматриваю еще и вариант с mirror, но он для 8 дисков какой-то обидный.

Про Лютера нашего Айвса

lexa - 24/Фев/2012 19:58
Luther-Ives condition become known in the beginning of the last century: a color capturing device with light detectors of three types might be used in correct color reproduction system if and only if DSS for every detector in the system might be represented as a linear combination of Cone Fundamentals (CFs).
отсюда

А вот эти самые Cone Fundamentals, взятые отсюда (в первом наборе контролов Quantal/1nm/plot):

Лютером-Айвсом цветовые ученые постоянно стращают, это прямо таки Священный Грааль цветовоспроизведенцев. И, исходя из общей теории всего, выглядит это разумно:
  • Есть некий первичный базис, эти самые Cone Fundamentals, говоря простым языком - спектральная чувствительность колбочек глаза.
  • Чтобы разговаривать с глазом в его "первичных координатах", хорошо бы уметь пересчитывать в этот самый первичный базис.
  • Что означает, что спектральная чувствительность сенсора (каждого канала) должна бы быть линейной комбинацией из базиса, тогда умножив на обратную матрицу - мы получим этот самый базис.
  • Никто не пишет, но очевидно что матрица из базиса в сенсор должна быть невырожденной, иначе обратную не построить.
Это - теория. Вполне похожая на правду, если бы не одно, но крупное НО.

Берем хорошую современную слайдовую пленку. Ну вот Kodak 100G. И берем из ее даташита кривые спектральной чувствительности. Вот они:

10G дома: Infiniband, Windows-SMB

lexa - 24/Фев/2012 18:50

Продолжаю потихоньку упражняться с 10G, вынул Myricom, вставил IB. Все под виндой, до Linux+IB руки только на выходных дойдут.

Для начала - завлекательная картинка:

На самом деле, я и слегка за 1Gb/sec видел, чего не должно бы быть (реальных гигабит данных 8 ровно), спишем на точность подсчета виндой.

Под катом: как оно было получено и что было получено еще.

10G дома: Myricom, Windows-SMB, iSCSI

lexa - 23/Фев/2012 19:31

Продолжаю развлечения с 10G между двумя рабочими станциями.

Windows - Windows

Запускаю на обеих машинах Win7, на одной делаю Ramdrive на 8G, расшариваю его прямо windows-средствами, запускаю Atto disk benchmark, получаю вот такую картинку:

Каких-то настроек на серверной стороне я не делал, я их и не знаю.

Картинки с Самбы на той же машине (для сравнения) запрятаны в этом посте.

Как видим, на мелких блоках стало побыстрее в 1.5-2 раза (2 раза - для блока 8к), на больших блоках - незначительно медленнее.

Копирование крупных файлов идет с примерно той же скоростью, в районе 500-600MB/sec, то есть быстрее, чем можно надеяться имея в массиве разумное для дома количество HDD под этой сетью. Про копирование мелких файлов будет ниже и отдельно.

RawDigger international

lexa - 22/Фев/2012 11:19

Английская версия RawDigger вышла (отличия от русской - только в языке мануала, README и прочих подобных текстов).

Как следствие, просьба не анонсировать эту программу в нерусскоязычных community - более не актуальна. Аносировать можно, нужно и все такое, мы будем только благодарны. Текст для анонса можно брать прямо с глагне Rawdigger.com.

Несмотря на вышеупомянутую явную просьбу, некоторые преждевременные анонсы (со ссылкой на русский сайт) таки были. Злобу на их авторов мы затаили и при случае - припомним.

О цветопередаче

lexa - 20/Фев/2012 18:36

Еще один пост, родившийся из комментария.

Давид Мзареулян спрашивает:

Вот у нас сенсор (+АЦП). Сигнал от него, как я понимаю, линейный с высокой точностью. Даже если точность не очень высокая, то откалибровать отклик конкретной модели сенсора не должно составлять труда. Перед сенсором светофильтры. Они тоже линейно сворачивают спектр в скаляры. RGB-пространство тоже линейно, ну гамма там по яркости. Получается, что задача преобразования сигнала от сенсора в RGB линейная с точностью до одной единственной заданной гаммы. Значит, чтобы заставить монитор светиться так же как светился объект перед камерой, достаточно линейно преобразовать сигнал от сенсора. С точки зрения цвета это означает ткнуть пипеткой в нейтральный объект и таким образом найти взаимные коэффициенты для трёх каналов. Ну и гамму потом наложить. Всё, этого должно быть достаточно.

Что я упускаю? Потому что если я ничего не упускаю, то совершенно непонятно, почему разные конвертеры по-разному разрешают и передают цвета с разных камер а они таки их передают по-разному.

Отвечаем (чуть подробнее, чем в том комментарии в ЖЖ):

О чувствительности цифровых камер

lexa - 20/Фев/2012 10:47
Скопирую из комментариев в raw-rpp, снабдив ссылками, потому что тема всплывает настолько регулярно, что надо куда-то давать ссылку, а не писать по десятому разу одно и то же.

Реплика:

проблема в том,что для обычного фотографа,юзающего цифрозеркало не хватает ТЕЗИСНЫХ определений простой пример-мне для работы необходимо знать
-возможности матрицы при условных исо от 100 до 400 (изменение диапазона матрицы)пусть с использованием внешнего экспонометра
-возможности матрицы при 3200 и 5500 (исправление разбаланса по каналам)
Ответ:

Правильно, тезисных определений не хватает.

В частности, нету определения "чувствительности в RAW", стандарт который на эту тему есть - определяет в лучшем случае чувствительность для JPEG (честно скажу, стандарт читал давно, а освежал мнение только изложением его в википедии).

С другой стороны, для пленки оно даже хуже: для латентного изображения понятия чувствительности вовсе нет, а для проявленного - есть, но чувствительность (и вообще вся характеристическая кривая) сильно зависят от режима проявки. А проявить, в отличие от RAW, можно только один раз.

Понятно что есть некий стандартный режим, но скажем для слайда результаты в погружной машине и в маленьком баке - при одном времени проявления и температуре - отличаются. И для листов и узкой пленки - отличаются. То есть единственный реальной стандартный процесс который был - это C41 (да и то, я вот обычно немножко перепроявлял, мне так нравилось).

Поэтому практический совет достаточно очевидный

  1. Если вы пользуетесь каким-то стандартным "проявителем" для цифры, ну там RPP или LR (или внутрикамерным, получая JPEG) - ну так померьте тоновую кривую один раз. В отличие от пленки, специализированного прибора (денситометра) не нужно, все есть в фотошопе. Но что для разных проявителей кривая отличается - ну это такой факт, это и для пленки так было.

    То что ACR (а значит и LR) поднимая полутона режет при этом света (при настройках по нулям) - будет для проделавшего этот эксперимент (не)приятным сюрпризом.

  2. Как минимум три года есть инструментарий (имени меня), который позволяет посмотреть "а что там в RAW на самом деле". Мой текст о запасе в светах у 5DMark II на libraw.su - датирован 20 февраля 2009 т.е. ровно 3 года назад.

    Не говоря о поминавшемся тут уже свежем туле RawDigger, который позволяет это проделать удобно. Ну и Rawnalyze тоже был/есть.

Но, конечно, то что у Adobe есть скрытая поправка в ~0.3-0.5 стопа, плюс "неявная" поправка, которая бывает тоже в полстопа (а бывает, наверное, и больше) - это такое интересное открытие, которое каждый делает для себя сам, так уж повелось испокон веку.

Друпальское: аккуратно разложенные грабли в pager

lexa - 17/Фев/2012 19:38

Для памяти, чтобы не забыть.

Со всей дури налетел на эту вот особенность: Pager missing if views is installed.

Причем, полдня происходила чистая мистика - меняешь тему оформления - появляется pager (в моем конкретном случае - в комментариях). Начинаешь разбираться, чем же она отличается от той, где листалки нету (ну там отладочная печать, то, се) - и вроде ничем не отличается.

Только вот в одном случае строится список комментариев с pager, а в другом - нет.

Когда в очередной раз обгуглился и нашел про Views, то конечно стало понятнее:

  • Блок Views с pager у меня таки был.
  • А в тех дизайнах, где pager под комментариями появлялся - просто не выводился этот блок из Views.
Штатное лечение - каждому pager во views - задать уникальный (по сайту) Pager ID, благо средства для этого есть. Риторический вопрос только один, а почему этот Pager ID сразу не формируется уникальным, ну там из ID view и номера блока в нем.....

На закуску хочу заметить, что вся эта конструкция, когда зовутся функции по именам (ну там themename_preprocess_html), а если такой нету, ну значит не судьба, - это очень гибко, но, блин, отлаживать это - это нечто.

10G дома: Myricom + Samba

lexa - 15/Фев/2012 20:45

Продолжаем развлекаться с 10G. Сначала картинка, чтобы было веселее. Это копирование с локального диска на "NAS"

Под катом - как она получена (и почему NAS в кавычках)

Pages