О боевой революционной социологии

lexa - 02/Мар/2012 09:11

Я не люблю писать о политике, 10G ethernet или цифровое фото - гораздо интереснее.

Но тут, волею судеб, довелось 10 минут поанализировать данные правильного, настоящего опроса населения (попросили, я и посмотрел), не пропадать же добру.

В интернете (и, в частности, соцсетях) последние дни активно пиарится общественный опрос общественного же мнения (в соцсетях преимущественно ссылаются на сайт эха, сошлюсь и я). Согласно этим данным, рейтинг Путина сильно преувеличен, "Шансы Путина на победу в первом туре равны нулю", и так далее.

По счастью, это тот же самый опрос, "Гражданина Социолога", для которого доступны первичные данные по ряду городов. Список городов совпадает, количество респондентов совпадает, все совпадает.

Давайте посмотрим на них повнимательнее.

О последствиях наводнений

lexa - 28/Фев/2012 10:51

А напомните мне, сколько стоили в дефолт-сити самые дешевые 2- и 3-Tb диски до наводнения. WD Green и подобные.

Мне почему-то вспоминается, что 2500 и 4000 примерно, но ведь могу и путать.

Update: про 2Tb уже накидали данных, спасибо. 3Tb я помню что коэффициент было в районе 1.7-1.8 примерно т.е. экономически было еще невыгодно, но было "вот-вот".

10G дома: Infiniband + FreeBSD

lexa - 27/Фев/2012 12:54

Я тут интересовался про Infiniband и FreeBSD, теперь могу и сам рассказать :)

Datagram mode

Для начала нужна FreeBSD 9. У меня - какая-то, cvsup делал где-то в январе или около того.

Далее все тривиально:

/etc/make.conf:

WITH_OFED=yes
Конфиг ядра (в GENERIC это место не включено) /sys/amd64/conf/OFED:
include GENERIC
options OFED # Infiniband protocol stack and support
options SDP # Sockets Direct Protocol for infiniband
device ipoib # IP over IB devices
device mlx4ib # ConnectX Infiniband support
device mlxen # ConnectX Ethernet support
device mthca # Infinihost cards
У меня карты mthca, остальные два драйвера в моем случае вероятно не нужны.

Далее все просто:

cd /usr/src
make buildworld && make installworld # поставит IB-шный утиль, всякие ibstat и opensm
make buildkernel KERNCONF=OFED && make installkernel KERNCONF=OFED

Что-то из этого добра (то ли userland IB-шный, то ли ядро) не собирается clang-ом, поэтому про CC=clang стоит забыть.

Если нужен Subnet manager (на другом конце линка/свитче его нет), то opensm_enable=YES в rc.conf (а если нету /etc/rc.d/opensm, то накатить его mergemaster-ом).

Бутимся....

...все что вы боялись узнать про RAW....

lexa - 27/Фев/2012 08:49

Согласно общепринятому мнению, "настройки ББ не влияют на RAW" (и для подавляющего большинства камер - это так).

Эту мысль часто толкуют расширенно "настройки JPEG не влияют на RAW", что, вероятно, тоже так. Точнее, я не видел никаких объемных экспериментов на эту тему, утверждать не могу, но для многих камер это наверное так. Хорошо бы проверить....

Следствие из этих тезисов такое: как не крути настройки камеры (очевидно, за исключением экспозиции, ISO и, вероятно, шумодава, сюда же и "расширенный динамический диапазон"), в RAW будет одно и то же.

И ничто не предвещало.....

А вот что намерял Panagiotis Markolefas на своей камере Panasonic GF1:

forums.dpreview.com/forums/read.asp?forum=1041&message=40731227

Если лень читать там, то вот мое изложение:

10G дома: новые бенчмарки на Myricom

lexa - 26/Фев/2012 21:13

Опробованная вчера новая бенчмарка (с подсчетом md5 по куче файлов) сделана и для Myricom. Вкратце (сервер, время 1-й попытки, время 2-й попытки)

  • Win7: 2:10,2:09
  • Linux, Samba: 5:10,5:01
  • Linux, iSCSI: 1:37, 1:00

Бенчмарка "копирование Qt" оказалась очень чувствительной к количеству свободной памяти на машине. Что-то оно там префетчит, если памяти много. Как следствие, сравнение копирований между моими записями - неверное занятие. Внутри каждого отдельного поста - консистентно.

Мораль:

  • На крупных потоках один хрен, что IB, что Myricom (ну для IB я намеривал скорости побольше, но это неважно).
  • С Win7-"сервером" Myricom несколько быстрее IB. Не знаю почему.
  • С Linux-сервером - практически один хрен, что по Samba (медленно), что по iSCSI (быстро)
При этом IB-карты дешевле и двухпортовые т.е. на сервер и две WS нужны три карты, а не 4. Ну и SRP, MPI и прочие Infiniband-развлечения. Минусы тоже есть: не поддерживаются маками (Myricom - поддерживается), требуются пляски с IB-стеком, OpenSM опять же.

Завтра расскажу, как Infiniband c FreeBSD сочетается.

Q: генеалогия соляриса

lexa - 26/Фев/2012 10:13

А тут вот разными способами подталкивают к (опен)солярису, дескать и ZFS там и SRP (и, небось, прямо встроенный в ZFS iscsi-target) и вообще цветет мульен цветов.

Только я стал туда смотреть и полностью запутался. Вопрос дня: OpenSolaris 11 (Oracle) или OpenIndiana? Возможность что-то перекомпилировать несущественна сама по себе.

10G дома: Infiniband, Linux, Samba, iSCSI, SRP

lexa - 25/Фев/2012 21:04

Для начала картинка. Это SRP (SCSI RDMA Protocol), поднятый на Linux, клиент - Windows 7.

Если сравнивать с картинкой для iSCSI поверх Myricom (вторая картинка в этом посте), то выросла скорость на мелких блоках и нет падения на блоках больше 256к.

Но по порядку.

ZFS performance Q: hw RAID или RAIDZ(2)

lexa - 25/Фев/2012 12:51

А вот такой практический вопрос.

Есть, к примеру, 6-8 не очень быстрых дисков (7200 rpm, что-нибудь типа Barracuda ES или как они теперь правильно называются, Seagate Constellation?). Двухтерабайтников, скажем (потому и не 10k/15k).

К тому же примеру, есть какой-то 8-портовый контроллер. Вот прямо на руках есть Adaptec 5805. Покупать что-то еще новомодное и быстрое (столь хвалимые LSI 9280, к примеру) не хочется, жаба не велит.

Процессор на тазике будет достаточно быстрый, что-нть в духе i7-920, памяти тоже не пожалею (12G скорее всего).

Хочется на этом месте поднять ZFS (потому что очень удобно на практике), предположительно на FreeBSD, но солярку (в каком-то лице) тоже можно рассмотреть.

Собственно, вопрос:

А как это правильно конфигурировать то:

  • JBOD или 6(8) single-disk arrays и ZFS поверх?
  • Или RAID6 на контроллере и ZFS "на одном томе"?
Вопрос касается именно производительности, причем типичных паттернов я вижу два:
  • I like to move it, move it большими файлами (кино, бэкапы, да мало ли в хозяйстве больших файлов). Т.е. линейное чтение-запись во всей красе.
  • Доступ по iscsi, причем тома будут прямо вот средствами ZFS нарезаны. А на этих томах - всякое разное.

Интернеты - противоречивы. У одних бойцов RAIDZ несколько медленнее, у других - наоборот. Как правило, из тестов непонятно, куда RAIDZ упирался, мог ведь и банально в память/процессор.

Помимо RAIDZ2/RAID6 рассматриваю еще и вариант с mirror, но он для 8 дисков какой-то обидный.

Про Лютера нашего Айвса

lexa - 24/Фев/2012 19:58
Luther-Ives condition become known in the beginning of the last century: a color capturing device with light detectors of three types might be used in correct color reproduction system if and only if DSS for every detector in the system might be represented as a linear combination of Cone Fundamentals (CFs).
отсюда

А вот эти самые Cone Fundamentals, взятые отсюда (в первом наборе контролов Quantal/1nm/plot):

Лютером-Айвсом цветовые ученые постоянно стращают, это прямо таки Священный Грааль цветовоспроизведенцев. И, исходя из общей теории всего, выглядит это разумно:
  • Есть некий первичный базис, эти самые Cone Fundamentals, говоря простым языком - спектральная чувствительность колбочек глаза.
  • Чтобы разговаривать с глазом в его "первичных координатах", хорошо бы уметь пересчитывать в этот самый первичный базис.
  • Что означает, что спектральная чувствительность сенсора (каждого канала) должна бы быть линейной комбинацией из базиса, тогда умножив на обратную матрицу - мы получим этот самый базис.
  • Никто не пишет, но очевидно что матрица из базиса в сенсор должна быть невырожденной, иначе обратную не построить.
Это - теория. Вполне похожая на правду, если бы не одно, но крупное НО.

Берем хорошую современную слайдовую пленку. Ну вот Kodak 100G. И берем из ее даташита кривые спектральной чувствительности. Вот они:

10G дома: Infiniband, Windows-SMB

lexa - 24/Фев/2012 18:50

Продолжаю потихоньку упражняться с 10G, вынул Myricom, вставил IB. Все под виндой, до Linux+IB руки только на выходных дойдут.

Для начала - завлекательная картинка:

На самом деле, я и слегка за 1Gb/sec видел, чего не должно бы быть (реальных гигабит данных 8 ровно), спишем на точность подсчета виндой.

Под катом: как оно было получено и что было получено еще.

10G дома: Myricom, Windows-SMB, iSCSI

lexa - 23/Фев/2012 19:31

Продолжаю развлечения с 10G между двумя рабочими станциями.

Windows - Windows

Запускаю на обеих машинах Win7, на одной делаю Ramdrive на 8G, расшариваю его прямо windows-средствами, запускаю Atto disk benchmark, получаю вот такую картинку:

Каких-то настроек на серверной стороне я не делал, я их и не знаю.

Картинки с Самбы на той же машине (для сравнения) запрятаны в этом посте.

Как видим, на мелких блоках стало побыстрее в 1.5-2 раза (2 раза - для блока 8к), на больших блоках - незначительно медленнее.

Копирование крупных файлов идет с примерно той же скоростью, в районе 500-600MB/sec, то есть быстрее, чем можно надеяться имея в массиве разумное для дома количество HDD под этой сетью. Про копирование мелких файлов будет ниже и отдельно.

RawDigger international

lexa - 22/Фев/2012 11:19

Английская версия RawDigger вышла (отличия от русской - только в языке мануала, README и прочих подобных текстов).

Как следствие, просьба не анонсировать эту программу в нерусскоязычных community - более не актуальна. Аносировать можно, нужно и все такое, мы будем только благодарны. Текст для анонса можно брать прямо с глагне Rawdigger.com.

Несмотря на вышеупомянутую явную просьбу, некоторые преждевременные анонсы (со ссылкой на русский сайт) таки были. Злобу на их авторов мы затаили и при случае - припомним.

Pages

Subscribe to blog.lexa.ru: все статьи