O ZFS performance

Подтверждается старое правило: чем гуще горшок, тем пуще ZFS

Переставил новый массив из тестовой машины (i7-2.67Ghz) в несколько более медленную (Core2Quad Q9300 @2.5) и сразу вместо 350-360Mbyte/sec на запись получил 250-280.

На скорость диска не могу грешить, zpool scrub в обеих машинах в начале процесса рапортует в районе 500Mb/sec:

 pool: zdata
 state: ONLINE
  scan: scrub in progress since Tue Mar 20 14:40:34 2012
        782G scanned out of 7,84T at 507M/s, 4h4m to go
        0 repaired, 9,74% done

Собственно, не секрет, и недавно обсуждали, и давно тоже: от перехода c С2D 1.86 на C2Q 3.06 наступает счастье.

Ну, значит пора этому C2Q на покой. Никому не нужна материнка (Micro-ATX, 1xPCI, 2xPCIe1x, 1xPCIe 16x)+процессор+8Gb DDR2-памяти? Махнусь на 12Gb DDR3 в фасовке по 4Gb!, уже неактуально.

Про Infiniband FreeBSD-FreeBSD

Тут спрашивали, как работает IB с FreeBSD на FreeBSD.

Вкратце: очень странно работает. Но байты ходят, достаточно быстро, пользоваться можно.

Сначала мне не удалось ЭТО завести (при том, что линк FreeBSD-Windows7 на тех же картах, портах и драйверах работает прекрасно). Но тут удачно подсказали в комментариях, что это место обновилось.

Ну значит csup && make buldworld && make buildkernel, перезагружаемся и оно работает. При этом

  • При неудачном стечении светил, оно может работать в одну сторону (в одну сторону пинги ходят, в другую - нет), лечится down/up интерфейса. Это у меня было в Datagram mode, пару раз.
  • Connected Mode между двумя FreeBSD - поднялась. Пинги ходят, байты тоже, о производительности ниже. MTU работает и 16k (как уже обсуждали) и 65520 - тоже.
  • Connected Mode между FreeBSD и Windows так и не починилась. Возможно, надо перегрузить (в каком-то порядке) обе машины и я еще буду пробовать, но пока симптомы те же, что и в прошлый раз (слишком большой пакет, не будем слать). Лечится установкой mtu 2044 на FreeBSD-шной стороне.
Производительность:

Про ZFS, Advanced Format и ashift

Пару лет назад я уже исследовал ZFS на дисках с 4k-сектором, но тогда такой диск в массиве был только один (а остальные три - с 512b секторами) и какой-то значимой разницы я не нарыл.

Кроме того, том был загрузочный, а грузиться с тома где ashift не равен 9 тогдашние бутблоки не умели.

Поэтому овладев пятеркой 3Tb сигейтов я просто обязан был это опробовать.

Рассказываю.

Hardware

  • 5x Seagate ST3000DM001 (3Tb)
  • Материнка на Intel X58, Core i7 920, 12GB RAM
  • FreeBSD 9.0-STABLE, обновлялась недели три назад.
  • Попало с машины, откуда я склонировал FreeBSD. Может оно и неправильно, но уже поздно перемеривать:  vfs.zfs.arc_max="4G" vfs.zfs.vdev.max_pending=30

Разгадки Code Signing (пока - только гипотеза)

Задал вопрос в Информатик, отчего ваша Орфо не выдает мне Secutity Warning в моем тестовом окружении, а много других программ (включая и наш RawDigger) - выдают.

Получил ответ: ничего такого не делали, никакой уличной магии, просто подписываем, еще вот Win7 Logo получили.

Тогда попроверял всякий пробованный варез (штук 20 разных инсталляторов) на выдачу Security Warning и на нахождение в Windows 7 Compatibility List. Получается вот что:

  • Подавляющее количество инсталляторов программ из этого списка запускаются без Security Warning.
  • Подавляющее количество того что не в списке - запускается с таким предупреждением.
  • Исключения, коих единицы, но есть:
    • Evernote 4.5 - запускается с Warning. В списке есть версия 4 (м.б. 4.5 и 4 - считаются разными).
    • Coretemp - взлетает мухой, без Warning, хотя в списке ее нет. Правда инсталлятор представляется как IntelliQ (это такая платформа монетизации бесплатных приложений), может быть его сертифицировали под каким-то еще соусом.

      Webmoney - нет в списке, но все работает.

Есть еще такие наблюдения:

Загадки Code Signing

Я разработчик десктопного софтвария молодой, неопытный, сразу не бейте, лучше научите.

Освоил SignTool и все что к нему прилагается, на девелоперской машине все работает как хочется, ура.

Начинаю проверять, запускаю виртуальную машину, где никаких моих сертификатов вроде как нет. Собранный мной дистрибутив доступен через VMWare Shared Folders.

Жмякаю на сваренный мной инсталлятор и вижу такое вот:

Не, ну это лучше, конечно, чем 'Software from unknown published хочет нагадить вам на компьютер', но счастья недостаточно.

О Code Signing

Хочу сказать, что процедура выдачи Verisign Code Signing сертификатов, если пользоваться вот прямо их средствами, какая-то ужасающая:

  • Приватный ключ (сгенерированный Verisign) приезжает в формате .p12
  • Сертификат - в формате PEM
  • Signtool хочет все вместе в формате .PFX (он же, похоже, .p12)
При этом - никаких инструкций "как с этой фигней взлететь" (для сертификатов сайтов - хоть есть "как это все поставить в Apache"), только строгое предупреждение в E-mail, по смыслу такое:
  • Вам обязательно нужны два intermediate-сертификата, возьмите их отсюда.
  • А на странице где эти сертификаты - две textarea с сертификатами, дескать Select All и сохраните в текстовый файл.

Кроме того, в E-mail инструкции строго написано, что скачивать сертификат можно строго на том компьютере, который делал запрос. Что делать, если за прошедшее время машинка дала дуба (а нам рисовали сертификат 2 недели, не верьте что в Штатах все быстро) - неизвестно.

На этом фоне рождаются душераздирающие инструкции вроде всосите все в MSIE и им экспортируйте, но они годятся только если private key уже импортирован в систему (например, сделан MS-овской тулзой, которая сразу инсталлирует сделанный ключ в систему), скачаный с Verisign приватный ключ - не импортируется.

Под катом - инструкция, как все починить с помощью OpenSSL (записки для себя):

О гистограммах

Камерная гистограмма и индикация переэкспозиции считаются хорошим способом контроля правильности съемочной экспозиции. Особенно у снимающих ETTR :)

Потратил несколько часов (полчаса на съемку, полчаса на анализ и дохрена времени на подготовку текста) и на примере моей основной камеры 5D Mark II родил очередной пасквиль:

Осторожно: гистограмма

Наслаждайтесь.

Комментировать можно тут, но лучше бы там, чтобы обсуждение не расползалось.

Как и шутили уже давно, лучший аксессуар для цифровой камеры - непрозрачная наклейка на задний экранчик, если бы не LiveView, я бы разбитый экран на этой камере и чинить бы не стал.

О процессорных сокетах

1. Верно ли я понимаю, что всякие Xeon E55xx, X55xx, L55xx с сокетом LGA1366 в теории могут работать в любой материнке с сокетом 1366, а на практике нужна поддержка от BIOS и надо смотреть на сайте вендора, прежде чем... Вроде это обсуждали, но это была боковая ветка, а хочется конкретно понять.

Вот, к примеру, есть у меня Asus Rampage III Gene. С одной стороны, у нее в списке CPU на сайте - только i7. С другой стороны в похожую Rampage II Gene Xeon и даже оверклочат (поддержки Xeon для Rampage II Gene тоже официально нет). По их следам идут другие умники и у них xeon в R3G тоже работает. Как узнать о проблемах (если таковые бывают) до покупки? Ну то есть с 1366 проблемы нет, у меня материнка, про которую я ЭТО обдумываю - Xeon-ы поддерживает (согласно сайту производителя), но хочется общий принцип понять.

2. Верно ли я понимаю, что аналогичный случай произойдет с LGA2011 и всякие Xeon E5-26xx и E5-16xx тоже (со временем) будут работать в материнках, сделанных под i7 с сокетом 2011? И поддержка зависит от BIOS, никаких дополнительных телодвижений (спец-питания, еще чего) в аппаратуре не надо.

О светах у Nikon D3

А вот возьмем полностью засвеченный кадр с Nikon D3 и загрузим его в RawDigger.

Пойдем в Preferences (Ctrl-P), выключим Subtract Black, жмякнем OK и посмотрим на статистику по всему изображению:

Минимальный минимум по всем 4-м каналам - 15587. Откроем еще раз Preferences, включим обратно Subtract Black, Black Level: Manual, значение 15587:
(замечание: пользователи версии более старой, чем 0.9.9 не смогут так сделать, в старых версиях максимальное значение Black Level был 9999).

Что мы сделали? Мы (небольшой) диапазон колебания значений в засвеченном кадре растянули на весь диапазон яркостей.

Нам откроется прекрасное (трафик!):

RawDigger 0.9.9

Продолжаю анонсировать новые версии RawDigger.

Качаем тут: RawDigger-0.9.9-Beta-RU-Setup.exe, читаем полный changelog тут, жалуемся сюда.

Из существенных изменений:

Возможность задать координаты Selection вручную, "по пикселям"
Это нужно, в первую очередь, исследователям черной (маскированной) рамки. На разных кадрах она расположена в одном и том же месте и задание по координатам просто удобнее.
Вывод в CSV/CGATS файлы может учитывать системные установки decimal point
Это полезно, если вы используете отечественные региональные настройки и разделитель дробной части в вашем Excel (и т.п.) - запятая.

Если вы противник десятичной запятой, а в системе установлена именно она, можно насильно включить точку (через Preferences).

Установленный уровень черного (и Linear Raw Curve) влияет на RGB-рендеринг
Фишка может оказаться полезной тем, кто никогда не видел нелинейный RAW-файл (см. пример под катом), душераздирающее зрелище.

Вместе с тем, если вы подбираете уровень черного (например, чтобы потом поставить его руками при конверсии) - штука полезная.

Остальное все по мелочи
багфиксы, оптимизация, убрано местами странное поведение диалога Preferences, когда изменения вступали в силу только после переоткрытия файла.

Какое слово сказал паровозик?

Жена со старшей дочерью нашли в детской журналке прекрасное:
Под катом - полная картинка

Reality Show на 150 килокамер

Имею сказать, что шоу на 150 тысяч камер - удалось.

Стоила ли практическая польза затраченных средств - я не знаю. Но проект - нереально сложный по объему и срокам, без возможности протестироваться под реальной нагрузкой (а на тестовых прогонах все отловить нельзя). И работает ведь.

Я восхищен.

Pages

Subscribe to blog.lexa.ru: все статьи