2011

А вот кто хочет кластер понастраивать?

lexa - 16/Дек/2011 21:33

Граждане читатели!

У дружественной мне компании-интегратора есть задача: они поставили заказчику железо в виде blade-сервера, в каждом блейде есть infiniband, на шасси - infiniband-свитч. Все вместе - маленький вычислительный кластер, я так понял что 12 блейдов, наверное 24 процессора, всего ядер получается пара-тройка сотен. Никаких GPU нету, чистый CPU-кластер.

Нужно: провести какую-то настройку этого дела, взгромоздить туда MPI (не знаю какой), запустить HPL и продемонстрировать, что все работает и с какой-то разумной скоростью считает. Получать безумную эффективность не надо, работает, масштабируется как-то - и прекрасно.

Естественно, не бесплатно.

Если вы на практике имели дело с (начальной) настройкой чего-то подобного и имеете желание подработать день-другой (ну я не знаю сколько там надо на самом деле), пишите мне на lexa@lexa.ru и я вас дальше сконнекчу.

По датам это, ориентировочно, нужно в середине следующей недели, вторник-четверг.

P.S. Дефолт-сити.

P.P.S. Обратились, собственно, ко мне, но я не настоящий сварщик и вот прямо в данное время не хочу/не могу учиться за счет заказчика, не до того.

P.P.P.S. Спасибо за советы "какой готовый дистрибутив взять", но я пытаюсь решить другую задачу: не найти удочку, а нанять умелого рыбака.

О Нумерологии - продолжение

lexa - 16/Дек/2011 12:33

После моего предыдущего разоблачения гребенок Чурова армянское радио спрашивают мне пишут, по смыслу примерно такое:

Алексей, а почему вы взяли ширину бина (ячейки гистограммы) 0.1%, там же будет сплошной шум, на фоне которого ничего не видно. Открыватели гребенки Чурова брали 0.5% и у них все получилось, а пика на 66.7% - наоборот, не получилось.

Отвечаем:

I. Я, собственно, ловил именно пик на 2/3 (66.66(6)%), как имеющий (скорее всего) естественное происхождение, потому и взял такой бин.

При ширине бина гистограммы в 0.5% поймать пик на 66.7% очень трудно, ибо и сам пик на 66.7 и провалы перед ним и после него на 66.5, 66.6, 66.8 и 66.9 попадут в один бин гистограммы и взаимоуничтожатся. Потому то у открывателей гребенки и не получилось пика на 66.7.

II. Но я не гордый, данные с бином 0.1 уже в Экселе, их можно просто поскладывать по 5 штук и получить гистограмму с бином 0.5. Вопрос только в том, как располагать бины гистограммы, ведь есть варианты:

  1. "Надпись - слева от бина". Т.е. бину "50%" соответствует диапазон 50.0%-50.49(9)%. Это - обычный способ построения гистограмм и, скорее всего, "гребенка Чурова" получена именно так.
  2. "Бин - слева от своей надписи". Т.е. бину 50% точно отвечают значения от 49.5000(0)1 до 50.0.
  3. "Надпись - посередине бина". Т.е. бин "50%" охватывает диапазон, скажем, от 49.8 до 50.29(9) (лучше было бы от 49.75 до 50.249(9), симметричнее, но у меня исходные данные уже насчитаны с шагом 0.1 и быстро так не сделать).
Я, повторяю, не гордый и опробовал все три способа. И вот что получилось для диапазона 45-55% голосов за ЕР:

О Нумерологии

lexa - 15/Дек/2011 17:38

Количество дискуссий "о статистике" в которых я тут, сдуру, участвую, начинает меня нервировать. Хочу записать основные тезисы, дабы потом просто давать ссылку, а не писать одно и то же десять раз.

Предуведомление

Для создания хоть какой-то конструктивной атмосферы в обсуждении, вынужден сообщить:

  1. Я никоим образом не пытаюсь оспорить наличие фальсификаций на прошедших выборах о чем просто утомился уже говорить. Есть участки, где просто йобаный стыд, есть зафиксированные расхождения между копией протокола у наблюдателя и сайтом ЦИК (и эти расхождения, как правило, за одну партию), есть всякие подозрительные случаи, когда наблюдателя выгнали, а на сайте ЦИК что-то абсолютно не похожее на результаты по соседним участкам.
  2. Вышесказанное не означает, что любая странность должна трактоваться против Чурова и ЕР.
  3. Вышесказанное не означает, что любая наукообразная аргументация от противников Чурова/ЕР должна восприниматься некритически.
  4. Ну и если мы про статистическую науку, так давайте действовать как-то наукообразно, а не кто кого громче заклеймит и перекричит.
Чувствую себя полным идиотом оправдываясь, но без подобной преамбулы дискуссия сводится, в пределе "не надо оправдывать фальсификации, путинский наймит". А я скорее о том, что фальсификации не должны разоблачаться с помощью неподходящего к ситуации (или неправильно употребленного) статистического аппарата. То есть, конечно, все имеют право на заблуждения, но ситуация, когда на заблуждения указываешь, а в ответ получаешь ругань (обвинения в проданности режиму и прочее подобное) - огорчительна мне.

О Гауссиане и Центральной Предельной Теореме

Стою на асфальте я....

lexa - 14/Дек/2011 12:45

1. Опробовал снег. Имеется, в парках его вполне достаточно для.

2. Собственно, все это затевалось, чтобы опробовать жёнины лыжи с насечкой. Конкретно - Atomic Motion 46 G2 Syncro

Несмотря на то, что они мне коротковаты и рассчитаны на гораздо меньший вес, оказались офигенны. Ну то есть вперед они таки едут (хотя и скрипят противно временами), а назад - не едут. Лыжи на мой вес - очевидно ехали бы вперед еще луче.

С учетом того, что попадать в масть мазь я ни в оттепель, ни в мороз не умею совсем - поеду срочно в лабаз и куплю себе примерно такие же.

Q: InstallShield Limited Edition и вообще про инсталляторы.

lexa - 12/Дек/2011 18:24

Прошу прощения что я не о выборах, но вот такие вот практические вопросы.

Вопрос номер раз

  1. Visual Studio 2010, хочу сделать проект изготавливающий инсталлятор. Ну значит New Solution - и там есть пимпа "Enable InstallShield LE".
  2. Жму в пимпу, мне предлагают этот InstallShield скачать. Скачиваю, запускаю инсталлятор.
  3. Инсталлятор инсталлирует, говорит что надо Studio перезапустить.
  4. Перезапускаю. Одновременно прилетает письмо с серийником.
И вот теперь имею проблему:
  • Куда нужно сунуть серийник - просто не понимаю. Все меню облазил, не нашел.
  • InstallShield-проект создать нельзя. Не создается, failed и все.
Кто виноват и что делать?

Про существование NSIS знаю, но хотел попробовать с InstallShield, чтобы вообще понимать чего хотеть.

О гауссиане

lexa - 09/Дек/2011 15:12

А еще в текущем моменте меня удивляет, с каким энтузиазмом образованные люди пересылают друг другу ссылки про математическое доказательство существования диавола гауссиану известно в каких графиках.

Ну включите ум, ну откуда там гауссиане взяться?

Update (для тех кому лень задуматься):

  1. Гауссиана симметрична, т.е. неправильно (для статистики по выборам) ведет себя, к примеру, около нуля. Ну вот допустим есть партия А со средним по стране 3% и выплесками до 10%. Столько, сколько выплесков на +7, столько же должно быть и на -7. Т.е. до -4%.
  2. Логнормальное распределение ведет себя приемлемо около нуля, но опять будут выплески "за 100%", причем они будут в логарифмах т.е. по величине - гигантские.
  3. На взгляд, не похоже, что можно подобрать такие ~10 гауссиан (7 партий + испорченые + потеряли + что еще там бывает), чтобы их сумма в каждом участке была бы ровно единицей (100%).
  4. Распределения с несколькими пиками вполне могут быть, если есть несколько социальных групп, голосующих сильно по-разному. См. Израиль.
Да, я не пытаюсь опровергнуть (или доказать) приписки, нечестный счет и все такое. Просто гауссиана к этому месту гарантировано неприменимма.

Update: продолжение тут

О текущем моменте

lexa - 09/Дек/2011 09:23
Я не писал в этом блоге о политике раньше и надеюсь, что не буду писать и впредь. Но происходящее ровно сейчас меня тревожит, и не высказаться я не могу.
  1. Я могу понять тех, кто попытался высказать ИМ ВСЕМ путем голосования, а на следующее утро обнаружил чудеса на сайте избиркома на своем участке. Насрали на голову лично вам, причем непонятно зачем: 4 лидера избирательного процесса если и не разлиты из одной бочки, так разлиты из очень похожих.
  2. Остается судиться (что скучно, долго, результат не гарантирован, да и участников у этого процесса не так много), или выйти на площадь и таки высказать ИМ ВСЕМ и показать что .
  3. Во всем этом тревожат только такие вот неприятные мелочи:
    • Fox News УЖЕ показывал московские беспорядки с чем-то горящим на фоне знаменитых московских пальмовых бульваров.
    • Стихийно придуманный в последние дни брэндбук революционера (название, ленточка нужного цвета и все что там полагается) ВНЕЗАПНО имеет домен и ЖЖ-community зарегистрированные полтора-два месяца назад. Готовились люди, ничего нельзя пускать на самотек.
    • Стандартный стихийный цветной сценарий борьбы за свободу это повышение градуса противостояния до бесконечности. Иначе ничего не выйдет. С трупами если без них не получается.
    • Задача организаторов стихийного протеста вовсе не разумный компромисс.

Собственно, я и призываю своих читателей включить голову (вместо эмоций) и задуматься, какую цену лично вы готовы заплатить и, кстати, за что. Примеров цветных революций можно найти в недавней истории в количестве.

P.S. Это призыв включить голову и сделать как велит она, а не остальные органы, места для дискуссии не вижу.

О синем цвете и зеленых каналах: Panasonic G3

lexa - 02/Дек/2011 13:40

Я уже про это писал, но во-первых чисто умозрительно (на пальцах), а во-вторых не полностью верно, пришло время вернуться.

Чтобы не троллить больше владельцев Sony A77, возьмем для примера Panasonic G3. А именно, возьмем с imaging resource снимки мишени CoolorChecker и постараемся разобраться, что же камера с них выдает.

Вот прямо наложим на фото масочку-сеточку и посмотрим, что для каждого из патчей мы увидим в гистограмме.

Для краткости я буду называть патчи прямо по их именам (см. первую картинку в посте), а все приведенные ниже гистограммы - это гистограммы по RAW-данным, единственное сделанное преобразование - это вычтен уровень черного.

Для начала, сформулируем тезисы, которые ниже я пытаюсь проиллюстрировать.

Суть проблемы (профилирования)

Проблему я формулирую так:

  • Все поля мишени с точки зрения программы профилирования - равнозначны. В лучшем случае профилировщик учтет дисперсию сигнала в данном поле, да и то, скорее интегральную, а не поканальную.
  • С точки же зрения камеры, величина ошибки по полям и по каналам - очень разная. Тут и шум и разная чувствительность каналов и ступенчатость восприятия, особенно на высоких ISO.
Естественно, проблема касается не только профилирования, но и вообще захвата слабых каналов. Посмотрим с этой точки зрения на изучаемый панасоник.

Про ГЛОНАСС и GPS

lexa - 30/Ноя/2011 11:04
Два прибора на табуретке, в метре от окна (окно в самсунге отражается):

Спутники с номером от 60 (на правом приборе) - это ГЛОНАСС, их у меня через окно в момент эксперимента было видно три, а GPS-овских - только два, из них, судя по дисплею Гармина, только один нормально. Комбинированный прибор, судя по тому что и высоту показал, определился по четырем (пишет что по 5, но реально цифирки дрыгались 3-6 все время).

Ну и в реальной жизни оно тоже примерно так и есть: в условиях плотной городской застройки быстрее достать из лопатника Note (которая GPS+ГЛОНАСС), включить ее, включить в ней GPS и определиться "где я", чем использовать GPS-only чип в телефоне и искать дырку между домами.

На открытой местности, естественно, разница будет куда меньше. С GPSMap 62s какие-то проблемы бывают только в глубоких ущельях. Ну и в машине, конечно, надо поближе к окошку класть. Но проблемы - бывают. Посему, как только выйдет замена 62-й серии с ГЛОНАССом - буду менять, наверное, а скачками бежать в сторону последних eTrex (с Глонассом) - не буду.

О высоких ISO и о дырках: Sony A77

lexa - 28/Ноя/2011 18:38

Возьмем, к примеру, Sony A77. Самой камеры у меня нету, поэтому возьмем самплы с Imaging Resource. Я взял те, где есть большое серое поле (как на картинке в заставке этого поста) для разных ISO: 50, 100, 800, 1600, 6400, 16000.

А дальше выберем кусочек на сером поле размером, скажем, 450x200 пикселов и построим по нему гистограмму. Прямо вот по RAW-данным.

И вот что получается:

Pages