Разное

Я не люблю писать о политике, 10G ethernet или цифровое фото - гораздо интереснее.

Но тут, волею судеб, довелось 10 минут поанализировать данные правильного, настоящего опроса населения (попросили, я и посмотрел), не пропадать же добру.

В интернете (и, в частности, соцсетях) последние дни активно пиарится общественный опрос общественного же мнения (в соцсетях преимущественно ссылаются на сайт эха, сошлюсь и я). Согласно этим данным, рейтинг Путина сильно преувеличен, "Шансы Путина на победу в первом туре равны нулю", и так далее.

По счастью, это тот же самый опрос, "Гражданина Социолога", для которого доступны первичные данные по ряду городов. Список городов совпадает, количество респондентов совпадает, все совпадает.

Давайте посмотрим на них повнимательнее.

Я тут интересовался про Infiniband и FreeBSD, теперь могу и сам рассказать :)

Datagram mode

Далее все тривиально:

/etc/make.conf:

Далее все просто:

Что-то из этого добра (то ли userland IB-шный, то ли ядро) не собирается clang-ом, поэтому про CC=clang стоит забыть.

Если нужен Subnet manager (на другом конце линка/свитче его нет), то opensm_enable=YES в rc.conf (а если нету /etc/rc.d/opensm, то накатить его mergemaster-ом).

Бутимся....

А тут вот разными способами подталкивают к (опен)солярису, дескать и ZFS там и SRP (и, небось, прямо встроенный в ZFS iscsi-target) и вообще цветет мульен цветов.

Только я стал туда смотреть и полностью запутался. Вопрос дня: OpenSolaris 11 (Oracle) или OpenIndiana? Возможность что-то перекомпилировать несущественна сама по себе.

А вот такой практический вопрос.

Есть, к примеру, 6-8 не очень быстрых дисков (7200 rpm, что-нибудь типа Barracuda ES или как они теперь правильно называются, Seagate Constellation?). Двухтерабайтников, скажем (потому и не 10k/15k).

К тому же примеру, есть какой-то 8-портовый контроллер. Вот прямо на руках есть Adaptec 5805. Покупать что-то еще новомодное и быстрое (столь хвалимые LSI 9280, к примеру) не хочется, жаба не велит.

Процессор на тазике будет достаточно быстрый, что-нть в духе i7-920, памяти тоже не пожалею (12G скорее всего).

Хочется на этом месте поднять ZFS (потому что очень удобно на практике), предположительно на FreeBSD, но солярку (в каком-то лице) тоже можно рассмотреть.

Собственно, вопрос:

А как это правильно конфигурировать то:

• JBOD или 6(8) single-disk arrays и ZFS поверх?
• Или RAID6 на контроллере и ZFS "на одном томе"?

• I like to move it, move it большими файлами (кино, бэкапы, да мало ли в хозяйстве больших файлов). Т.е. линейное чтение-запись во всей красе.
• Доступ по iscsi, причем тома будут прямо вот средствами ZFS нарезаны. А на этих томах - всякое разное.

Интернеты - противоречивы. У одних бойцов RAIDZ несколько медленнее, у других - наоборот. Как правило, из тестов непонятно, куда RAIDZ упирался, мог ведь и банально в память/процессор.

Помимо RAIDZ2/RAID6 рассматриваю еще и вариант с mirror, но он для 8 дисков какой-то обидный.

Продолжаю развлечения с 10G между двумя рабочими станциями.

Windows - Windows

Запускаю на обеих машинах Win7, на одной делаю Ramdrive на 8G, расшариваю его прямо windows-средствами, запускаю Atto disk benchmark, получаю вот такую картинку:

Каких-то настроек на серверной стороне я не делал, я их и не знаю.

Картинки с Самбы на той же машине (для сравнения) запрятаны в этом посте.

Как видим, на мелких блоках стало побыстрее в 1.5-2 раза (2 раза - для блока 8к), на больших блоках - незначительно медленнее.

Копирование крупных файлов идет с примерно той же скоростью, в районе 500-600MB/sec, то есть быстрее, чем можно надеяться имея в массиве разумное для дома количество HDD под этой сетью. Про копирование мелких файлов будет ниже и отдельно.

Помимо Infiniband-карточек, я, как и собирался, запасся картами Myrinet 10G. Портов меньше, дороже (получилось $80 за карту), но тоже интересно.

После пары дней мучений (о которых ниже) удалось получить такое вот (tcp, 1 поток):

------------------------------------------------------------
Client connecting to 10.3.1.2, TCP port 5001
TCP window size:  256 KByte
------------------------------------------------------------
[  3] local 10.3.1.1 port 1383 connected with 10.3.1.2 port 5001
[ ID] Interval       Transfer     Bandwidth
[  3]  0.0-10.0 sec  7.77 GBytes  6.68 Gbits/sec

Плюсы (в сравнении с Mellanox):

• Есть драйвера для мака (не пробовал). Ну и вообще, все кроме Windows поддерживают сходу, для виндов - просто ставятся драйвера.
• Аппаратные контрольные суммы для IP, в случае IPoIB все считается, как я подозреваю, софтом. В результате 26Gbit (два двунаправленных потока по IB) грузят i7-920 ровно наполовину. Мне, впрочем, нужно меньше, оттого я не сильно парюсь.

Минусы:

• Никаких наворотов, вроде Winsock Direct, SRP, SDP, RDMA. Просто Ethernet 10G. Это может быть и плюс, если хочется просто работать (Subnet Manager не нужен, ARP как у людей и т.п.), но IB-шные навороты в локальном масштабе вполне могут быть и полезны.
• Один порт. Т.е. цена за порт выше раза в 4 (хотя и остается низкой).
• Карты сильно греются, пришлось искать слот с обдувом.

Не сдержался, купил 3-метровый D-Link в московской рознице, руки то чешутся.

Все практически мгновенно завелось, с одной тонкостью, результат вполне бодрый:

ttcp PID=0x1e20 TID=0xd60
ttcp -t: buflen=65000, nbuf=10000, align=16384/0, port=5001  tcp  -> 10.1.1.2
ttcp -t: 650000000 bytes in 718.00 real MilliSeconds = 863.35 MByte/sec +++
ttcp -t: 10000 I/O calls, msec/call = 0.07, calls/sec = 13927.58

Это Connected Mode, MTU 65520, размер пакета - 65000 для ровного счета. Windows - Windows.

А помянутая выше тонкость простая: если нет свитча, то Subnet Manager надо запускать до того, как воткнута карта. Без этого оно о скорости договаривается не всякий раз правильно, бывают и те 1x, которые меня мучали в прошлый раз.

И, сюрприз, IPoIB прекрасно работает при 4x, но не работает на 1x. Хотя Infiniband-пакеты успешно ходят на обеих скоростях.

Плотно займусь рассмотрением скоростей (самба, iscsi, SRP) - не раньше выходных, пока RawDigger не дает отвлечься. C FreeBSD, вероятно, тоже будут приключения.

Очень трудно удержаться и вообще ничего не писать о политике. Вот опять не получилось.

Вот есть свежий опрос Левады. Всех, понятно, интересуют предстоящие выборы, там эта тема раскрыта двумя способами:

• Открытый список, хоть Дарта Вейдера вписывай. По этому методу у Путина 37% поддержки (проголосовал бы за него в ближайшие выходные) от населения, у Зюганова ( 2) - 8%. А 41% населения тем или иным способом затруднился с ответом.
• Закрытый список, проценты только от определившихся: 63% запутина, 15% зазюганова.

Отличились:

• Эхо Москвы
• Коммерсант-ФМ (при этом в настоящем Коммерсанте таки прочитали таблички правильно).
• Газета.Ру