10G дома: Infiniband, Linux, Samba, iSCSI, SRP

Для начала картинка. Это SRP (SCSI RDMA Protocol), поднятый на Linux, клиент - Windows 7.

Если сравнивать с картинкой для iSCSI поверх Myricom (вторая картинка в этом посте), то выросла скорость на мелких блоках и нет падения на блоках больше 256к.

Но по порядку.

Гружу линукс, запускаю Samba, меряю. Хреново как-то, сильно хуже (на мелких файлах) чем было на Myricom, кардинально хуже. На iSCSI то же самое, причем видно что при копировании большого файла он уезжает в кэш (на гигабайт где-то), после чего все встает колом и скорости плохие.

Единственная настройка, которую менял относительно defaults - это включал connected mode (т.е. IP-пакеты по 65k). Отключаю, становится кардинально лучше. Даже Win7 ("сервер") загрузил, увидел что скорость копирования файлов Qt вернулась, стали те же примерно 1:15 (у IB - чуть медленнее), что были с Myricom.

Новая бенчмарка

Большие файлы проблемы не представляют, во всех тестах скорость работы с ними разумная и в реальной жизни упрешься в производительность дисков скорее всего. Даже если упрусь в интерфейс, те 800Mb/sec которые я вижу - меня устраивают полностью.

С мелкими файлами хуже, упор явно идет в RTT. При этом бенчмарка с копированием 65k файлов мне не нравится, хотя я продолжаю ея мерять. Но гораздо интереснее - чтение большого количества мелких файлов, типичный паттерн - компиляция или рассмотрение каталога с превьюшками.

Вторая бенчмарка, которую я стал пускать - это подсчет md5-сумм того же каталога с Qt (65k файлов, 3.1Gb) с помощью md5deep. Так как клиентская машина может кэшировать часть данных, бенчмарка пускается два раза, на свежескопированный каталог с Qt и еще раз без перерыва и запуска других программ.

Результаты новой бенчмарки

Время выполнения md5deep -r . на каталоге с 65k файлов общим объемом 3.1Gb (mm:ss)
Описание окружения	1-й запуск	2-й запуск
Локальный RAM-drive	0:20	0:20
Локальный SSD (OCZ Vertex 2)	0:51	0:38
Локальный RAID6 (6x1Tb 7200 rpm, Adaptec 5805)	2:14	1:20
Win7 SMB-сервер (RAM storage)	2:30	2:35
Linux, Samba (RAM storage)	5:04	5:00
Linux, iSCSI (RAM storage)	1:40	1:00
Linux, SRP (RAM storage)	0:59	0:40

В качестве базовой величины: 3.5Gb одним файлом md5deep офигачивает за 7 секунд. Т.е. дополнительные 13 секунд на Ramdrive (и еще большие секунды на других носителях) - это оверхед на открытие/чтение файлов.

Как видим:

• SRP работает почти так же хорошо, как локальный SSD (а это - очень хорошо)
• iSCSI работает похуже, но (имея стораджем RAM-диск) - серьезно быстрее, чем локальный 6-дисковый массив, а это тоже хорошо
• SMB работает нехорошо (Samba - особенно нехорошо), для работы с мелкими файлами лучше не использовать.

В процессе экспериментов у винды было всего 3Gb свободной памяти (остальное занято Ramdrive), поэтому кэшировалось не все. Если Ramdrive убрать, то второй запуск на SSD проходит за те же 20 секунд (что и у рамдрайва), на других локальных носителях не пробовал, но скорее всего будет та же хрень. Т.е. Ramdrive оказался полезен (c точки зрения тестирования) еще и в этом месте, тестировать производительность кэшей неинтересно, надо не забывать его включать при повторных экспериментах.

Бенчмарка копирования

Все то же копирование Qt, но в качестве источника Ramdrive:

Сервер	Время, mm:ss
Win7	1:25
Linux, Samba	3:13
Linux, iSCSI	1:00
Linux, SRP	0:32

Итого

Новая бенчмарка не применялась к Myricom, кроме того у бенчмарки копированием поменялся источник, что должно быть видно на самом быстром варианте (Myricom+iSCSI), следовательно Myricom-тесты надо переделывать.

Но и без переделывания почти очевидно, что скорости SRP и, скорее всего, скорости iSCSI будет хватать т.к. узким местом станет дисковый массив с физическими дисками (пачка SSD - другой разговор).

Про настройку SRP

Настройку SRP я делал по этой инструкции, благо у меня тоже Ubuntu 11.10.

Оно не вполне получилось. Вот эта вот команда:

выругалась на read_only и я ее выполнил без -attributes:

Более того, подготовленный конфиг не завелся и я его упростил примерно до такого вот (взяв за основу пример отсюда):

С таким конфигом, после нескольких enable-disable device на стороне Windows, все завелось и поехало. Настраивать в "Computer Manager - iSCSI" - ничего не нужно.

К сожалению, SRP есть только для Linux (точно) и Солярки (кажется, т.е. народ что-то настраивает, но не факт что это работает везде и всегда). С FreeBSD - облом. Но см. выше про производительность реальных дисков, скорее всего просто iSCSI по 10G не будет совсем уж узким местом.