10G дома: IB performance
lexa - 10/Фев/2012 21:57
На всплывавший ранее вопрос "а потянет ли PCIe 1.0 8x два порта Infiniband" ответить не могу, ибо кабель на руках пока один. Один порт тянет:
RDMA_Read Bidirectional BW Test
Connection type : RC
local address: LID 0x200, QPN 0x8042600, PSN 0xd0710000, RKey 0x3100f6 VAddr 0x00000000f60040
remote address: LID 0x100, QPN 0x8041c00, PSN 0x982e0000, RKey 0x3100b6 VAddr 0x00000001060040
Mtu : 2048
------------------------------------------------------------------
#bytes #iterations BW peak[MB/sec] BW average[MB/sec]
2 1000 0.79 0.75
4 1000 1.81 1.51
8 1000 3.38 3.00
16 1000 8.44 6.02
32 1000 12.67 12.02
64 1000 25.33 23.41
128 1000 67.55 44.28
256 1000 108.09 81.34
512 1000 170.66 164.09
1024 1000 432.35 323.87
2048 1000 720.58 660.57
4096 1000 1127.86 1107.30
8192 1000 1572.17 1485.81
16384 1000 1729.38 1712.38
32768 1000 1804.58 1797.25
65536 1000 1844.68 1836.56
131072 1000 1857.06 1856.84
262144 1000 1867.50 1866.47
524288 1000 1872.77 1871.86
1048576 1000 1874.88 1874.69
2097152 1000 1876.21 1876.13
4194304 1000 1876.87 1876.80
8388608 1000 1877.20 1877.18
------------------------------------------------------------------
Это двунаправленный BW, один поток туда, другой - обратно, одновременно. Я щетаю, 7.5Gbit/s payload в одну сторону (из теоретических 8.0) - это вполне нормально.
Заодно понятна польза Jumbo Frames на Ether, особливо на 10G.
Под катом Latency:
------------------------------------------------------------------
RDMA_Read Latency Test
local address: LID 0x200, QPN 0x8042800, PSN 0x58030000, RKey 0x1310002 VAddr 0x00000000fa0040
remote address: LID 0x100, QPN 0x8041e00, PSN 0xbc170000, RKey 0x3100c2 VAddr 0x00000001000040
Mtu : 2048
------------------------------------------------------------------
#bytes #iterations t_min[usec] t_max[usec] t_typical[usec]
2 1000 6.02 29.51 6.32
4 1000 6.02 12.95 6.32
8 1000 6.02 12.95 6.32
16 1000 6.02 12.95 6.32
32 1000 6.02 12.95 6.32
64 1000 6.02 12.95 6.32
128 1000 6.32 12.95 6.63
256 1000 6.63 13.55 6.93
512 1000 7.23 13.85 7.53
1024 1000 8.13 15.06 8.43
2048 1000 10.24 16.87 10.54
4096 1000 12.35 18.97 12.65
8192 1000 16.56 23.19 16.87
16384 1000 24.70 31.32 25.00
32768 1000 41.56 48.19 41.86
65536 1000 74.69 81.32 74.99
131072 1000 141.25 147.87 141.55
262144 1000 274.36 282.19 274.97
524288 1000 540.90 572.82 541.80
1048576 1000 1073.36 1099.56 1074.56
2097152 1000 2138.59 2146.11 2139.49
4194304 1000 4269.64 4284.70 4270.24
8388608 1000 8530.85 8557.65 8532.06
------------------------------------------------------------------
Comments
что, стоит на 10гбит переходить по IP ? NAS позволяет воткну
что, стоит на 10гбит переходить по IP ?
NAS позволяет воткнуть 10G сетевую, раздумываю протянут ли винты.
http://www.ebay.com/itm/Used-OEM-Dell-Intel-X520-T2-Dual-Port-10GB-Ether...
У меня текущий набор винтов в NAS выдает 200+ и, собственно,
У меня текущий набор винтов в NAS выдает 200+ и, собственно, все и затеяно, чтобы ходить к ним хотя бы на этой скорости, а не на 100-120.
ну один и должен потянуть, по ссылкам же получается 13Гбит у
ну один и должен потянуть, по ссылкам же получается 13Гбит у 8x (в одну сторону, в обе 26).
матерщиной и разборкой-сборкой разъемов поднял линк по второ
матерщиной и разборкой-сборкой разъемов поднял линк по второму (ранее дохлому) кабелю.
При одновременном тесте получается 1670 на каждом линке (на удивление, одинаково). 26720Mbit/s payload. Наверное, где-то в этих мегабитах зарыты 1000 вместо 1024, но все едино - чуть больше 26.
И судя по загрузке процессоров, 50% на 4core, оно уперлось именно в CPU на более слабой машине.
Насколько я помню, эти самые 26 посчитаны из очень пессимистичного размера транзакции PCIe?
в моем pdf (ссылок не было) наоборот, из очень оптимистичног
в моем pdf (ссылок не было) наоборот, из очень оптимистичного -- 64К.
ну "чуть" в размере 720К наверное не считается, поскольку и 6.5 могли округленными быть -- я расчета-то не видел. а погрешность получается 3%. а, магические 3% -- погрешность измерений в реальном мире!