10G дома: IB performance

На всплывавший ранее вопрос "а потянет ли PCIe 1.0 8x два порта Infiniband" ответить не могу, ибо кабель на руках пока один. Один порт тянет:

                    RDMA_Read Bidirectional BW Test
Connection type : RC
  local address:  LID 0x200, QPN 0x8042600, PSN 0xd0710000, RKey 0x3100f6 VAddr 0x00000000f60040
  remote address: LID 0x100, QPN 0x8041c00, PSN 0x982e0000, RKey 0x3100b6 VAddr 0x00000001060040
Mtu : 2048
------------------------------------------------------------------
 #bytes #iterations    BW peak[MB/sec]    BW average[MB/sec]  
      2        1000               0.79                  0.75
      4        1000               1.81                  1.51
      8        1000               3.38                  3.00
     16        1000               8.44                  6.02
     32        1000              12.67                 12.02
     64        1000              25.33                 23.41
    128        1000              67.55                 44.28
    256        1000             108.09                 81.34
    512        1000             170.66                164.09
   1024        1000             432.35                323.87
   2048        1000             720.58                660.57
   4096        1000            1127.86               1107.30
   8192        1000            1572.17               1485.81
  16384        1000            1729.38               1712.38
  32768        1000            1804.58               1797.25
  65536        1000            1844.68               1836.56
 131072        1000            1857.06               1856.84
 262144        1000            1867.50               1866.47
 524288        1000            1872.77               1871.86
1048576        1000            1874.88               1874.69
2097152        1000            1876.21               1876.13
4194304        1000            1876.87               1876.80
8388608        1000            1877.20               1877.18
------------------------------------------------------------------

Это двунаправленный BW, один поток туда, другой - обратно, одновременно. Я щетаю, 7.5Gbit/s payload в одну сторону (из теоретических 8.0) - это вполне нормально.

Заодно понятна польза Jumbo Frames на Ether, особливо на 10G.

Под катом Latency:

------------------------------------------------------------------
                    RDMA_Read Latency Test
  local address:  LID 0x200, QPN 0x8042800, PSN 0x58030000, RKey 0x1310002 VAddr 0x00000000fa0040
  remote address: LID 0x100, QPN 0x8041e00, PSN 0xbc170000, RKey 0x3100c2 VAddr 0x00000001000040
Mtu : 2048
------------------------------------------------------------------
 #bytes #iterations    t_min[usec]    t_max[usec]  t_typical[usec]
      2        1000           6.02          29.51             6.32
      4        1000           6.02          12.95             6.32
      8        1000           6.02          12.95             6.32
     16        1000           6.02          12.95             6.32
     32        1000           6.02          12.95             6.32
     64        1000           6.02          12.95             6.32
    128        1000           6.32          12.95             6.63
    256        1000           6.63          13.55             6.93
    512        1000           7.23          13.85             7.53
   1024        1000           8.13          15.06             8.43
   2048        1000          10.24          16.87            10.54
   4096        1000          12.35          18.97            12.65
   8192        1000          16.56          23.19            16.87
  16384        1000          24.70          31.32            25.00
  32768        1000          41.56          48.19            41.86
  65536        1000          74.69          81.32            74.99
 131072        1000         141.25         147.87           141.55
 262144        1000         274.36         282.19           274.97
 524288        1000         540.90         572.82           541.80
1048576        1000        1073.36        1099.56          1074.56
2097152        1000        2138.59        2146.11          2139.49
4194304        1000        4269.64        4284.70          4270.24
8388608        1000        8530.85        8557.65          8532.06
------------------------------------------------------------------

Comments

что, стоит на 10гбит переходить по IP ?
NAS позволяет воткнуть 10G сетевую, раздумываю протянут ли винты.
http://www.ebay.com/itm/Used-OEM-Dell-Intel-X520-T2-Dual-Port-10GB-Ether...

У меня текущий набор винтов в NAS выдает 200+ и, собственно, все и затеяно, чтобы ходить к ним хотя бы на этой скорости, а не на 100-120.

ну один и должен потянуть, по ссылкам же получается 13Гбит у 8x (в одну сторону, в обе 26).

матерщиной и разборкой-сборкой разъемов поднял линк по второму (ранее дохлому) кабелю.

При одновременном тесте получается 1670 на каждом линке (на удивление, одинаково). 26720Mbit/s payload. Наверное, где-то в этих мегабитах зарыты 1000 вместо 1024, но все едино - чуть больше 26.
И судя по загрузке процессоров, 50% на 4core, оно уперлось именно в CPU на более слабой машине.

Насколько я помню, эти самые 26 посчитаны из очень пессимистичного размера транзакции PCIe?

в моем pdf (ссылок не было) наоборот, из очень оптимистичного -- 64К.

ну "чуть" в размере 720К наверное не считается, поскольку и 6.5 могли округленными быть -- я расчета-то не видел. а погрешность получается 3%. а, магические 3% -- погрешность измерений в реальном мире!