Свежие комментарии

Title Comment
Вот такая сетевушка: mlxen0:

Вот такая сетевушка:

mlxen0: flags=8843 metric 0 mtu 9000
options=d07bb
ether 00:02:c9:2e:d7:d0
inet 10.9.0.1 netmask 0xfffffffc broadcast 10.9.0.3
inet6 fe80::202:c9ff:fe2e:d7d0%mlxen0 prefixlen 64 scopeid 0xc
nd6 options=21
media: Ethernet autoselect (10Gbase-SR )
status: active

Собирать нужно так:
Add "WITH_OFED=yes" to /etc/make.conf
...

Add this to GENERIC:
options OFED
options SDP
device ipoib
options IPOIB_CM
device mlxen
device mlx4ib

This builds and installs a kernel with all of the ib modules built in.
They can be compiled separately but the kernel has to be built with support for OFED because it changes the
sizes of some kernel datastructures.

В случае ethernet достаточно
OFED
device mlxen

и пересборки мира не требуется

You can add 'opensm_enable="YES"' to /etc/rc.conf to have opensm start on all ib ports automatically. with both enabled concurrently.

Ну infiniband - это же готично!

Ну infiniband - это же готично!

>Проблема которую я решаю - раздражение от ожидания, когда м

>Проблема которую я решаю - раздражение от ожидания, когда мне с NAS (или на NAS) надо вылить гигабайт 50-100, сейчас узкое место - 1G

а PCIe-шные USB3 карты не катят?

ну судя по этому патчу http://people.freebsd.org/~jeff/ofed.

ну судя по этому патчу http://people.freebsd.org/~jeff/ofed.diff, который почти год назад должен был попасть в тогдашний карент (нынешний 9-релиз) необходимо

+# Infiniband Bus and drivers
+options OFED # Infiniband protocol stack and support
+options SDP # Sockets Direct Protocol for infiniband
+device ipoib # IP over IB devices
+options IPOIB_CM # Use connect mode ipoib
+device mlx4ib # ConnectX Infiniband support
+device mlxen # ConnectX Ethernet support
+device mthca # Infinihost cards

приколись, бивис, это в генерик!

В Notes я не нашел поминания OFED/Infiniband А вот WITH_OFE

В Notes я не нашел поминания OFED/Infiniband

А вот WITH_OFED в make.conf - сработало. Собрались утиля, которые хотят от kernel чего-то такого, чего там нет.

Оно приехало. Всё сделано из

Оно приехало.
Всё сделано из тонкого пластика. Вилка достаточно хлипкая.
Моторчики - обычные "brushed DC" с оптическими энкодерами.
Маленькая камера ( 450D ) по ширине в вилку не влазит,
если поставить вертикально - влазит, но невозможно совместить
ось объектива с вертикальной осью вращения ( призма/вспышка упирается в вилку ).
Если вилку не переделывать, то единственный вариант - длинный объектив
( цеплять, естесственно, прямо за него) и следить чтобы камера ни обо что
не билась при вращении вокруг горизонтальной оси.
Не факт что при этом получится совместить "центр" объектива с осями вращения...
Короче, вилку нужно делать новую ( тем более что мне её прислали без нескольких
шестерёнок :( Сам виноват - нужно было уточнять. Продавец честно написал: "не работает" )
Получается "каша из топора"...

NOTES -- это не по умолчанию, однако. про clang надо бы в па

NOTES -- это не по умолчанию, однако.
про clang надо бы в пассылку написать

Смех смехом, но 1) драйвера по умолчанию не собираются, нужн

Смех смехом, но
1) драйвера по умолчанию не собираются, нужно WITH_OFED
2) clang у меня их не собрал (userland - собрался), пробую gcc

вообще-то, как показывает гугление, он -- первый. http://ww

вообще-то, как показывает гугление, он -- первый.

http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family...

PCI Express revision 1.0a compatible card

далее, ервый раз я прочитал эту цифру в документаци на TILERA, ссылку на которую дать не представляется возможным, но вот тут такая же цифра:

http://lkml.indiana.edu/hypermail/linux/kernel/0805.1/0938.html

PCIe 4x дает 6.5Gbit/s. т.е. у 8x будет 13Gbit/s.

Сооответственно, если PCIe - второй, то 8 lanes - это 4Gb/se

Сооответственно, если PCIe - второй, то 8 lanes - это 4Gb/sec. На практике я вижу где-то 3.6Gb/sec в видеокарту по 8x

разумеется. я в курсе различия большой и маленькой буквы b.

разумеется.
я в курсе различия большой и маленькой буквы b.

Да, я разобрался вроде бы, WITH_OFED в make.conf - и должно

Да, я разобрался вроде бы, WITH_OFED в make.conf - и должно собраться.

Но впечатление, что жизни в этом месте особой нет.

В-общем, закажу сейчас мешок карт, дальше будет видно.

Это гигабиты.

Это гигабиты.

а, я по слову infiniband искал. насколько я понимаю PCI 8x

а, я по слову infiniband искал.

насколько я понимаю PCI 8x не прокачает 20Gb/s.

В понедельник посмотрю, как

В понедельник посмотрю, как это на тестовой машинке выглядит. Помню, что там как минимум мир надо с WITH_OFED пересобирать. Я сам на RC1 это все тестировал.

ахез, но даже на их сайте написанно что есть. это раз. найти

ахез, но даже на их сайте написанно что есть. это раз.
найти проимпорченное в ядро что-либо несобирающееся -- это мегакруто: насколько я понимаю в NOTES включаются все опции. и если что-то не собирается -- маэйллист засирается руганью

MELLANOX INFINIHOST MHEA28-XTC DUAL PORT 10GB/s NEW $22.99

MELLANOX INFINIHOST MHEA28-XTC DUAL PORT 10GB/s NEW

$22.99

А где? Я вот вижу поимпорченное в ядро, которое не собирает

А где?

Я вот вижу поимпорченное в ядро, которое не собирается сходу.

ofed и для фри есть, типа.

ofed и для фри есть, типа.

не знаю что нашел ты, но я вижу однопортовую за 22

не знаю что нашел ты, но я вижу однопортовую за 22

У меня в /boot/kernel

У меня в /boot/kernel никакого такого модуля нет. Это 9.0-RC2 месячной давности, сейчас обновлюсь и ее посмотрю.

В-общем, занес я уже руку потратить $120 на три карты (с доставкой), не заведется под FreeBSD - ну поставлю VMWare и FreeBSD уже под ней. Не догоню, так хоть согреюсь.

Кабели, суки, дорогие. Дешевые - с винтиками, а с защелками как-то безобразно дорого.

Да, с манами все плохо.

Да, с манами все плохо. По-моему грузился вот этот:
../ofed/drivers/infiniband/hw/mlx4
И видятся карточки как mlxenX

А как драйвер называется? А

А как драйвер называется?

А то
lexa@home-gw:~# man -k mellanox
mellanox: nothing appropriate
lexa@home-gw:~# man -k Mellanox
Mellanox: nothing appropriate

Вообще-то сдается мне, что не

Вообще-то сдается мне, что не так все плохо. Я на девятке 10/40G ethernet mellanox тестировал со стоковыми драйверами. И сборкой того самого OFED. Перформанс тема отдельная, но ethernet - точно работает

Точнее надо сказать так: одно дело купить, другое заплатить.

Точнее надо сказать так: одно дело купить, другое заплатить. Может быть там две проверки, одна у ибея, другая у палки. У ибея проверяется первичный адрес, а вот палка уже знает все, в т.ч. и то, что карта международная. Поэтому тут одного описания лота мало, надо спрашивать.

Возможно. Мне не давал купить, я решил схитрить и поставил е

Возможно. Мне не давал купить, я решил схитрить и поставил его первичным, тогда ибей купить дал, а вот пейпал уже обрубил на своей стороне. Почему возможно -- там у продавцов может быть, я думаю, не одна опция от кого получать деньги, кому слать и т.д. Для очень нужных думаю можно посредником воспользоваться за какой-то там процент.

Меня все-таки $22 за двухпортовую 10G-карту очень возбудили.

Меня все-таки $22 за двухпортовую 10G-карту очень возбудили. Хотя и Myrinet есть по $50.

А если его не поставить primary, то не даст заплатить за USA

А если его не поставить primary, то не даст заплатить за USA only?

(а ты не хочешь тут

(а ты не хочешь тут зарегистрироваться, а то камент от тебя чудом не пропал)

10G все-таки обычный ether, соответственно с ним IP будет работать и все такое.

Есть еще шопфанс -- там всего 3 за мелкую и $5 за покрупнее

Есть еще шопфанс -- там всего 3 за мелкую и $5 за покрупнее входящую посылку.

Адрес я лично менял на ибее только, но есть засада. Если поставить его primary, то некоторые лоты можно купить, но не получится за них потом заплатить палкой -- та ругается на international customer и все. Я так на страйк нарвался, теперь вот спрашиваю всегда тех, кто не шлет за пределы Штатов -- примут ли деньги с интернационального аккаунта палки или нет.

Pages

Subscribe to comments_recent_new