Q: про PCIe свитчи

lexa - 24/Июн/2013 10:25

В свете выхода Haswell, встал (пока теоретический) вопрос о тотальном апгрейде всего.

У меня оно усугубляется тем, что

  • У процессора - 16 PCIe3 lanes
  • А мне их нужно, как минимум, вдвое больше (16 на видеокарту, если одну ставить, плюс два широких слота для 10Gbit адаптеров)
Соответственно, нужна материнская плата с PCIe-свитчом, который из 16 lanes делает 32. Таких материнок есть в количестве.

Но выбирая между ними, я увидел что есть два варианта:

  • 4 слота PCIe3 x16 (все слоты через свитч).
  • 5 слотов: или один слот мимо свитча, или более одного слота, но уже через свитч
И клянутся, что 1-слотовый случай дает меньшие задержки и все такое прочее.

Собственно, вопрос: а кто эти задержки мерял? Ну вот могу себе представить, что я захочу что-то побенчмаркать, выну сетевые карты, воткну видеокарту в помянутый быстрый слот (и делать это буду аж два раза за три года).

Но увижу ли я хоть какую-то разницу "со свитчом" и "мимо свитча"?

Update: для материнок на Z77 с свитчом/без свитча, судя по тестам, значимой разницы нет.

Comments

_slw (not verified) - 24/Июн/2013 10:53

были случаи с платами видеозахвата, когда pcie появлся.
тогда было сказанно, что через свич -- это очень плохо.

если ничего не попутал

lexa - 24/Июн/2013 11:13

"когда pcie появился" - это ж очень давно.

Может сейчас оно лучше? У меня вот текущая материнка на P65 со свитчом - проблем "что-то не работает" - нету. Померять как оно лучше по latency при общении с видеокартой - не могу, 5-го слота "без свитча" нету.

_slw (not verified) - 24/Июн/2013 11:48

ну я имел ввиду, что можно найти те истории и почитать в чем было дело, да и спроектировать на текущую ситуацию.

помню там что-то нетривильное было.

lexa - 24/Июн/2013 12:05

Знать бы еще чего искать

PCIe/PCI express switch capture problem ничего не находит внятного.

blacklion - 24/Июн/2013 13:07

Кстати, а как твой опыт с вставлением не-видео в видеослот? Я думаю HBA прикупить в сторадж-сервер. а там единственный PCIe слот, шире, чем x1 -- под видео формально. Что-то я слышал, может не опознаться. Или брешут?

lexa - 24/Июн/2013 13:19

Никогда никаких проблем не было. Сую куда попало. И 10G карты (8x) и HBA и видео.

Ну то есть там надо аккуратно читать доку в смысле оптимального использования lanes (типа два слота через один - будут x16 оба, а соседние - x8), но чтобы не опозновалось что-то - не было такого.

photoandrey (not verified) - 24/Июн/2013 14:50

При использовании рейд контроллеров и в плюс к ним всяких сетевух и прочего, когда почти все слоты заполнены, то свичи зло, в основном из-за криворуких биосов и общей криворукости даже топовых карт, одна надежда на серверные... я вообще решил дождаться специальной версии с 32 линиями и 8-ми ядрами и апгрейдится уже на неё, чтоб наверняка. =)

rsbeerman (not verified) - 24/Июн/2013 19:39

Нет.
Я выбрал ASRock. Там нет не нужных говнопортов.

lexa - 24/Июн/2013 20:13

Я бы тоже выбрал ASrock c Thunderbolt, так ведь нету их в наличии в Мск.

rsbeerman (not verified) - 24/Июн/2013 23:41

Я неделю назад брал в "ОГО!".
Сначала привезли плату с "военного хранения" или "утопленницу" (в пыли и с погнутыми ножками на сокете), на что были посланы... и на следующий день бесплатно на замену привезли 2-е "нулевые" платы на выбор.
Взял. доволен, как удав... ASRock Z77 Extreme4 брал.
Но я не энтузиаст, а всегда беру на поколение меньше. Ждал пока выйдет 4 и взял 3. так же как и с 770. GTX770 вообще в шоке!

Конфиг такой получился (копирую с оверклокерса лички, так что извиняй за подробности;о):
Корпус: Fractal Design Define R4 Black
Блок Питания: 750W Zalman GoldRock ZM750-XG
мощность 750 Вт, активный PFC, вентилятор 14 мм, cертификат 80 PLUS Gold
Материнская плата: ASRock Z77 Extreme4
Socket 1155, Intel Z77, 4xDDR3, 7.1CH, 1000 Мбит/с, USB3.0, D-Sub, DVI, HDMI, eSATA, ATX, Retail
Память: (8Gb) 2x4Gb DDR3 PC12800 1600MHz Kingston (KVR16N11/4)
Процессор: Intel Core i5 - 3570K BOX
Socket 1155, 4-ядерный, 3400 МГц, Ivy Bridge, Кэш L2 - 1024 Кб, Кэш L3 - 6144 Кб, 22 нм, 77 Вт
Кулер для процессора: Thermalright Macho Rev.A
для процессора, Socket 775, 1155, 1156, 1366, AM2, AM2+, AM3, AM3+, FM1, 140x140 мм, алюминий + медь
Видео карта: GeForce GTX770 Palit JetStream PCI-E 2048Mb
PCI Express 3.0, ядро - 1150 МГц, Boost - 1202 МГц, память - 2048 Мб GDDR5 7010 МГц, 256 бит, 2xDVI, HDMI, DisplayPort, Retail
SSD: Plextor M5 Pro 128 Гбайт (PX-128M5Pro)
HDD: 2Tb SATA-III Seagate Barracuda 7200.14 (ST2000DM001)
внутренний HDD, 3.5", 2000 Гб, SATA-III, 7200 об/мин, кэш - 64 Мб
DVD: Samsung SH-222BB/BSBE (DVD RW) Black OEM
DVD-RW DL, внутренний, SATA, скорость записи CD: 48x, DVD: 22x, чёрный
кардридер: Acorp CRIP200B Black
кардридер, USB 2.0, 3.5", CF/MD/SM/xD/MMC/SD/MS(/Pro), USB-хаб, внутренний
WiFi: NRENDnet TEW-651BR
Монитор 1: Mitsubishi Diamond Pro 2070 21"
Монитор 2: Benq 17" х.з. какой.
Мышь: Logitech G700
Клава: Logitech G105
Joy: Saitek Cydorg EVO

lexa - 24/Июн/2013 23:53

Это все интересно очень, но какое это имеет отношение к PCI-Express свитчам?

rsbeerman (not verified) - 24/Июн/2013 23:58

Так вроде есть они на "старших"...
Вот тут посмотри: http://www.regard.ru/catalog/group6020.htm

lexa - 25/Июн/2013 00:23

На старших - есть. А на Extreme4 - нету.

rsbeerman (not verified) - 25/Июн/2013 00:40

Дык я ее (Ех4) и не советовал, это я себе взял. Я сами ASRock посоветовал.
У них очень "правильные" линейки карт последние годы выходят, под любые запросы, без лишних ненужных наворотов. Если не считать "фаталити" линейкой... ;о)
И они есть в Москве за копейки, если с Асусом сравнивать.
MSI и Гига... не предлагать - горели они у меня в разных инкарнациях, как мамы, так и видева. ;о) Нет им доверия.

rsbeerman (not verified) - 25/Июн/2013 00:50

А нафига столько PCI? Для биткоина майнинга?

lexa - 25/Июн/2013 01:16

В посте - написано. Собственно, любой шаг за одну видеокарту - уже нехорош.

rsbeerman (not verified) - 24/Июн/2013 23:53

Систему стабилизировал на 4600 проц, память 2000... видео даже не трогал и так там дури на 100 лет вперед... ;о)
Больше 70 градусов разогреть в приложениях, а тем более в игрулях не смог.
Тлько ООСТ и LinХ AVX редакции который разогрели до 76 градусов.
Есть нюанс с подключением SSD!
SSD надо втыкать в средний "серый", а не в крайний. Почти в 2 (SiG!) раза по быстродействию получается. контроллеры там разные.

leonov (not verified) - 25/Июн/2013 02:05

А Haswell вообще того стоит? Вроде и пора апгрейдиться, но чем больше смотрю, тем больше хочется дождаться следующего витка. Судя по отзывам, с теплоотводом там какая-то лотерея. Последний хит - снятие крышки с выигрышем 20-25 градусов (на разгоне, но все-таки).

lexa - 25/Июн/2013 09:36

Там AVX2 (и TSX - но не на всех процессорах). И мне сдается, что на своих приложениях на AVX2 я могу получить очень большой выигрыш. Это раз.

Два: там не позорный видеоадаптер (в смысле OpenCL). И мне сдается, на своих приложениях, если это место использовать, я смогу получить очень приличный выигрыш (а target - новые ноутбуки "ультрабуки").

Ну и да, пора апгрейдится, у меня SandyBridge до сих пор.

А с разгоном - это мы избаловались на двух последних поколениях. Виданное ли дело, 30-40% влегкую (4.5-4.7 вместо 3.4)

rsbeerman (not verified) - 25/Июн/2013 17:03

Вот ту еще посмотри...
http://catalog.onliner.by/prodimage/z77ws/0#0
http://catalog.onliner.by/prodimage/z77extreme9/0#0

maxim_milakov (not verified) - 25/Июн/2013 22:57

Первый раз слышу про какие-то дополнительные задержки при наличии свича.

Anonymous (not verified) - 27/Июн/2013 01:04

Если из проца выходит 16"х", то откуда возьмутся ещё 8 - 16?
Благодаря тому, что раньше называлось ДМА?.. А оно где нынче живёт?

Дело свича - переключать.
При постоянных парах потребителей_стабильном трафике в каждой паре_и не меняющихся потоках данных _ влияние любого свича минимально: принять и послать по известному маршруту. Но даже в этом случае есть "ширина общего канала" и задержки на "обработку" (ты откуда и куда?).

Да, в ЭТОМ я глубоко не копался, но логика же очевидная, ИМХО. Можно внутри одного общего коллектора (ну вы поняли...) только приоритетами поиграть, ну и "предсказаниями".

Anonymous (not verified) - 31/Июл/2013 18:27

В основном работаю на транспортном уровне шины PCIe либо ниже. Думаю ничего не ощутите в реальности. Как показывает практика проблемы чаще в софте нежели в железе.

blacklion - 07/Ноя/2013 20:11

И как тебе анонс GTX 780 Ti?

lexa - 07/Ноя/2013 20:13

ну анонс. хорошая карта, наверное.