О новых технологиях

lexa - 25/Ноя/2012 13:35
Со страху заменил оставшиеся в сторадж-боксе старые сигейтовские SAS-овские терабайтники (2008-го года) на терабайтные же WD RE4 (SATA). Старые - пусть дискетками поработают.

Результат:

  • +10% к трансфер рейту, было ~630-650Mb/sec на чтение-запись, стало 720-730.
  • Минус 10 градусов к температуре, старые диски грелись до ~42C, нагревая соседей до 35, а теперь 30 градусов, при том что в комнате 22, а ящик стоит в шкафу, который висит на теплой стене).

Чтобы два раза не вставать: в этом же ящике с середины сентября живет 400-ваттный безвентиляторный БП Seasonic. Впечатления самые благоприятные: хрен с ним с шумом, этот питальник холодный. Понятно что гружу я его отсилы ватт на 200 (8x10вт диски, 65вт. CPU, карточки тоже теплые, а значит жрут, вентиляторы крутятся), но 500-вт Thermaltake, который там стоял до того, грелся при такой нагрузке вполне самостоятельно.

Стоит этот питальник неприлично, но если бороться за тишину или температуру, то он - хороший. Во второй сервер купил такой же, потому что тамошний Zalman тоже противно греется.

Comments

electrocat - 25/Ноя/2012 14:17

>Во второй сервер купил такой же, потому что тамошний Zalman тоже противно греется.

я посмотрел по ценам на я-маркете, такой же, но 460 ватный стоит всего рублей на 200 дороже. почему не его? ну "про запас"

lexa - 25/Ноя/2012 15:12

И так запас примерно в два раза, куда еще.

Во "втором сервере" - 5 дисков, ну еще пусть даже три воткну (там место есть), 77-вт процессор, карточки, то се. Опять не больше 200вт.

Anonymous (not verified) - 26/Ноя/2012 16:48

А что бы не добавить на самом деле рублей 200 всего? Копейки же?

lexa - 26/Ноя/2012 17:23

В моем случае - 400-вт был в магазине рядом с домом, а 460 - нет. Вот я и не парился, 400 мне достаточно

kika (not verified) - 25/Ноя/2012 15:01

Безвентиляторные БП - это полный фидорулез. Я накупил FSP ZEN400 и повтыкал куда только не. Кстати, в рабочей машине тоже оно, только два раза, спасибо Сильверстоуну за наше счастливое детство.

thinker8086 (not verified) - 27/Ноя/2012 20:46

Алисе Сильверстоун?

Yuriy Vassilenko - 25/Ноя/2012 15:30

Но в домашнем стервере (miniITX, контроллер, 6 винтов, оптика, проц 65W 4 ядра) живет Enermax на 465W (думаю, сейчас там 320-350) с активным повер-фактор-контролом. 10 (!) лет отроду. Единственно, ампутировал у него 8 см с выхлопа и заменил старый 9 см на новый от Арктиккулинга. Практически бесшумно живет...

lexa - 25/Ноя/2012 15:41

Фишка новых в том, что они сильно эффективные т.е. холодные.
Если бороться за градусы (например, все живет в закрытой полке или еще как) - это существенно.

Yuriy Vassilenko - 26/Ноя/2012 09:18

Фишка в том что этот тоже вполне холодный, несмотря на сильно преклонный возраст. На момент покупки в 2002 году он стоил $120 в Калифорнийщине. И КПД у него не менее современных. Просто тогда это еще не было сейлзпойнтом.

lexa - 26/Ноя/2012 09:26

Если он холодный - то зачем в нем вентилятор?

Yuriy Vassilenko - 26/Ноя/2012 11:32

У него корпус не настолько перфорирован. Не из дробовика же его расстреливать. Да и площадь радиаторов поменьше будет. Хоть минимальный поток, но нужен.

ostapru (not verified) - 25/Ноя/2012 18:56

Я обошелся таким для домашнего серверу: http://www.newegg.com/Product/Product.aspx?Item=N82E16817371033
Более/менее дёшево и сердито и тоже холодный (5 x WD green + Athlon II 250e 45w + 4gb ram).
Безвентиляторные покупаьб мне моя жаба не позволяет ;)

nowherenoone (not verified) - 25/Ноя/2012 21:30

А я последнее время кошусь на их Платинум 1кВт для разогнанной игровой SLI системы, они в простое (<30%) тоже выключают вентиляторы. Но очень уж кучеряво выходит.

blacklion - 09/Июл/2013 20:14

А у тебя остался сторадж-бокс на FreeBSD? У меня тут samba совсем козлит, хотелось бы сравнить впечатления.

Я снял дамп (через ktrace) 60 секунд работы при отдаче одного файла (когда smbd нифига не тратит не процессор ни сеть ни диск -- отдаёт всего на 33MiB/s когда диски могут 280, а сеть ~90, и есть при этом всего пол-ядра) -- так там бОльшая часть времени (95%) -- poll! WTF!? :(

blacklion - 09/Июл/2013 20:54

Померял разные комбинации aio и sendfile -- одна фигня. Ну не в poll() так в sendfile() тупим, скорость не меняется, загрузка процессора чутка меньше в некоторых комбинациях :(

lexa - 09/Июл/2013 23:12

У меня сторадж-бокс под FreeBSD 9-STABLE.
5 дисков Seagate 3TB, ST3000DM001 в ZFS (RAIDZ)

Сеть - 10G (Myrinet 10G), MTU 9000.

Samba отдает ~200-230Mb/sec (копирование виндой, Windows explorer), принимает - зависит от настойчивости писателя (размера блока?), от 130 до тех же ~200.

Упирается, как мне кажется, в диски, но повода серьезно изучить не было, эти 200Mb/sec меня не раздражают.

blacklion - 09/Июл/2013 23:18

Блин.... Что же у меня так всё плохо -- диски отдают 280MiB/s, сеть отдаёт 820Mbit/s, самба жрёт 50% одного ядра в пике, а чаще -- 20%, и отдfёт 30-33MiB/s!
Я уже не знаю, куда смотреть!

А покажи свой smb.conf, если не сложно?

Пишет, кстати, 65-70MiB/s. А с чтением -- беда.

lexa - 09/Июл/2013 23:30

В smb.conf я менял только вот это вот:

socket options = TCP_NODELAY SO_RCVBUF=655360 SO_SNDBUF=655360

Еще у меня sysctl.conf остался с незапамятных времен, он такой (в той части, которая может касаться сети). Там запросто может быть что-то ненужное, вредное и прочая (и настраивалось это для igb, а использую сейчас mxge):

====
net.inet.tcp.recvbuf_auto=1
net.inet.tcp.recvbuf_inc=131072
net.inet.tcp.recvbuf_max=1048576
net.inet.tcp.sendbuf_auto=1
net.inet.tcp.sendbuf_inc=131072
net.inet.tcp.sendbuf_max=1048576
net.inet.tcp.maxtcptw=102400
net.inet.tcp.mssdflt=8800

net.inet.tcp.recvspace=262144
net.inet.tcp.sendspace=262144
kern.ipc.nmbclusters=204800
kern.ipc.nmbjumbop=192000
kern.ipc.maxsockbuf=2097152

net.inet.ip.intr_queue_maxlen=2048
net.isr.direct=0
====

Ну и /boot/loader.conf (аналогично, с незапамятных времен):
net.inet.tcp.tcbhashsize=32768
net.isr.maxthreads=2

blacklion - 10/Июл/2013 00:17

AIO у тебя разрешён или запрещён и есть ли в ядре?
Так-то всё похоже, да, и эти (похожие) сетевые настройки помогли мне существенно поднять скорость iperf'а, но не самбы :)

lexa - 10/Июл/2013 00:55

Ядро у меня сейчас GENERIC, есть там aio или нет - я не знаю.
Аналогично, не знаю где его разрешать-запрещать.

Но мне не кажется, что от aio будет счастье при той методике, которой я тестирую (копирование больших файлов windows explorer-ом). При многопоточной нагрузке - быть может.

blacklion - 10/Июл/2013 01:40

Ну да, та же фигня, в общем...

lexa - 09/Июл/2013 23:32

А, да, я помню что быстродействие самбы резко повысилось после замены Core2duo 1.86 на
i3-2120

blacklion - 10/Июл/2013 00:24

Ну ведь не упирается оно в процессор! Где-то в середине просирает ресурсы. И из самба-листа меня гонят ссаными тряпками в бсд-листы (типа, "у нас на линуксе всё работает, проблемы в выборе OS"), а в бсд-листах на тему перформанса вообще всё тихо и грустно.

lexa - 10/Июл/2013 01:05

Оно может не в процессор упирается (у меня на C2 тоже был load в районе 50%, а не 100), ну может в память.

И второй, извиняюсь, глупый вопрос: а файрволлы на этих интерфейсах на сервере/клиенте есть?

Ну и третье: я тут винду переставлял по случаю апгрейда (перенести старую не удалось, даже Universal Restore не помог, USB не увидело, а PS/2 клавиатур и переходников в доме не осталось). И переставлял я ее, я извиняюсь, два раза. Первый раз с ней какая-то порча случилась, которая выражалась в
а) на самбу ходило 70Mb/sec вместо 200
б) некоторые программы (не все), в частности VMWare WS и RawDigger запускались буквально по минуте, вместо положенной секунды.

В чем было дело - не понял, в бубен бил, святой водой кропил, помогла только переустановка. Что было - не знаю, все делал так же, софт ставил из одного и того же тазика (то что при первой установке скачал свежее - то и ставил при второй). Порча и все.

Пункт б) остается, впрочем в таком вот виде: отлаживаемые программы из визуальной студии иногда стартуют как надо (мгновенно), а иногда - по минуте. И такая бага, как показывает гугление, у народа бывает.

blacklion - 10/Июл/2013 01:51

Оно может не в процессор упирается (у меня на C2 тоже был load в районе 50%, а не 100), ну может в память.

Не, ну гигабитные контроллеры появились куда раньше чем C2D... Зря что ли?

а файрволлы на этих интерфейсах на сервере/клиенте есть?

На сервере вообще нет, на клиенте -- виндовое стандартное дефолтовое.

lexa - 10/Июл/2013 09:16

Ну так поди у тебя ftp из dev/zero в dev/null работает со скоростью интерфейса?

А файрволл - попробуй выключить, интересно ж что будет?