Колхоз - дело добровольное

Извините за качество, вот реально телефоном снял.

Так вот, собирая NAS из вот этого корпуса и материнки Supermicro A2SDi-H-TF я оттоптался по таким граблям:

I. Загрузка.

Ну вот прельстиво взять Sandisk Ultra Fit, сунуть его в USB-гнездо на материнке и грузиться с него.

Пошел я в лабаз, купил Ultra Fit USB 3.1. Все с ним хорошо, FreeBSD распознает, ставится туда, но, скотина, оно с него не грузится. Не находится флешка как возможный накопитель с загрузкой.

Ладно, допустим 3.1 - слишком новое. Нашел, с трудом, Ultra Fit USB 3.0 - так та же фигня.

При этом Sandisk Extreme USB 3.0 - с ней все хорошо в смысле загрузки, но не лезет в корпус, слишком длинная. Ну вот с удлинителем USB 3 "папа-мама" живем теперь.

II. Охлаждение процессора.

Когда я только притащил материнку себе в гнездо и начал ее там любить, мне не понравилась температура процессора, она в idle была 60+ градусов. Ну тогда я сверху приколхозил первый попавшийся кулер, сбил температуру до 35C в idle и 65 под нагрузкой и успокоился. Стал ждать корпус.

Корпус пришел - ну и стало понятно, что вентилятор сверху - не вариант, ему воздух брать неоткуда, там по высоте как раз хватает на радиатор + вентилятор, без зазора, воздух брать неоткуда.

Ладно, купил два 40-мм тихих вентилятора, приколхозил так, что они дуют на радиатор CPU, радиатор 10G адаптера, ну и мимо второго радиатора - выдув (там в планке - открывающаяся дырка под SFP+, которых на данной материнке нет, вот через нее и дуют).

Собрал, для начала без крышки, дует. Температура процессора - 24 градуса в idle. Убрал вентиляторы - стало 30. НО ВЕДЬ БЫЛО ТО 60?

Оно почему-то остыло. Изменений в сравнении с первыми тестами два:

  • BIOS я обновил на свежий. Подозреваю что дело в нем, конечно, хотя ограничения по TDP как стояли (28/25Wt на короткое/долгое время), так и стоят. Ну и ограничения TDP к работе в idle не имеют отношения.
  • Память: тестировал тогда с DDR4-3200, non-ECC, сейчас - DDR-2400/ECC (обе unbuffered).

В-общем, вентиляторы я оставил, раз уж купил, выкрутил их на минимум, в закрытом корпусе - 48 градусов под нагрузкой, 35-37 - idle. Ну и ок (а будет не ОК, так можно вентиляторы раскрутить побыстрее).

Процессор, хм, непонятный. С одной стороны, конечно, 8 ядер. С другой - медленные эти ядра, сильно медленнее чем у i3, то есть в сумме на компиляции системы (правда на USB-флешке, надо сунуть SSD туда временно) - медленнее чем i3-6300T раза в полтора.  Все не так: 8 ядер атома 2.2GHz собирают FreeBSD 11-stable за практически то же время, что и 2(4 если считать HT) ядра i3-6300T, результаты, смешно сказать, совпадают "с точностью до минуты".

Посмотрим что там будет с ZFS.

Comments

"Убрал вентиляторы - стало 30. НО ВЕДЬ БЫЛО ТО 60?"
Маркетинг, зашитый в БИОС:
- купи вентиляторы, КУПИ!"
- купил? ладно, теперь можешь юзать как хочешь.

А вообще, подобные тесты НАДО делать в закрытом и полностью набитом корпусе.
Ну и дрель с болгаркой никто не отменял ("после сборки обработать напильником" (с) )

PS. Водянка - ЗЛО! Даже с дистиллированной водой постепенно разваливается весь пластик (значит через год нужно будет не только диски контролировать) . Я так уже попадал, правда, 15 лет назад. Выкинул нафиг.

Ну я думал, да, сделать дырку сверху для процессорного кулера. Но какая-то фигня, не то.

Пока думал - оно и исправилось.

А вот почти не оффтопик про охлжадение.
У тебя же наверняка в дестопе M.2 Samsung 970 Pro? А ты на него радиатор клеил? А то во всех отзывах очень пугают нагревом и троттлингом.

Не, у меня 950й самсунг и плекстор M8Pe
Когда я их покупал, 970-го самсунга еще не было, а менять тоже смысла особого нет.

Мда, призадумался.

FRV в benchmark mode у меня - почти 20fps на соневских 40Mp/uncompressed. Это 1.6GB/sec примерно.
Могу и упираться же в это тоже.

Прошу прощения!

Я просто задумался купить вместо 850 Pro себе (что-то развёл виртуалок что в 512GB плохо уже лезут, так что же не взять и побыстрее), но начитался что нужен радиатор а радиаторов-то приличных в продаже и не вижу. В Москве на странных сайтах («наш ларёк на Савеловском рынке…») ещё есть, а в Питере — пусто.

Ну вот у плекстора есть свой радиатор (беспонтовый), 950-й при чтении не греется сильно, а чтобы нагреть его записью - у меня столько записи редко бывает.

Но вот вижу на ebay радиатор с вентилятором для 970, может просто взять там, ну придет через месяц, ну делов то.

Слушай, а случайно не все M.2 радиаторы говно по определению? места в высоту в общем случае нет, тепловое сопротивление корпус чипа-термоинтерфейс-радиатор дрянь опять-таки по определению..
Я у себя наклеил (на плекстор) какой-то, ничего толком не поменялось, тогда я приколхозил кулер примерно от 486 на малых оборотах и оно упало градуса на 4-5. Я подозреваю, что обдув голого накопителя дал бы примерно то же самое. Как там можно что-то улучшить? Только флешь в теплопроводящем корпусе делать.

Почему места в высоту нет?! Обычно M.2 слот между какими-нибудь 4 и 5 PCIe-слотами. Если у тебя не стоит 2 видеокарты по 3 слота каждая, то места там в высоту столько же, сколько для процессорного кулера — сантиметров как бы не 25.

Поэтому и нужен радиатор высокий и с широкими просветами между рёбрами/иглами строго под пассивное рассеивание/обдув медленными корпусными вертушками в общем порядке. Кулер шириной 22мм (у нас же форм-фактор 2280 — 22×80мм) бесшумным не будет. В топку его.

С местом это может у меня мать странная, и видяха большая. Но бог с ним, с местом -- много ли отведешь тепла через корпуса чипом и клейкую прокладку?

Я не знаю про 22-мм кулер, а 40-мм Noctua на 5к rpm (которые на снимке колхоза наверху) - бесшумные от слова совсем.

Noctua творит чудеса. Я тебе верю (и верю в Noctua), но вообще 40мм 5k rpm бесшумными сделать — это серьёзное инженерное достижение.

А они бесшумные когда на 5к крутятся, или когда приторможены?

На 5000 они "тоже очень тихие".

Померять мне нечем.

Ну вот клевещут, что у самсунга в 970-м вживлена медная (т.е. теплопроводящая) пластина. Вроде только в контроллер, каковой и греется.

А может быть так: https://www.asrock.com/mb/spec/product.asp?Model=ULTRA%20QUAD%20M.2%20CARD
(ну и такая же есть у асуса).

Там, конечно, есть история про Intel VROC (судя по тексту про аналогичную асусовскую карту) и не вполне понятно, будет ли оно работать без нее.

Но прям вот чешутся руки попробовать :)

А экономика такая:
970Pro на терабайт стоит 28к (в регарде)
4x Intel 760p => 24k
Асусовская карта (asrock нет в маркете) - 4к

Основной вопрос - заведется ли оно не в X299/X399 матери (скорее конечно не заведется, материнка должна уметь посплиттить один x16 слот в 4x4)

Intel FAQ конечно жжот напалмом
An Intel® VROC HW Key is required to use RAID 0/1/5/10 for most SSDs. However, Intel VROC is also designed to provide RAID0 for Intel PCIe Gen3 x8 SSDs without requiring HW key. For instance: Intel® SSD DC P3608 Series. For any other regular x4 SSDs, without HW key, RAID0 might work, might not work. In short, an Intel VROC HW Key is required for official support for RAID0 with regular PCIe Gen3 x4 SSDs. Operating RAID0 in this situation is done at the risk of the user.

Может работать, может не работать, ну как так??
https://www.intel.com/content/www/us/en/support/articles/000024550/memor...

Ну и ещё: «Intel® VDM is offered with the new Intel® Xeon® Scalable Processors». Т.е. мне, например, мимо.
А все эти новые рабочестанцевые Зионы — они как-то в продаже не очень появляются.
И что у этой технологии не под Windows, у неё же есть software часть.
И, да, оно CPU connected, т.е. с внешней видеокартой не очень совместимо, если у нас не зион с массой PCIe-линий прямо в CPU. Какие это модели, что бы 32 линии было НЕ считая связи с чипсетом, которые тоже в зачёт идут на самом деле? Это надо Xeon с 40+ линий, да. Такие есть, но у тебя такой?

В общем, я бы на VROC не надеялся в гораздо бо́льшей степени, чем боялся что 16x непосплитится.

Ну я занес руку на i9-9960x или, если подешевеют реально после появления i9-9xxx - на i9-7960x. Может быть 40x, посмотрю на цены. Там есть причины разные хотеть именно таких.

И на них - VROC работает.

Это страйп? Или они видны как 4 разных? Что такое Intel VROC?

Это страйп, да, RAID0

Intel VROC - это raid на ssd, но требующий отдельного лицензирования, они там наворотили делов

Меня (ещё) смущает, что 970 Pro MLC а 760p — уже TLC.

Это в смысле что сточится?
У меня до сих пор работает OCZ Vertex3, не сточился.

То есть последние (и единственные) SSDшки что сдохли - были OCZ vertex2. Сейчас ресурс такой, что IMHO можно и забыть о проблеме если мы о домашних условиях.

Ну вот 950pro - за три года записано 30Tb, ресурс там поди в 10 раз больше?

Ну да, сколько там физических циклов у TLC, 5K?

Ну вот у меня за три года - получилось "60 циклов" (диск полутерабайтный).

Надо у моего 850 Pro посмотреть сколько набежало.

А у меня неделю назад Vertex 3 Max IOPS молча потерял всё содержимое. С таблицей разделов и вообще всем. Попытки что-то найти какими-то стандартными средствами успеха не возымели

Vertex2 славны этим, с -3 вроде бы не так типично?

Вот мой:
9 Power_On_Hours_and_Msec 0x0032 044 044 000 Old_age Always - 49725h+59m+50.030s

Если он сдохнет вот прям щас - я не обижусь, немолод он уже.

Да понятно, что возраст и пр. Но ничего же не предвещало! И smart по прежнему рассказывает о том, что ему хорошо. Просто он внезапно стал пустым и 100500 утилит восстановления данных не видят нигде и ничего, намекая на то, что проблема явно где-то до физической памяти. Пришлось срочно бежать в магазин за новым (samsung 860 evo) и переставлять винду в самый, естественно, неподходящий момент. Грустна именно непредсказуемость

У Vertex2 это прямо вот родовая болезнь была - ничто не предвещает и его нету.
Непредсказуемость прекрасно лечится регулярным бэкапом и работающими процедурами его восстановления (давно учения проводили дома? Уже точно пора!)

Посмотрел на системно-FreeBSD'шные диски.

Системный диск в сервере. 750 EVO 120GB. Total_LBAs_Written=320388418901. Везде пишут, что это сектора. Это тогдп 149 терабайт. Я не понимаю — КАК? И это в 5 раз превышает гарантийный ресурс. Но оно ещё жалуется, что, да, скоро кончится:

177 Wear_Leveling_Count 0x0013 001 001 000 Pre-fail Always - 1412

Пишут, что тут raw value — это перезаписи, а просто значения — проценты здоровья, осталось 1%. Кстати, 1412 перезаписей — это должно быть 120*1412/1024 = 165 терабайт. Ну, плюс-минус сходится с LBA_Written. Но всё равно остаются вопросы что происходит с системным ZFS'ом у FreeBSD.

А вот 850 EVO 250GB который был недогруженным L2ARC'ом, болтался без дела, и вообще не помню как я его покупал, и сейчас — системный диск у новой тестовой машинки (и страшно не любит TRIM, чуть не вешая систему от них):

177 Wear_Leveling_Count 0x0013 086 086 000 Pre-fail Always - 296
241 Total_LBAs_Written 0x0032 099 099 000 Old_age Always - 61392263871

Вроде как и жив ещё, но записано 28.59TB. Что как-то мало соответствует 296 перезаписям (втрое меньше). Но, повторю, TRIM пришлось запретить или на buildworld система колом вставала. И это косвенно подтверждается комментариями в ядре Линукса.

А вот десктопный 850 PRO, 512.

B1 _98 _98 __0 000000000025 Wear Leveling Count
F1 _99 _99 __0 000A099D2413 Total LBAs Written

Это у нас 37 перезаписей (18.5TB?) и 43110966291 LBAs = ~20TB, похоже.

И, кажется, пора в магазин. За чем-нибудь на 120GB. А то сервер в любой момент без системного диска остаться может.

Ну я не знаю как ты их запиливаешь.
Вот у меня самый долгоживущий - Verex3 MaxIOPS, 256Gb:
9 Power_On_Hours_and_Msec ... 49963h+59m+06.880s => 5.7 лет (т.е. купил ~6 лет назад, простой - отъезды мои)
241 Lifetime_Writes_GiB ... 25420 => 10 перезаписей

Он несколько лет был системным виндовым, потом системным FreeBSD

Вот сейчас его и Vertex2 поставил запиливаться в L2ARC: потому что выкинуть их просто так жалко, а использовать как-то больше по делу - тоже непонятно как.

IMHO, 120Gb сейчас уже не купить. Бери 860EVO на 250, у нас стоит ~3900 = $60

Я сам в шоке и не понимаю. Это сервер. Который я апдейчу раз в пол-года. Это не экспериментальная машина, где я могу пересобрать мир 3 раза в сутки. Там живёт, ну, система. Даже home dirs живут на RAID. Зеркало FreeBSD'шного SVN'а живёт на RAID. Всё живёт на RAID.

Ага, про 250 я уже увидел, как раз в каталоги полез сразу как коммент написал.

Ошибся спросонья, 100 перезаписей конечно у меня, 25TB.

Ну вот 860EVO сейчас в тестировании у 3dnews, там уже 2PB записалось

Можно попробовать 863 серию у самсунга. У неё TRIM обрабатывается по другому (значительно быстрее). На вторичном рынке попадаются очень хорошие предложения. Да и для UFS она лучше подходит.

У меня везде ZFS :-)

А что такое 863 серия и лучше ли она 860 EVO чем-то?

PM863A, например MZ-7LM480N для 480GB? Меньше 480 на сайту самсунга не вижу.
Но вообще брать SSD на вторичке…

А что с ssd может случится? Смотрим смарт и вперёд. Лучше наверно почти всем, кроме цены :-).

Во-первых, нет гарантий, что смарт не умеют сбрасывать. Во-вторых, как его читать-то? Вон, я пишу выше, что по SMART у меня SSD записал 150 терабайт. 120GB SSD. Самой дешёвой бытовой серии. За 20769 часов. Это 7.3GB/час. Системный диск без свопа и с отключённым atime. Могу ли я верить этому SMART'у?

Чему то верить нужно :-). Или проверять если возможно. Например uptime и iostat -Ixd.

Вот кстати iostat -x, на сервере с аптаймом 4 года без копеек:
$ iostat -x
extended device statistics
device r/s w/s kr/s kw/s qlen svc_t %b
ada0 0.1 9.6 4.7 318.5 0 11.3 0
ada1 0.1 9.6 4.7 318.5 0 11.4 0
ada2 0.1 9.6 4.2 318.5 0 11.5 0

320 килобайт/сек, верно? Это гигабайт в час. Откуда что берется.....

Это интелы, я не понимаю как там считать записи, но там вот такое:
241 Host_Writes_32MiB 0x0032 100 100 000 Old_age Always - 1441865
Если это действительно 32Mb, то получается 45Tb.
Рабочих часов у диска - 47 тысяч.
Ну таки да, гигабайт в час.

Media wearout indicator должен начинаться с 100, сейчас там 90. Ну то есть еще 40 лет простоит, так что ли?

Резервный сервер: 28 тысяч часов, 10Tb записано. 350Mb в час. C iostat -x - совпадает.

И диски на резервном другие, но тоже интелы.

Проще весь записанный объём на ssd разделить на время аптайма. В среднем точнее будет. Host_Writes_32MiB намекает на внутренний объём записи (да и по логике в смарте наверно должен быть внутренний фактический размер записи флеша). Если это так, тогда можно оценить коэффициент усиления записи. Для zfs отключённый TRIM, COW, неудачный recordsize и большой оверхед при записи небольших транзакций может сыграть злую шутку. Даже интересно стало, но у меня нет систем на zfs :-).

Оно довольно близко совпадает: 320Kb/sec - гигабайт в час. 45Tb (по Host_Writes_32MiB) за 47 тысяч часов - опять гигабайт в час.

Но это не zfs.

Я имел ввиду, что объём записи в разные периоды может отличаться. А по iostat -Ix виден весь записанный объём на ssd с момента появления его в системе. У тебя серверный ssd, наверняка с защитой по питанию, поэтому он возможно может накапливать и писать блоками по 32MiB. Соответственно коэффициент усиления может стремится к 1. Плюс UFS, поэтому у тебя в этом смысле не показательная система :-).

Ну это, без -I оно уже поделило на аптайм. А так - самому делить.

Результат, в случае iostat, будет же одинаковый.

На счёт среднего я не подумал :-). Привык смотреть gstat.

SM863 - 0 предложения на Avito
PM863 - 2 предложения, за 45 и 39 тысяч рублей.

Я нагуглил что они серверные, но трехлетней давности.

Там и объёмы – 4 терабайта у этих предложений. Всё круто, но зачем мне это?

240MB тоже были.

Но если брать серверные, то наверное не с хз какой историей.

Ну может они и были, не вопрос, вопрос в том — где их вообще брать. «на вторичке» — ну вот я посмотрел очевидную вторичку, нету.
А такое точно надо брать с возможностью вернуть (т.е. не на Е-бее из Китая).

При нынешней цене на овес - зачем брать на вторичке?

UPD: я, правда, тут купил два. Но с известной историей и у знакомого.

Вот и у меня вопрос — так ли лучше 3-х летние серверные чем современные бытовые, помноженное на разницу в цене на новое, что бы искать их на вторичке.

Вопрос "для чего лучше".

Уж как системный для сервера - сойдет любое, IMHO.

Где-то полгода назад брал на вторичке почти одновременно 850 pro 256GB за 100$ и PM863 480GB за 90+$. Недавно PM863а 240GB обошелся в 50+$, но вот его бы не советовал. Проверенный факт - TRIM работает значительно быстрее, про кэш пишут что не пропадёт при аварийном завершении, есть хорошая документация. Не уверен, что современная 860 серия лучше 850, а 863а лучше 863.

Амазон, кстати, хочет вполне разумно за 240 (и обещает доставить в РФ за $13.60)
Но это "разумно" - это ~$150 с доставкой.

За эти деньги три 860EVO не купить конечно, но два - можно.

Эти штуки заведутся только там, где есть PCIe bifurcation, x99 матери.
А ещё есть вот примерно такие
http://amfeltec.com/squid-pci-express-carrier-boards-for-m-2-ssd-modules/
http://www.aplicata.com/quattro-400/
но там цена очень негуманная, потому что PCIe switch на борту. Затейлив мир PCI express.

Кстати, с ультрафитом какая-то лажа — я имено его использую. Но не на супермикре, на Intel'е…

Я бы написал в поддержку Supermicro. Они на удивление отвечают даже простым коротышкам, а продукт не EOL.

Ну можно, наверное.

Но там не так много настроек связанных с USB (legacy support и все), я их тыкал, UltraFit в загрузочной менюшке не появляется, не видать ее.

В принципе, гуглением находятся всякие горы, но разбираться в них (понятно что 90% - это просто UEFI-загрузчик сделали криво) - не хочется.

Поживет на проводочке.

Я UEFI вообще не верю и по старинке всё гружу с MBR.
С UEFI тут пытался в дестопе загрузить просто образ 12-BETA3 (скачанный с сайта а не самособранный), так мне моя ASUS Z170-A сказала «чувак, UEFI integirty failed, reset».

С MBR я на UltraFit тоже пробовал, результат тот же.

Устройства просто нет в списке устройств с которых можно

У меня на десктопе именно с выдвижной (той, что у тебя на проводе) та же проблема, 1 раз из 3 есть в списке.
Как всё сложно и, главное, вне нашего контроля!

Хрен его знает, у меня выдвижных вот 4 штуки на столе валяется, две Extreme на 64, две Ultra на 32. Все "USB 3.0" и довольно старые
И все я ставлю всегда с них, от макоси до freebsd. Ни единого разрыва не припомню, всегда распознавались.

С другой стороны, USB - штука очень сложная и чуть другая ревизия - и все может быть иначе.

У меня что-то такое было до установки операционки. То-есть у меня операционка не устанавливалась потому-что комп перегревался во время установки и зависал. Мне пришлось поставить дополниельные вентиляторы только чтобы ОС поставить. Но после того как ОС установилась температура стала нормальной и дополнительное охлаждение я выкинул. Я так понимаю драйвера операционки сейчас занимаются управлением питанием и тепловыделением, пока драйверы не загрузились все может оставатьсяна full throttle даже в полном простое.

Ну powerd конечно да, но если его выключить - то тоже нет никаких 60C в простое.

Может быть, действительно, память - оно пыталось, к примеру, работать на 3200.

> то есть в сумме на компиляции системы (правда на USB-флешке)

Каталог obj на USB-флешке это не то, что поможет сравнить процессоры. Для такого бенчмарка необходимо и достаточно создать RAM-диск (mdconfig), newfs ему и смонтировать в /mnt/tmp в режиме async и потом уже запускать env MAKEOBJDIRPREFIX=/mnt/tmp/obj make -j8 buildworld, ну или сколько там ядер/тредов. Можно ещё /usr/src перемонтировать с noatime. А вот копирование src на RAM-диск не нужно - не окупится: https://dadv.livejournal.com/141752.html

Это верно (про флешку), но сейчас (временно) и памяти всего 16 на NAS, obj занимает ~10.

Я думал сунуть нормальную SSD-шку, благо хотсвап то появился, ради него и делалось все.

obj для 11.2-STABLE для 64-битной системы занимает 4.5GB на UFS со стандартными bsize=16K fsize=2K

Это при компиляции с таким /etc/src.conf:

WITHOUT_KERNEL_SYMBOLS=
WITHOUT_DEBUG_FILES=
WITHOUT_TESTS=

Ну хз, у меня du /usr/obj кажет 9+ GB, отчего оно такое - я не вдумывался.

Скорее всего из-за новомодных DEBUG_FILES (отладочные символы для всех бинарников базовой системы).

Переделал на SSD-шке (OCZ Vertex2, старый и медленный) и нет ощущения, что на USB-флешке так уж плохо.

Процедура: свежеустановленная система (obj не создан, "первая компиляция"), 11-stable из SVN, make -j10 buildworld

CPU: Intel(R) Atom(TM) CPU C3758 @ 2.20GHz (2200.07-MHz K8-class CPU) real memory = 17179869184 (16384 MB) avail memory = 16520863744 (15755 MB)

На SSD:

World build completed on Mon Nov 19 20:45:09 MSK 2018
 --------------------------------------------------------------
real 87m42.563s
user 627m31.992s
sys 31m6.541s

На флешке (Sandisk Extreme, 64Gb, USB 3.0):

World build completed on Wed Nov 14 10:08:19 UTC 2018
--------------------------------------------------------------
real 89m6.999s
user 628m14.852s
sys 29m52.185s

Если смотреть, к примеру, только на user, то разницы вовсе нет. если на real, то ну процента полтора-два, лень считать точнее.

P.S. На 6300T повторный перебилд (с удалением старого obj) дал другие результаты (чем в первый раз), похоже что если obj не чистить, то там какие-то части берутся старые (вроде depends, ХЗ, не вдавался). Систематизирую, смотрю, думаю :)

Понаблюдай за ARC. У меня на свежем 11.2-STABLE что-то ARC занимает 4.5 гига из 16, при том что Wired-памяти — 15 гигов.
Я как-то на более ранних версиях привык видеть 13-14 гигов ARC'а на той же машине.

Что там wired не ясно :-(

Я перезагружался, свои 20+Gb оно не так и скоро наберет, если торрентов не качать.