Экономика колхоза

Мой колхоз построен и уже около недели работает (аптайм 5 суток, но я там ковырялся какое-то время уже после запуска в боевую работу - ну и перезагружал тоже).

Мне поступали приватные запросы про цену вопроса, скрывать тут нечего, экономика вышла такая:

  1. Корпус: грубо, на круг, $300 с доставкой (19744р если быть совсем точным).
  2. Материнская плата Supermicro A2SDi-H-TF - $645 с доставкой (можно было бы ~$40 поэкономить, выбрав бесплатную доставку по штатам и доставку из Шопфанс без страховки).
  3. Блок питания: в результате Procase GAF-400 в котором я заменил штатный вентилятор на Noctua (даже не проверяя, сильно ли шумит штатный) - 7046 рублей.
  4. Вентиляторы:
    • 3x120 mm - BeQuiet! Pure Wings 2 PWM, всего 2250р. В принципе тихие, но надо было брать все Noctua.
    • 3x40 mm Noctua (два на обдув CPU/Ethernet, один в блок питания) - еще в районе 2700 или около того.
  5. Загрузочкая флешка Sandisk UltraFit 32Gb - около 1000р.

Итого, грубо говоря, $1200. Это без памяти и без дисков. Память и диски - были.

32Gb RAM будет стоить:

  • $300 если простая
  • $400 если ECC/unbuffered.

Кроме того, оказались ошибочные расходы баксов на 150-160:

  • блок питания Silverstone FX-350G ($120 с доставкой) - несмотря на обещание производителя "тихий вентилятор", при реальной нагрузке (так, на глазок, около половины от 350вт) вентилятор раскручивается на полную и шумит, а заменить его на тихий Noctua нельзя т.к. Noctua 40x20, а там 40x15 (искать какие-то еще тихие можно, но я не стал, проще оказалось купить БП в который входит Noctua).
    Теперь придется какой-то другой ящик собирать с Flex ATX питалом :)
  • Еще одна флешка сандисковская.
  • Еще какие-то проводочки (удлинители USB, переходники питания), которые в результате не понадобились, баксов на 30 в сумме.

Ну и время, было потрачено время. Думаю что в сумме убил несколько дней (меньше недели, больше трех дней), но получил удовольствие.

Итого, если вычеркнуть ошибочные покупки, но вписать память, то NAS на 12 слотов SATA/3.5" + 1 слот M.2 будет стоить приблизительно $1500 с 32GB RAM и ~$1270 с 8GB. Плюс, конечно, диски (и SATA и M.2).

На всякий случай напомню, что у ящика - два 10G/RJ45 ethernet + полноценный IPMI/BMC (каковой на практике черезвычайно удобен - клавиатура/монитор не нужны, все через браузер).

Естественно, я смотрел и на промышленные NAS, удивительное дело, но желаемой мне конфигурации:

  • Два порта 10G/RJ45 (хотелось бы еще конечно +1 гигабитный, но нету).
  • Дырка под M.2/PCIe для L2ARC (хотелось бы конечно две, но увы).
  • 10-12 слотов под 3.5" диски

я не обнаружил. Вот ниже список того, что обнаружил (rack-конструктивы я принципиально не рассматривал по куче причин):

  • QNAP TVS-1282
    • 8+4 SATA слотов (3.5/2.5), мне бы кстати не хватило (у меня уже сейчас 9x3.5)
    • 4x1Gbit Ethernet
    • Три видеовыхода и можно медиаплеить
    • Аж три слота M.2, но SATA
    • 10G ethernet делается отдельно (но вроде Intel X520 туда встает).
    • Процессор от i3-6100T и далее т.е. "примерно такой же" (как у моего колхоза) и далее.
    • Стоит $3000-4000 (в зависимости от количества RAM/типа CPU) + 10G (цены привожу московские)
  • QNAP TVS-1282T3
    • Все примерно так же
    • Но 2x10Gbit уже в комплекте
    • И стоит уже $5000 в минимальном варианте (CPU/RAM)
  • ASUSTOR 7010T:
    • 10G ethernet - опционально
    • 10 bay
    • M.2/PCIe нет (но наверное можно всунуть вместо 10G-карты)
    • от $3000
  • Synology DS3617xs
    • 12 bay
    • Или 10G ether или M.2/PCIe, но не оба сразу т.к. слот расширения один
    • $3300 + карты расширения (10G - можно воткнуть тот же китайский Intel X520).

Вычитаем из $3000-$5000 затраченные $1350 (с избыточными расходами) - ну вроде получается, что 4-5 дней времени за такую экономию не жалко.

При этом, хочется отметить, что конструкция у меня получилась в каком-то смысле уникальная, поскольку:

  • Корпус такой, чтобы 12 хот-свапов, он на Aliexpress один, на Ebay - ноль, ну и вообще не так чтобы их было дофига (с 8 bay - выбор богаче).
  • Ну и все построено вокруг не менее уникальной материнки, у которой в одном флаконе и 12xSATA и 10G/RJ45 и M.2/PCI.  Если брать корпус под 8-bay (Silverstone DS380 или есть подобные же китайские), то можно брать материнку попроще, но без 10G - и делать 10G отдельной картой /либо же наоборот, материнку с 10G, а порты SATA/SAS добивать контроллером).

Чтобы два раза не вставать:

  1. хот-свап со специальными салазками мне нифига не нравится, но такого корпуса, чтобы 12 3.5" дисков брал бы "как есть" - я в природе/продаже не обнаружил.
  2. Температурный режим: в реальной работе (раз в час бэкап на один датасет, постоянная работа в одно рыло с другим датасетом) все диски холоднее 40C.  Но чтобы этого добиться - бэкапный датасет пришлось разнести, если два диска рядом - они друг друга греют где-то до 43-44.
    В старом корпусе "все были теплее 40C", хотя корпус был с открытой крышкой и был приколхозен дополнительный обдув.
  3. В старом NAS, который был в корпусе Lian Li, те же диски вели себя несколько тише. Резиночки творят чудеса.

Comments

Procase?! А чо, они уже научились че-то приличное делать?
Конкретно БП ихих не щупал, а корпуса еще лет пять назад были у них гадостные.
И смысл брать БП, в котором нужно сразу менять вентилятор?

Как будто есть огромный выбор flex-ATX питальников, хочешь с тихим вентилятором, хочешь с громким, хочешь - с треугольным.

О!
Моя история, тянулась давно-давно, причём я следил и тут за развитием.

Хотел что-то подобное своротить, но всё тянул-тянул, а объём домашних данных, отсутствие бекапов, много веников в домашнем десктопе, прочая стали совсем напрягать.

В результате я именно что наколхозил.
Взял офисный dell optiplex на стареньком xeon'е за 50 франков, взял свой старый atx-корпус и блок, делловскю материнку пересадил в корпус, и забубенил туда около десятка веников (+ sas-контроллер) + ссд на загрузку/ось.

Купил backblaze b2 cloud storage (_не_ backup) и сейчас делаю initial seed туды при помощи duplicati
+ к другу пойдёт на usb-веник бекап через этот же duplicati (и в облако, и к другу -- всё забекаплено с шифрованием на клиентской стороне).

Теперь осталось домашнюю сеть проапгрейдить, и 10ж в том числе. И вот с этим есть большие вопросы, ибо за социально-приемлемый ценник пока сложно.

Двухпортовый Intel X540 с RJ45 - 135 баксов на ebay, вот час назад смотрел.

> backblaze b2 cloud storage

после 2tb (я вижу $0.005/ГБ в месяц) уже дешевле crashplan, хотя иx ПО для small business ужасно...

Z / V

У меня пока 1тб, и естимейтед кост -- около бакса, +- лапоть, но я только начал использовать, и пока только инишиал сид. Дальше -- посмотрим.

upd: кстати, это вот вопрос.
А что с 10gbps сетью: что, куда, какой свич, какой роутер?
Спасибо.

У меня был P2P, треугольником между двумя NAS (холодный и горячий) и рабочей станцией. Без свитча.

Поскольку у нового NAS нету гигабитного порта, пришлось купить свитч: ASUS XG-U2008, два порта десятки (NAS и рабочая станция) ну и остальные - в гигабитные порты.

Я-то вот, что хотел:

двухпортовую 10гбпс в файл-сервер, из него в управляемый свич оба два кабеля, для лоад балансинга.

Из свича -- в клиентов (один точно 10гбпс), ещё один -- весьма вероятно вскоре (если смотреть на 3-5 лет вперёд, так там может и вафай за 1гбпс перейдёт).

Фик знает, может и оверкилл.

А что вы собираетесь балансировать? Один 10G линк - это уже 1.2GB/sec в пределе, насытить его старым недорогим железом непросто

Ох, мама, "слона-то я и не заметил".
Я ступил.

И тупил долго.

Тема внутренностей не раскрыта. Точнее её вида. Интересно было бы взглянуть как оно там мать, провода, вентиляторы и т.п. выглядят в такой маленькой коробочке.
А microATX туда никак не влезет?

s/её/их/
А редактировать свои мессаджы нельзя?

MicroATX - не задумывался (крепежные отверстия вроде другие), теоретически может и влезет, но толку то?

Внутренности особо не выглядят, потому что там полка над дисками, над ней материнка, к материнке - провода. Нечего смотреть.
Но если буду развинчивать - сфотографирую.

могли бы описать размеры корпуса? при таком расположении дисков, при такой высокой крышке, это больше 4u, но `уже?

думаю для вашего домашнего применения получилось неплохо.

сам бы я для 12 дисков брал rackmount корпус - CSE-826TQ-R800LPB или 2u norco/rosewill если надо дешевле. благо у меня есть некторый запас устаревающих asus x99 ws/ipmi(1x m2, 4x pcie) и некоторый запас solarflare 10g sfp карт, которые можно переиспользовать в хранилке.

3.5" spinning диски я бы не юзал, micron 1100 2tb ssd можно взять за $270. дороговато, но зато решаются вопросы потребления питания при запуске и вопросы звукоизоляции.

Размеры у корпуса на али - указаны, но я померял: Ш-В-Г: 38x19x28 сантиметров. Это практически точно 4U по высоте, но для меня главное - глубина, у меня места 40см по глубине и никакой рэковый не войдет.

Что касается стораджа, сейчас у меня 9x6Tb, это с некоторым запасом (можно было бы обойтись пока 9x4Tb, с учетом дублирования), на флеше выходит дороговато все еще: 36Tb * 150 = ~$6000.

Если подешевеет еще разика в полтора, можно наверное будет поделить архив на теплый и совсем холодный.

Что-то я упустил, какие у тебя диски сейчас крутятся?
Что-то видимо пора уже свои 2Тб в NASе проапгрейдить, хотя бы до четвёрок..
И может уже сейчас есть что-то поинтересней твоих?
Не следишь за темой?

У меня шестерки HGST и гелиевые и простые в основном NAS. Хотел докупить тут гелиевых (они похолоднее), так их больше нет, только 8 и 10. И четверки, тоже HGST в холодном NAS.

На самом деле, если бы я с нуля строил сейчас рабочий NAS, я бы задумался о конструкции вида медленные холодные архивные диски (может ноутбучные, может архивные) и SSD-кэш который покрывает нужный для работы (и развлечений) объем. Потому что вот терабайтные 860EVO продавались на рождественской распродаже на амазоне чуть дороже 100 баксов и это вполне уже можно рассматривать именно "для большого кэша".

у мну лежит ждет лучших времен jetstor 416s
но да, оно не NAS.

wbr, Deesy

Ultra 320 LVD SCSI?

да. 2 штуки (на 2 сервака вроде как возможнен проброс). но да, старье...

wbr, Deesy