(надеюсь) в последний раз про ZFS

Перебросил один (самый большой) датасет туда-сюда, старый пока не стирал.

И вот сравнение ("чтение реального микса файлов"):

Было (правда я через 20+ минут задолбался ждать и нажал Ctrl-C, за это время оно прочитало 200Gb):

$ tar cf - datasetname |  dd of=/dev/null
^C418664864+0 records in
418664864+0 records out
214356410368 bytes transferred in 1414.744341 secs (151516005 bytes/sec)

Стало (аналогично, прервал прочитав 200Gb):

$ tar cf - /archive2/datasetname |  dd of=/dev/null
^C421087495+0 records in
421087494+0 records out
215596796928 bytes transferred in 638.719993 secs (337545089 bytes/sec)

Ну вот понятно за что страдал, больше двух раз разница на реальном миксе (примерно как и на 100-гиговых файлах, но тут тест сильно ближе к реальности)


 

Comments

Стало это после https://svnweb.freebsd.org/changeset/base/309714 ?

Не, просто 11.0-releng

А в эксперименты эти на живом мне я больше не верю, пойду теперь по releng

Это, конечно, мысль здравая. Но если у тебя более одного ящика, то на менее важном с точки зрения daily use имеет смысл-таки держать -stable, as for me.

Ну вот наибольшие мои страдания от того, что "на менее важном с точки зрения daily use" завелась -STABLE

UPD: а наибольшие они от того, что на нем данных сильно больше.

Как будто в релиз такого пролезть не может...

Вопрос почти в тему: а ты пересел на 4-ую самбу? А то информация о ней как о стэнделон-сервере какая-то противоречивая, в смысле конфигурации.

Да, пересел: http://blog.lexa.ru/2016/04/19/samba_10g_performance.html

Стало просто зашибись!

У меня она все пароли потеряла. Они совпадали с системными, как и юзеры. Но, кажется, я нашёл способ миграции только, сука, обратно надо 3.6 ставить :)

Так как у меня два (прописью) юзера, то я просто их перевбил.

Это, конечно, вариант. Кстати, рецепт не сработал, экспорт базы не проходит :-)
Ну ща, жена проснётся, попрошу пароль ввести…

А потом я завел быстрый источник (Samsung 950Pro) и первые ~8гигабайт на самбу лезут просто со скоростью провода: http://blog.lexa.ru/2016/07/28/kogda_v_ruke_molotok_vse_kazhetsya_gvozdy...

А вот на текущем NAS (диски обновлены, материнка обновлена, памяти 32)

Начало: https://www.dropbox.com/s/e9ddwprfrlsy9dl/Screenshot%202017-01-07%2012.13.51.png?dl=0

Более-менее sustained (но мотает, там кто-то еще бэкапится впараллель): https://www.dropbox.com/s/qvs7sq5brwns4z5/Screenshot%202017-01-07%2012.14.07.png?dl=0

Не трави, а? :)

Ну пара 10G-карт даже настоящих (интел, RJ45)- $250
Про всякие старые я вообще молчу, в сотку можно всяко.

Ну, провод через всю квартиру и 4 стены (гофра набита да предела) — новый ремонт, ага. А фестонами подвешивать в дверном проёме как-то стар я стал.

У меня один 10G-линк работает на проводе Cat5E. Короткий, правда.
Даже есть чем переложить - но так как работает, то я и не трогаю.

Ну и можно оптику, кстати, она тоненькая, может в готовую дырочку пролезет.

Однопортовая карта с SFP+ уже меньше сотки: http://www.ebay.com/itm/INTEL-82599ES-Chip-X520-DA1-E10G41BTDA-10G-Dual-...

Только там же вилки толстенные, надо будет звать человека, умеющего обжимать (варить?) оптические пачкорды.

Да, естественно, варить по месту придется.

И в этих $90 нет самих SFP-шек, а это еще баксов 40 на сторону для оптики (если китайский китай)

или 16 - есть и такие на ebay, но я в них совсем не разбираюсь

Да, но если делать точка-точка из десктопа в NAS, то нужен второй провод десктопу. Для интернету. Или ещё один слой рутинга городить. На NAS. Я не считаю это правильным.
Видимо, не так хочется 10G :)

Старый провод же никуда не девается.
У меня так и лежит, старый гигабит и новая десятка до десктопа - и все приходит в один ящик, который и NAS и роутер и почта и вообще все.

Ну, провод же один, который есть, вторую CAT не положить, увы, я пробовал, даже стандартного лидера смог пропихнуть только на 1/3 маршрута, а он тоньше витухи. Ну да, вот так по дурацки тут получилось, хотели как лучше (витая пара во всей квартире, гофры, единая точка выхода всей витухи в кладовке), а сделали через задницу. Я в этот момент ещё к этой квартире имел отдалённое отношение (квартира жены, мы во время ремонта только начали встречаться, я не очень мог прямо вот у рабочих за спиной стоять).

Ну я и говорю - может оптика пролезет, она сильно тоньше.

Да, это идея хорошая, буду искать знакомых в Питере которые с таким могут помочь.

Ну протащить можно ж и самому.
А вот когда пролезет - тогда озаботиться и картами и разваркой и всем вот этим.

Ну для начала надо понять где и какую купить. И как тащить, не пихать же её вообще без лидера.
Но у меня есть с кем поговорить, числа с 10-го :)

Так. Вы будете смеятся, но у меня есть две карты Intel (в США пока, но почта-то работает). Но что-то много разговоров про то, какие они капризные к моудлям, что китай по 30 баксов не едят, и всё такое.
У тебя нет советиковЪ на эту тему, с твоим опытом?

не, я брал RJ45-е. Что, наверное, было глобально - ошибкой, но так проще.

если не заведётся -- перепрошивальщиков SFP/SFP+ NVRAM никто не отменял ;-P

Опять же, отзывы противоречивые :)
Думаю взять на е-бее помеченные как-бы-интелом по $27. Может, конечно, переклеенный китай, но там хоть можно будет клейм выставить продавцу, если не заведутся.

А ящиков у меня два. Router + WiFi и NAS.

У меня после перетасовки дисков, тот ящик который роутер - стал быстрее и толще "дисковой полки".
В результате дисковая полка стала бэкапной, ее раз в сутки будят по IPMI, бэкапят на нее и гасят.

Роутер у меня на NanoBSD с флэшкой в MiniITX-корпусе размером с мак-мини.

Но вообще, iperf3 кажет 111MB/s (930Mbit/s), файлы через tar cf - > /dev/null читаются 320-350MB/s, а винда всё равно читает 78-80 :-)

Не могу не похвастаться

https://media.freefeed.net/attachments/44d8be99-95f4-455a-ba09-9aed231ab...

Вывод: 82579LM — rulezz, 82574L — suxxxx.

при том что оба давали гигабит на iperf?

Ну, плюс-минус, типа 930 и 940 мегабит на iperf3. Т.е. разница была, но процентов не более 5.

А если в две стороны сразу, то 2x930?

Я уже не мерял и сейчас провод перетыкать не буду :) У меня там есть вопросы ещё к этому железу, буду снова с ним возиться попробую.

Кажется, в LM сильно лучше оффлоадится.

но вообще, кажется, окончательно пора переезжать в 10GbaseT ;-P

Да, похоже на то. L вообще ругают. у меня тут другая теперь беда — под мощной дисковой нагрузкой (fio в 4 потока через AIO или, что хуже, часто под клиентом CrashPlan) система вешается намертво. Железо, а не OS.
Похоже, мать тол ли битая то ли что.
Так что в ближайших плана — карта SAS2 на 8 портов. Потому что менять мать и проц гораздо дороже.

на всякий случай -- внимательно посмотри в блок питания.

у нас был удивительнейцший случай, когда всё работало, но сетевая карта *иногда* висла. судя по всему, не хватало нагрузки по току на DC-DC 12->9 у PHY.

Это последнее, что осталось проверить, перед походом в магазин за AOC-S3008L-L8e. На выходных ка кразх займусь.

Хотя это новенький Seasonic G-450, а по отчёту UPS'а вся система жрёт 110 ватт под нагрузкой.

>> AOC-S3008L-L8e

Э, китайские HBA уже не торт?

А смысл, если этот на авито за 5 тысяч рублей отдают? И ждать не надо, как с Али, месяц. И если что не работает можно права качать хоть как-то.

За его полные чуть не $250 я бы его не брал, конечно.

А какие китайские советуешь? Ну, если этого не достанется :)

LSI 2008 работают ок (IBM M1015 и подобные).

Ну, на Али по LSI 2008 ищется от ~$66, скорее $80-$100. В целом, если я смогу взять 3008 за 4999р, как оно сейчас висит, это примерно тоже самое будет :)

Я в запас купил за $57, не смог удержаться.

Мне досталось на Авито за 3500р. без кабелей. Там, правда, кабеля не mini-SAS а mini-SAS HD, которые в Росии по 1500р за штуку и по $10 на Али, но всё равно.

3008, кстати, рулит отчаянно.

собрал тут на ём surveillance с парой четвертьтерабайтных (на большой поток только metas, разумеется) L2ARC. рвёт просто, не нерадоваюсь.

Кстати, а какую версию прошивки использовать? А то что-то на форумах пишут, что каждой версии драйвера нужна своя версия прошивки...

Для 2008 нужны "драйвера свежее прошивки".

При этом у меня 20-я прошивка не встала (ее с тех пор правили, но я уже не стал перешивать), встала 16-я и я вполне доволен:

mps0: Firmware: 16.00.00.00, Driver: 21.01.00.00-fbsd

У меня 3008-ая, там последняя фирмварь для FreeBSD На сайте броадкома P13 вроде, на сайте супермикры — тоже.

И офигеть, броадком даёт флашер под FreeBSD, не нужно делать флэшку с досом!

Если бы с досом, блин.

mps из доса как-то уже не шьется, флешку теперь надо делать с UEFI.

У MPR (3008 семейства) вроде лежит и DOS'овская прошивалка и UEFI'шная. И виндовая. И линуксовая. И Фрибсдшная.
Сама супермикра даёт досовскую и уефишную:

3008_FW_PH13.00.00.00.zip

DOS
UEFI
SMC3008IT_FW_Flash_Instruction_041813.docx

C 2008 DOS-овская работает не со всяким BIOS.
У меня нашлась старая материнка (одна), на которой она работала, а потом я разобрался с UEFI и шью теперь так. На более-менее новых материнках DOS-овская не работает.

Правда я делал всякие сложные упражнения со сменой вендора и т.п. может банальная перешивка и ок.

Я вот пока не понял, у каждой ли UEFI-матери есть UEFI-шелл. Есть ощущение, что нет. Но могу заблуждаться.

Если нет своего шелла - можно ж загрузить с флешки. Я именно так и делал.

А, это mpr а не mps, драйвер там 13.01

Да, это таки БП. Но 3008 я всё равно купил :)

Ну вот если бы тогда, давно, лет 5 уже назад, я бы знал, что можно прошить 2008 (наверное и 3008 тоже) без BIOS, то вся опупея с домашним 10G не началась бы наверное.
Я диски из десктопа во внешний ящик выносил т.к. замаялся ждать инициализации SAS-контроллера при перезагрузках.

(это я к тому, что если грузиться с SATA, то 3008 этот конечно надо перешить на безбиосный)

я вот пока не понял, там есть firmware а есть BIOS и что правильно шить — я изучаю всё ещё, что бы RAID не было, а загрузка с него — была.

чтобы была загрузка - нужен BIOS. фирмварь, понятно, тоже нужна (и без загрузки - нужна), надо же тамошнему процессору что-то делать.
А чтобы RAID не было - нужна IT-mode прошивка.

Короче, мир прошивок LSI-контроллеров неисчерпаем как атом.

Ну или мне надо купить ещё один SSD. Потому что сейчас у меня системный диск и L2ARC — это один SSD, и, конечнол, хочется его в SATA3 а не SATA2 воткнуть. А материнский SATA — 2.

Какая-то мистика. Seasonic G-450 -- виснет. Ну ладно, там всего нагрузки ватт 100, но может 5 вольт просаживается. Сраный офисный Inwin на 550W, взятый для проверки, шумит, греется, но не виснет. Только что купленный Thermaltake 850W Москва (который хвалят во всех обзорах но который стоит всё же поменьше сисоника) -- виснет (а у него по всем линиям больше, чем у инвина).
W-T-F?!

На 10G base не T, потому что в дырку в стенее и кабель-канал только оптика пролезет. Посмотрел ещё раз цены X520 и модулей, которые оно поддерживает (пишут, что Китай они не жрут), и что-то нет. Конечно, есть мелланокс коннектикс2 по цене стомегабитных карт и старые челсио т3, но, боюсь, там начнутся проблемы с драйверами под win10 :)

Со старым мелланоксом проблема с драйверами точно есть. Их как-то нагнули под Win8, насчет 10-ки вовсе не уверен.

Вот я именно такое подозревал

Хм. Пишут, что так себе работает out of the box, и есть драйвера с которыми 10G

https://forums.servethehome.com/index.php?threads/mellanox-connectx-2-en...

Там этих мелланоксов старых - как грязи.

Те которые converged (IB-10/40G ether) - для них вроде с драйверами ок. Те которые чистый infiniband - у тех поддержка вендором кончилась, а OpenFabrics тоже вот похоже что кончился.

Ну, мне оптика нужна а это, как я понимаю, автоматически означает езернет, не IB?

Я не вдавался, у меня был CX4.

Вообще, Infiniband на FreeBSD - это боль. То есть надо брать таки то, что умеет ethernet (ну и убеждаться, что там и драйвера это умеют с обоих сторон).

Ну вот SFP+ кажется есть только на конвёрджет

Вопрос драйверов следует тщательно изучить до (хотя, конечно, цены на Connectix 2 - радуют)

Вот впрочем совет выглядит разумно:

Click "Archived Versions" and install the 4.95 Win8.1 version.

Add new comment