(надеюсь) в последний раз про ZFS

lexa - 10/Дек/2016 19:46

Перебросил один (самый большой) датасет туда-сюда, старый пока не стирал.

И вот сравнение ("чтение реального микса файлов"):

Было (правда я через 20+ минут задолбался ждать и нажал Ctrl-C, за это время оно прочитало 200Gb):

$ tar cf - datasetname |  dd of=/dev/null
^C418664864+0 records in
418664864+0 records out
214356410368 bytes transferred in 1414.744341 secs (151516005 bytes/sec)

Стало (аналогично, прервал прочитав 200Gb):

$ tar cf - /archive2/datasetname |  dd of=/dev/null
^C421087495+0 records in
421087494+0 records out
215596796928 bytes transferred in 638.719993 secs (337545089 bytes/sec)

Ну вот понятно за что страдал, больше двух раз разница на реальном миксе (примерно как и на 100-гиговых файлах, но тут тест сильно ближе к реальности)


 

Comments

Anton (not verified) - 10/Дек/2016 20:22

Стало это после https://svnweb.freebsd.org/changeset/base/309714 ?

lexa - 10/Дек/2016 21:54

Не, просто 11.0-releng

А в эксперименты эти на живом мне я больше не верю, пойду теперь по releng

marck - 11/Дек/2016 00:08

Это, конечно, мысль здравая. Но если у тебя более одного ящика, то на менее важном с точки зрения daily use имеет смысл-таки держать -stable, as for me.

lexa - 11/Дек/2016 00:19

Ну вот наибольшие мои страдания от того, что "на менее важном с точки зрения daily use" завелась -STABLE

UPD: а наибольшие они от того, что на нем данных сильно больше.

blacklion - 07/Янв/2017 11:55

Как будто в релиз такого пролезть не может...

blacklion - 07/Янв/2017 11:55

Вопрос почти в тему: а ты пересел на 4-ую самбу? А то информация о ней как о стэнделон-сервере какая-то противоречивая, в смысле конфигурации.

lexa - 07/Янв/2017 12:04

Да, пересел: http://blog.lexa.ru/2016/04/19/samba_10g_performance.html

Стало просто зашибись!

blacklion - 07/Янв/2017 12:06

У меня она все пароли потеряла. Они совпадали с системными, как и юзеры. Но, кажется, я нашёл способ миграции только, сука, обратно надо 3.6 ставить :)

lexa - 07/Янв/2017 12:07

Так как у меня два (прописью) юзера, то я просто их перевбил.

blacklion - 07/Янв/2017 12:09

Это, конечно, вариант. Кстати, рецепт не сработал, экспорт базы не проходит :-)
Ну ща, жена проснётся, попрошу пароль ввести…

lexa - 07/Янв/2017 12:08

А потом я завел быстрый источник (Samsung 950Pro) и первые ~8гигабайт на самбу лезут просто со скоростью провода: http://blog.lexa.ru/2016/07/28/kogda_v_ruke_molotok_vse_kazhetsya_gvozdy...

lexa - 07/Янв/2017 12:15

А вот на текущем NAS (диски обновлены, материнка обновлена, памяти 32)

Начало: https://www.dropbox.com/s/e9ddwprfrlsy9dl/Screenshot%202017-01-07%2012.13.51.png?dl=0

Более-менее sustained (но мотает, там кто-то еще бэкапится впараллель): https://www.dropbox.com/s/qvs7sq5brwns4z5/Screenshot%202017-01-07%2012.14.07.png?dl=0

blacklion - 07/Янв/2017 12:16

Не трави, а? :)

lexa - 07/Янв/2017 12:19

Ну пара 10G-карт даже настоящих (интел, RJ45)- $250
Про всякие старые я вообще молчу, в сотку можно всяко.

blacklion - 07/Янв/2017 12:23

Ну, провод через всю квартиру и 4 стены (гофра набита да предела) — новый ремонт, ага. А фестонами подвешивать в дверном проёме как-то стар я стал.

lexa - 07/Янв/2017 12:24

У меня один 10G-линк работает на проводе Cat5E. Короткий, правда.
Даже есть чем переложить - но так как работает, то я и не трогаю.

lexa - 07/Янв/2017 12:27

Ну и можно оптику, кстати, она тоненькая, может в готовую дырочку пролезет.

Однопортовая карта с SFP+ уже меньше сотки: http://www.ebay.com/itm/INTEL-82599ES-Chip-X520-DA1-E10G41BTDA-10G-Dual-...

blacklion - 07/Янв/2017 12:28

Только там же вилки толстенные, надо будет звать человека, умеющего обжимать (варить?) оптические пачкорды.

lexa - 07/Янв/2017 12:29

Да, естественно, варить по месту придется.

lexa - 07/Янв/2017 12:31

И в этих $90 нет самих SFP-шек, а это еще баксов 40 на сторону для оптики (если китайский китай)

lexa - 07/Янв/2017 12:32

или 16 - есть и такие на ebay, но я в них совсем не разбираюсь

blacklion - 07/Янв/2017 12:27

Да, но если делать точка-точка из десктопа в NAS, то нужен второй провод десктопу. Для интернету. Или ещё один слой рутинга городить. На NAS. Я не считаю это правильным.
Видимо, не так хочется 10G :)

lexa - 07/Янв/2017 12:29

Старый провод же никуда не девается.
У меня так и лежит, старый гигабит и новая десятка до десктопа - и все приходит в один ящик, который и NAS и роутер и почта и вообще все.

blacklion - 07/Янв/2017 12:32

Ну, провод же один, который есть, вторую CAT не положить, увы, я пробовал, даже стандартного лидера смог пропихнуть только на 1/3 маршрута, а он тоньше витухи. Ну да, вот так по дурацки тут получилось, хотели как лучше (витая пара во всей квартире, гофры, единая точка выхода всей витухи в кладовке), а сделали через задницу. Я в этот момент ещё к этой квартире имел отдалённое отношение (квартира жены, мы во время ремонта только начали встречаться, я не очень мог прямо вот у рабочих за спиной стоять).

lexa - 07/Янв/2017 12:32

Ну я и говорю - может оптика пролезет, она сильно тоньше.

blacklion - 07/Янв/2017 12:51

Да, это идея хорошая, буду искать знакомых в Питере которые с таким могут помочь.

lexa - 07/Янв/2017 12:54

Ну протащить можно ж и самому.
А вот когда пролезет - тогда озаботиться и картами и разваркой и всем вот этим.

blacklion - 07/Янв/2017 12:57

Ну для начала надо понять где и какую купить. И как тащить, не пихать же её вообще без лидера.
Но у меня есть с кем поговорить, числа с 10-го :)

blacklion - 26/Янв/2017 16:20

Так. Вы будете смеятся, но у меня есть две карты Intel (в США пока, но почта-то работает). Но что-то много разговоров про то, какие они капризные к моудлям, что китай по 30 баксов не едят, и всё такое.
У тебя нет советиковЪ на эту тему, с твоим опытом?

lexa - 26/Янв/2017 16:40

не, я брал RJ45-е. Что, наверное, было глобально - ошибкой, но так проще.

marck - 27/Янв/2017 13:35

если не заведётся -- перепрошивальщиков SFP/SFP+ NVRAM никто не отменял ;-P

blacklion - 27/Янв/2017 13:38

Опять же, отзывы противоречивые :)
Думаю взять на е-бее помеченные как-бы-интелом по $27. Может, конечно, переклеенный китай, но там хоть можно будет клейм выставить продавцу, если не заведутся.

blacklion - 07/Янв/2017 12:32

А ящиков у меня два. Router + WiFi и NAS.

lexa - 07/Янв/2017 12:45

У меня после перетасовки дисков, тот ящик который роутер - стал быстрее и толще "дисковой полки".
В результате дисковая полка стала бэкапной, ее раз в сутки будят по IPMI, бэкапят на нее и гасят.

blacklion - 07/Янв/2017 12:50

Роутер у меня на NanoBSD с флэшкой в MiniITX-корпусе размером с мак-мини.

blacklion - 07/Янв/2017 13:37

Но вообще, iperf3 кажет 111MB/s (930Mbit/s), файлы через tar cf - > /dev/null читаются 320-350MB/s, а винда всё равно читает 78-80 :-)

blacklion - 13/Янв/2017 01:35

Не могу не похвастаться

https://media.freefeed.net/attachments/44d8be99-95f4-455a-ba09-9aed231ab...

Вывод: 82579LM — rulezz, 82574L — suxxxx.

lexa - 13/Янв/2017 08:55

при том что оба давали гигабит на iperf?

blacklion - 13/Янв/2017 11:13

Ну, плюс-минус, типа 930 и 940 мегабит на iperf3. Т.е. разница была, но процентов не более 5.

lexa - 13/Янв/2017 11:25

А если в две стороны сразу, то 2x930?

blacklion - 13/Янв/2017 11:27

Я уже не мерял и сейчас провод перетыкать не буду :) У меня там есть вопросы ещё к этому железу, буду снова с ним возиться попробую.

marck - 13/Янв/2017 15:07

Кажется, в LM сильно лучше оффлоадится.

но вообще, кажется, окончательно пора переезжать в 10GbaseT ;-P

blacklion - 13/Янв/2017 15:24

Да, похоже на то. L вообще ругают. у меня тут другая теперь беда — под мощной дисковой нагрузкой (fio в 4 потока через AIO или, что хуже, часто под клиентом CrashPlan) система вешается намертво. Железо, а не OS.
Похоже, мать тол ли битая то ли что.
Так что в ближайших плана — карта SAS2 на 8 портов. Потому что менять мать и проц гораздо дороже.

marck - 13/Янв/2017 16:35

на всякий случай -- внимательно посмотри в блок питания.

у нас был удивительнейцший случай, когда всё работало, но сетевая карта *иногда* висла. судя по всему, не хватало нагрузки по току на DC-DC 12->9 у PHY.

blacklion - 13/Янв/2017 16:38

Это последнее, что осталось проверить, перед походом в магазин за AOC-S3008L-L8e. На выходных ка кразх займусь.

Хотя это новенький Seasonic G-450, а по отчёту UPS'а вся система жрёт 110 ватт под нагрузкой.

lexa - 13/Янв/2017 16:39

>> AOC-S3008L-L8e

Э, китайские HBA уже не торт?

blacklion - 13/Янв/2017 16:42

А смысл, если этот на авито за 5 тысяч рублей отдают? И ждать не надо, как с Али, месяц. И если что не работает можно права качать хоть как-то.

За его полные чуть не $250 я бы его не брал, конечно.

А какие китайские советуешь? Ну, если этого не достанется :)

lexa - 13/Янв/2017 16:46

LSI 2008 работают ок (IBM M1015 и подобные).

blacklion - 13/Янв/2017 16:48

Ну, на Али по LSI 2008 ищется от ~$66, скорее $80-$100. В целом, если я смогу взять 3008 за 4999р, как оно сейчас висит, это примерно тоже самое будет :)

lexa - 13/Янв/2017 17:27

Я в запас купил за $57, не смог удержаться.

blacklion - 14/Янв/2017 23:42

Мне досталось на Авито за 3500р. без кабелей. Там, правда, кабеля не mini-SAS а mini-SAS HD, которые в Росии по 1500р за штуку и по $10 на Али, но всё равно.

marck - 13/Янв/2017 16:41

3008, кстати, рулит отчаянно.

собрал тут на ём surveillance с парой четвертьтерабайтных (на большой поток только metas, разумеется) L2ARC. рвёт просто, не нерадоваюсь.

blacklion - 15/Янв/2017 12:58

Кстати, а какую версию прошивки использовать? А то что-то на форумах пишут, что каждой версии драйвера нужна своя версия прошивки...

lexa - 15/Янв/2017 13:07

Для 2008 нужны "драйвера свежее прошивки".

При этом у меня 20-я прошивка не встала (ее с тех пор правили, но я уже не стал перешивать), встала 16-я и я вполне доволен:

mps0: Firmware: 16.00.00.00, Driver: 21.01.00.00-fbsd

blacklion - 15/Янв/2017 13:14

У меня 3008-ая, там последняя фирмварь для FreeBSD На сайте броадкома P13 вроде, на сайте супермикры — тоже.

blacklion - 15/Янв/2017 13:16

И офигеть, броадком даёт флашер под FreeBSD, не нужно делать флэшку с досом!

lexa - 15/Янв/2017 13:30

Если бы с досом, блин.

mps из доса как-то уже не шьется, флешку теперь надо делать с UEFI.

blacklion - 15/Янв/2017 13:41

У MPR (3008 семейства) вроде лежит и DOS'овская прошивалка и UEFI'шная. И виндовая. И линуксовая. И Фрибсдшная.
Сама супермикра даёт досовскую и уефишную:

3008_FW_PH13.00.00.00.zip

DOS
UEFI
SMC3008IT_FW_Flash_Instruction_041813.docx

lexa - 15/Янв/2017 14:17

C 2008 DOS-овская работает не со всяким BIOS.
У меня нашлась старая материнка (одна), на которой она работала, а потом я разобрался с UEFI и шью теперь так. На более-менее новых материнках DOS-овская не работает.

Правда я делал всякие сложные упражнения со сменой вендора и т.п. может банальная перешивка и ок.

blacklion - 15/Янв/2017 14:19

Я вот пока не понял, у каждой ли UEFI-матери есть UEFI-шелл. Есть ощущение, что нет. Но могу заблуждаться.

lexa - 15/Янв/2017 14:27

Если нет своего шелла - можно ж загрузить с флешки. Я именно так и делал.

blacklion - 15/Янв/2017 13:24

А, это mpr а не mps, драйвер там 13.01

blacklion - 16/Янв/2017 13:32

Да, это таки БП. Но 3008 я всё равно купил :)

lexa - 16/Янв/2017 16:02

Ну вот если бы тогда, давно, лет 5 уже назад, я бы знал, что можно прошить 2008 (наверное и 3008 тоже) без BIOS, то вся опупея с домашним 10G не началась бы наверное.
Я диски из десктопа во внешний ящик выносил т.к. замаялся ждать инициализации SAS-контроллера при перезагрузках.

(это я к тому, что если грузиться с SATA, то 3008 этот конечно надо перешить на безбиосный)

blacklion - 16/Янв/2017 16:05

я вот пока не понял, там есть firmware а есть BIOS и что правильно шить — я изучаю всё ещё, что бы RAID не было, а загрузка с него — была.

lexa - 16/Янв/2017 16:39

чтобы была загрузка - нужен BIOS. фирмварь, понятно, тоже нужна (и без загрузки - нужна), надо же тамошнему процессору что-то делать.
А чтобы RAID не было - нужна IT-mode прошивка.

Короче, мир прошивок LSI-контроллеров неисчерпаем как атом.

blacklion - 16/Янв/2017 16:06

Ну или мне надо купить ещё один SSD. Потому что сейчас у меня системный диск и L2ARC — это один SSD, и, конечнол, хочется его в SATA3 а не SATA2 воткнуть. А материнский SATA — 2.

blacklion - 18/Янв/2017 01:11

Какая-то мистика. Seasonic G-450 -- виснет. Ну ладно, там всего нагрузки ватт 100, но может 5 вольт просаживается. Сраный офисный Inwin на 550W, взятый для проверки, шумит, греется, но не виснет. Только что купленный Thermaltake 850W Москва (который хвалят во всех обзорах но который стоит всё же поменьше сисоника) -- виснет (а у него по всем линиям больше, чем у инвина).
W-T-F?!

blacklion - 15/Янв/2017 12:41

На 10G base не T, потому что в дырку в стенее и кабель-канал только оптика пролезет. Посмотрел ещё раз цены X520 и модулей, которые оно поддерживает (пишут, что Китай они не жрут), и что-то нет. Конечно, есть мелланокс коннектикс2 по цене стомегабитных карт и старые челсио т3, но, боюсь, там начнутся проблемы с драйверами под win10 :)

lexa - 15/Янв/2017 12:46

Со старым мелланоксом проблема с драйверами точно есть. Их как-то нагнули под Win8, насчет 10-ки вовсе не уверен.

blacklion - 15/Янв/2017 12:48

Вот я именно такое подозревал

blacklion - 15/Янв/2017 12:50

Хм. Пишут, что так себе работает out of the box, и есть драйвера с которыми 10G

https://forums.servethehome.com/index.php?threads/mellanox-connectx-2-en...

lexa - 15/Янв/2017 12:56

Там этих мелланоксов старых - как грязи.

Те которые converged (IB-10/40G ether) - для них вроде с драйверами ок. Те которые чистый infiniband - у тех поддержка вендором кончилась, а OpenFabrics тоже вот похоже что кончился.

blacklion - 15/Янв/2017 12:57

Ну, мне оптика нужна а это, как я понимаю, автоматически означает езернет, не IB?

lexa - 15/Янв/2017 13:08

Я не вдавался, у меня был CX4.

Вообще, Infiniband на FreeBSD - это боль. То есть надо брать таки то, что умеет ethernet (ну и убеждаться, что там и драйвера это умеют с обоих сторон).

blacklion - 15/Янв/2017 13:10

Ну вот SFP+ кажется есть только на конвёрджет

lexa - 15/Янв/2017 13:18

Вопрос драйверов следует тщательно изучить до (хотя, конечно, цены на Connectix 2 - радуют)

lexa - 15/Янв/2017 12:58

Вот впрочем совет выглядит разумно:

Click "Archived Versions" and install the 4.95 Win8.1 version.