Свежие комментарии

Title Comment
Ну вот у меня каждый день -

Ну вот у меня каждый день - пара десятков (а бывает и пара сотен) гигабайт бэкапа.
Понятно что это - любой L2ARC убьет насмерть.

То есть отдельные пулы и все вот такое вот....

Я вот тут прикрутил 80Gb

Я вот тут прикрутил 80Gb L2ARC на 5x3Tb raidz1 пул. Ну, купил 120G SSD'шку, поставил систему в начало, а хвост отдал под L2ARC. Hit rate 10%. Т.е. мог и не париться.

А вообще, надо уже перейти на самбу 4.3, да.

моя практика (из top500 ;)

моя практика (из top500 ;) показывает, что с хорошим размером блока влияние почти нивелируется. скажем, дают raw linear writes 100MB/s, а мы получаем 95MB независимо от кол-ва тредов (которые пишут в разные места). уверен, Вы сами можете в этом убедиться, запуская dd of=direct с разным bs=

Ну все так, да.

Ну все так, да.
Но даже с мегабайтным размером записи - разница между локальными редкими (дорожку записали полностью) и частыми (каждый блок на новой дорожке) full-stroke - будет в разы, ели просто вот на пальцах прикинуть.

и снова на помощь приходят

и снова на помощь приходят большие блоки ;) двигать головку чтобы получить 8K - это совсем не то же самое, что получить 1MB ;)
фрагментация сама по себе не проблема. проблема - если она приводит к медленному IO. то есть надо сначала глядеть на IO: размер и задержка. еще лучше - в динамике, сначала пособирать статистику на пустом пуле, потом поглядывать как она меняется..

С метаслабами же такая

С метаслабами же такая история
- если данные локальные, то махание идет на зону, размером порядка 1/200 от диска.
- а если размазаны по всему диску - то и махание шире.
track-to-track всяко *сильно* быстрее, чем average или там full-stroke.

Поэтому локальность - особенно в малопоточном случае (в многоюзерном - не избежать) - важна.

Не, у меня у одного ящика (на

Не, у меня у одного ящика (на котором правда пока тупо RAID6 имени адаптека, буду на ZFS переделывать) - строго сингл-юзер. Потоков - ну два, бэкап и я что-то ковыряю с фоточками.

А у второго - почти строго, туда маки домашние тайм-машинятся (но это слезы, линки медленные, гигабит и wifi), а основной потребитель по 10G - опять я один и "несколько потоков чтения" вообще не бывает.

забыл добавить.. большие

забыл добавить.. большие блоки хорошо помогают в случаях, когда есть несколько потоков чтения. скажем, несколько приложений/клиентов читают с общего пула.

ну было бы странно иное,

ну было бы странно иное, когда : 1) запись кэшируется (т.е. агрегируется) 2) достаточно свободного места.
delphix жалуется на дефрагментацию и указывает, что их workload - случайная запись с recordsize=8k.
очевидно в этом случае приходится много головками махать.

мать-и-матика простая: скажем есть 8 дисков/головок, каждый может "махнуть" 150 раз в секунду.
для recordsize=8k: 8*8*150=9,6MB/s
для recordsize=128k: 8*128*150=150MB/s

Хм, ну вот recordsize 128k-

Хм, ну вот recordsize 128k->1M дало +~10% на записи из dev/zero в файл (50Gb), компрессия выключена.

ну так, из практики ;) я

ну так, из практики ;) я делал нынешний аллокатор на ext4, окно преаллокации можно выбирать.. так вот после 8MB производительность почти не меняется, даже на чтениях последовательных.
если файлы большие, то я бы однозначно не заморачивался с дефрагментацией, а увеличивал recordsize.

Ну как нету. Укладывая файл в

Ну как нету. Укладывая файл в один метаслаб - экономим на длинных seek.

если куски достаточно большие

если куски достаточно большие (несколько мегабайт), то никакого смысла дефрагментировать нет.

имеется в виду фрагментация

имеется в виду фрагментация метаслабов, когда (большой) файл размазывается по нескольким зонам.

http://blog.delphix.com/uday/2013/02/19/zfs-write-performance/

определите "фрагментацию" на

определите "фрагментацию" на zfs для начала?

если файлы в основном большие, то имеет смысл пользовать large blocks (вроде в последних релизах уже есть)

У меня ровно эта история

У меня ровно эта история "печально известные 3Tb -> 4Tb" была в 2014м, я правда на HGST менял, но не суть.

Попробуйте send|recv, должно ж помочь.

К сожалению, способа узнать какой именно dataset наиболее фрагментирован - я не нашел. Особо и не искал, но на поверхности не лежит.

У меня похуже будет

У меня похуже будет
NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT
ZP01 21.8T 14.3T 7.41T - 21% 65% 1.61x ONLINE -

Пул апгрейдился в январе с печально известных 3тб Сигейтов на 4тб WD
Но апгрейдился постепенной заменой дисков, с ресильвером пула.

Да, а я собственно взвился и

Да, а я собственно взвился и задал исходный вопрос потому что принял посла Румынии за посла Болгарии колонку CAP(acity) за колонку FRAG (криво перенеслось в окошке) и принялся В УЖАСЕ читать, что же делать с ТАКОЙ фрагментацией

$ zpool list

$ zpool list

NAME SIZE  ALLOC  FREE  EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT

zdata 21,8T 11,8T 9,96T    -      0%  54% 1.00x ONLINE -

Вот колонка FRAG - это оно

>фрагментация 0%.

>фрагментация 0%.
А как, кстати, это можно посмотреть?

Инструмент нарисован в

Инструмент нарисован в исходном посте, выше.

Но, понятно, самый большой из datasets должен быть (значительно) меньше свободного места.

Upd.

Винда, ДЛЯ БЫСТРОЙ ДЕФРАГМЕНТАЦИИ, требует 30% свободного места на каждом диске. Иначе тормоза!!!
С другими файловыми системами +/-, но когда инструмента СОВСЕМ нет...
Я догадываюсь, что это именно из-за снэпшотов, но.....

Есть нюансы.

1. Фрагментация - всегда проблема.
2. За МКАДом другая жизнь: докупать лишнее дисковое пространство - дорого. Пока не упрусь, докупать ничего не буду.
3. Никогда с чужих SDишек фотки не восстанавливали?!

Ну вот у меня на 22-Tb пуле,

Ну вот у меня на 22-Tb пуле, которому примерно два года (с переезда на текущие 4Tb-диски) - фрагментация 0%.

Заполнен он примерно на 60%. Говорят, фрагментация становится проблемой при заполнении больше 80.

Вдруг сделают...

Без дефрагментации нынче совсем грустно. :-(

А чего ждать?

А чего ждать?

Огромное спасибо!

Я серьёзно думал о переезде на ZFS...
Но если там и с этой, простейшей по сути, фишкой проблемы.... ... я лучше подожду!

Да не, мне присылали колбаску

Да не, мне присылали колбаску в сто штук завернутую в пупырчатую пленку, сыну понравилось. Есть самых разных форм и размеров.

Они, поди, в процессе

Они, поди, в процессе доставки примагнитятся....

А зачем магнитики? На ebay

А зачем магнитики? На ebay неодимовые магниты продаются за копейки.

Pages

Subscribe to comments_recent_new