Свежие комментарии
Title | Comment |
---|---|
Ну вот у меня каждый день - |
Ну вот у меня каждый день - пара десятков (а бывает и пара сотен) гигабайт бэкапа. То есть отдельные пулы и все вот такое вот.... |
Я вот тут прикрутил 80Gb |
Я вот тут прикрутил 80Gb L2ARC на 5x3Tb raidz1 пул. Ну, купил 120G SSD'шку, поставил систему в начало, а хвост отдал под L2ARC. Hit rate 10%. Т.е. мог и не париться. А вообще, надо уже перейти на самбу 4.3, да. |
моя практика (из top500 ;) |
моя практика (из top500 ;) показывает, что с хорошим размером блока влияние почти нивелируется. скажем, дают raw linear writes 100MB/s, а мы получаем 95MB независимо от кол-ва тредов (которые пишут в разные места). уверен, Вы сами можете в этом убедиться, запуская dd of=direct с разным bs= |
Ну все так, да. |
Ну все так, да. |
и снова на помощь приходят |
и снова на помощь приходят большие блоки ;) двигать головку чтобы получить 8K - это совсем не то же самое, что получить 1MB ;) |
С метаслабами же такая |
С метаслабами же такая история Поэтому локальность - особенно в малопоточном случае (в многоюзерном - не избежать) - важна. |
Не, у меня у одного ящика (на |
Не, у меня у одного ящика (на котором правда пока тупо RAID6 имени адаптека, буду на ZFS переделывать) - строго сингл-юзер. Потоков - ну два, бэкап и я что-то ковыряю с фоточками. А у второго - почти строго, туда маки домашние тайм-машинятся (но это слезы, линки медленные, гигабит и wifi), а основной потребитель по 10G - опять я один и "несколько потоков чтения" вообще не бывает. |
забыл добавить.. большие |
забыл добавить.. большие блоки хорошо помогают в случаях, когда есть несколько потоков чтения. скажем, несколько приложений/клиентов читают с общего пула. |
ну было бы странно иное, |
ну было бы странно иное, когда : 1) запись кэшируется (т.е. агрегируется) 2) достаточно свободного места. мать-и-матика простая: скажем есть 8 дисков/головок, каждый может "махнуть" 150 раз в секунду. |
Хм, ну вот recordsize 128k- |
Хм, ну вот recordsize 128k->1M дало +~10% на записи из dev/zero в файл (50Gb), компрессия выключена. |
ну так, из практики ;) я |
ну так, из практики ;) я делал нынешний аллокатор на ext4, окно преаллокации можно выбирать.. так вот после 8MB производительность почти не меняется, даже на чтениях последовательных. |
Ну как нету. Укладывая файл в |
Ну как нету. Укладывая файл в один метаслаб - экономим на длинных seek. |
если куски достаточно большие |
если куски достаточно большие (несколько мегабайт), то никакого смысла дефрагментировать нет. |
имеется в виду фрагментация |
имеется в виду фрагментация метаслабов, когда (большой) файл размазывается по нескольким зонам. http://blog.delphix.com/uday/2013/02/19/zfs-write-performance/ |
определите "фрагментацию" на |
определите "фрагментацию" на zfs для начала? если файлы в основном большие, то имеет смысл пользовать large blocks (вроде в последних релизах уже есть) |
У меня ровно эта история |
У меня ровно эта история "печально известные 3Tb -> 4Tb" была в 2014м, я правда на HGST менял, но не суть. Попробуйте send|recv, должно ж помочь. К сожалению, способа узнать какой именно dataset наиболее фрагментирован - я не нашел. Особо и не искал, но на поверхности не лежит. |
У меня похуже будет |
У меня похуже будет Пул апгрейдился в январе с печально известных 3тб Сигейтов на 4тб WD |
Да, а я собственно взвился и |
Да, а я собственно взвился и задал исходный вопрос потому что принял |
$ zpool list |
$ zpool list NAME SIZE ALLOC FREE EXPANDSZ FRAG CAP DEDUP HEALTH ALTROOT zdata 21,8T 11,8T 9,96T - 0% 54% 1.00x ONLINE - Вот колонка FRAG - это оно |
>фрагментация 0%. |
>фрагментация 0%. |
Инструмент нарисован в |
Инструмент нарисован в исходном посте, выше. Но, понятно, самый большой из datasets должен быть (значительно) меньше свободного места. |
Upd. |
Винда, ДЛЯ БЫСТРОЙ ДЕФРАГМЕНТАЦИИ, требует 30% свободного места на каждом диске. Иначе тормоза!!! |
Есть нюансы. |
1. Фрагментация - всегда проблема. |
Ну вот у меня на 22-Tb пуле, |
Ну вот у меня на 22-Tb пуле, которому примерно два года (с переезда на текущие 4Tb-диски) - фрагментация 0%. Заполнен он примерно на 60%. Говорят, фрагментация становится проблемой при заполнении больше 80. |
Вдруг сделают... |
Без дефрагментации нынче совсем грустно. :-( |
А чего ждать? |
А чего ждать? |
Огромное спасибо! |
Я серьёзно думал о переезде на ZFS... |
Да не, мне присылали колбаску |
Да не, мне присылали колбаску в сто штук завернутую в пупырчатую пленку, сыну понравилось. Есть самых разных форм и размеров. |
Они, поди, в процессе |
Они, поди, в процессе доставки примагнитятся.... |
А зачем магнитики? На ebay |
А зачем магнитики? На ebay неодимовые магниты продаются за копейки. |