Свежие комментарии
Title | Comment |
---|---|
Ну блин |
Ну блин |
Да, arc_max дефолтовый. Но я |
Да, arc_max дефолтовый. Но я хочу сказать, что с началом вот этих проблем "ARC <= 1/2 Wired" война за память у меня кончилась. Лучше бы была война за память, честное слово. |
Если ты не следишь — из-за |
Если ты не следишь — из-за фактической стагнации Illumos / OpenZFS FreeBSD собирается сделать апстримом своего кода ZFS именно ZFSonLinux. И если не поднимать шум сейчас, а просто молча включать опцию и успокаиваться, то через пол-года опции просто не будет. Так что воевать с пионерами из ZoL надо сейчас. Или попрощаться с ZFS как мы его знали :-( |
Аптайм всего 10 дней после |
Аптайм всего 10 дней после переезда на 12, поэтому мне нечего пока про что-то говорить. Посмотрим. arc_max если не задан при инициализации устанавливался на гигабайт меньше доступной памяти. С такой установкой в период пиковых нагрузок стали возникать проблемы, поэтому пришлось явно уменьшать. Заодно не стало постоянной войны за память. |
https://github.com/zfsonlinux |
https://github.com/zfsonlinux/zfs/issues/7896#issuecomment-491408300 |
Гм, а "люди жаждут |
Гм, а "люди жаждут подробностей" - где-то в фоне, я на гитхабе этого не вижу? |
У тебя дофига подробностей — |
У тебя дофига подробностей — какой процессор, сколько дисков и какие, сколько памяти, какой софт и какой объём данных как обрабатывает (хотя бы примерный паттерн доступа). Т.е. вообще-то ты можешь назвать достаточно подробностей, что бы люди могли собрать стенд и попытаться повторить, если у них на то будет желание. |
У меня нет подробностей. |
У меня нет подробностей. Отключил (с перезагрузкой) - деградация чтения исчезла. Но, возможно, она потом появится, через месяц-другой. |
Вот тут собираются отключить |
Вот тут собираются отключить отключение сжатия, есть ссылки на этот твой пост, но люди жаждут подробностей, можешь прийти туда и дать им подробности? |
У меня нет arc_max, основная |
У меня нет arc_max, основная роль — раздача 3 терабайт торрентов. Памяти 32, после 88 дней аптайма вот такая картина, как я привёл. И, повторю в третий раз, я такой не уникальный. |
обрати внимание на разницу WIRED и ARC |
Тоже обращал внимание, что ARC перестал дорастать до vfs.zfs.arc_max, если тот близок к объёму всей памяти. В 11.1 уже не дорастал. Для vfs.zfs.arc_max=13GB: |
Ну, у меня это месяцами |
Ну, у меня это месяцами раздаёт торренты. И «сдуваться» моё — это масштабы недель, а не часов. |
Чтобы не начиналось сначала - |
Чтобы не начиналось сначала - делать раз в час? Буду поглядывать, экспериментировать с этим черным ящиком маленько влом. |
Есть идиотское решение — |
Есть идиотское решение — запустить в юзерленде программу, которая зааллоцирует и потрогает (раз в размер страницы) столько гигов, сколько разница между wired и arc. Тут система проснётся, почистит свои кеши аллокаторов, что бы отадть память юзерленду, а как программа выйдет — увидит что у неё куча свободной памяти и arc снова вырастет. Но потом всё начнётся сначала. |
Я поставил arc_max = 42G, |
Я поставил arc_max = 42G, посмотрим что будет через месяцок. Вообще, выбор между 11.0 и 12.0 будет тяжелым, поскольку в 12 сеть действительно быстрее (а при реальных нагрузках кроме backup - я типично читаю из L2ARC, который вроде не съежопливается). |
У меня памяти 32, ARC |
У меня памяти 32, ARC анлимитед. И паттерн один: после загрузки он разрастается до примерно 28, wired при этом 29. А потом wired Навсегда остаётся 29, а ARC начинает сдуваться и сдувается до 12 а иногда и 9. Потому что память, которую он возвращает (когда эвиктит ненужное) оседает где-то в структурах аллокаторов и не аллоцируется снова, а ARC'у говорят, что память кончается и он себя поджимает. И, повторю, это не только у меня проблема — примерно раз в месяц в списки рассылки приходит очередной страдалец, и возникает хор Me Too, но ноль реакции от тех, кто понимает в потрохах ZFS. Это длится уже больше года. Плюс я давал ссылку на прямой, подтверждённый, но непофикшенный баг в базовой логике ARC, который есть не только у нас, а и в апстриме тоже. Есть некрасивый, костыльный, фикс, но его не коммитят молча без объяснения причин. ГРРРРРРРРР. |
Добавлю наверное до 42, из |
Добавлю наверное до 42, из интересу. |
Что значит впустую? |
Что значит впустую? У меня всего памяти 48, ARC-y разрешено 35, он их и берет |
Ну вот после compressed и ABD |
Ну вот после compressed и ABD, обрати внимание на разницу WIRED и ARC: Mem: 73M Active, 1752M Inact, 20M Laundry, 29G Wired, 271M Free Раньше такого не было, Wired был на пол-гига больше ARC'а (точнее — наоборот, ARC был на пол-гига меньше Wired). А теперь память уходит впустую, после изменений менеджмента ARC'а. В списках рассылки раз в месяц кто-нибудь жалуется, но пара человек, которые могли бы начать разбираться, просто отмалчиваются. |
Хитрейт упал пропорциолнально |
Хитрейт упал пропорциолнально. У меня у этого сервера 16 гигов было во времена 11.0, и хитрейт был больше, чем сейчас, когда гигов 32, но 11.2-STABLE. Нагрузка не изменилась ничуть. Добавил 16 гигов памяти, блин, что бы оно не в ARC шло а просто в кэши самих аллокаторов. |
И, в общем, мне проще памяти |
И, в общем, мне проще памяти добить с 48 до 64, но сжатия этого - глаза бы не видели. |
У меня, по всей видимости, не |
У меня, по всей видимости, не столько метаданных. |
В 11.1 такого не было |
Глянул в arc.c в 11.1 - точно было включено по умолчанию. Буквально на празники переходил с 11.1 на 12.0. Перед переходом всё не спеша проверял, смотрел что изменилось и всё равно через день работы нарвался на проблему. Пришлось аврально искать решение :-). |
Ну вот деградация верификации |
Ну вот деградация верификации бэкапов - это новость 12.0 |
включили в 12-й вроде бы? |
Не уверен, но мне кажется в 11.1. |
А у меня ratio в районе 1.1:1 |
На данном конкретном сервере данные тоже жмутся в зависимости от пользователя где-то от 1.1 до 1.5. Зато метаданные в 25 раз - вот и результат :-). |
Ну да, но по-умолчанию |
Ну да, но по-умолчанию включили в 12-й вроде бы? |
А у меня ratio в районе 1.1:1 |
А у меня ratio в районе 1.1:1 т.е. смысла нету никакого, а горя много (как показалось) |
Эта компрессия — вообще одна диверсия |
Помню ждал когда же она появится :-). В принципе доволен. Пришлось правда чуток подкрутить. С реального рабочего сервера: |
FreeBSD 12 |
vfs.zfs.compressed_arc_enabled вроде появился где-то года два с лишним назад. И да везёт тебе с George Wilson-ом :-). |