Свежие комментарии

Title Comment
Что такое bp embedded?

feature@embedded_data
https://www.freebsd.org/cgi/man.cgi?query=zpool-features&sektion=7&n=1

Что такое bp embedded?

Что такое bp embedded?

Можно подробностей?

Я бы сказал недосмотр при формировании статистики. Давненько это было, наверно при переходе с 10 на 11. Тоже тогда заметил, что ухудшился хитрейт. Помню простые тесты говорили, что статистика врёт. Полез смотреть :-). Создатель bp embedded хотел видимо сделать всё "элегантно" и оставить путь прохождения запроса почти без изменений. В начале arc_read сразу проверить на bp embedded и если да, то с минимальными изменениями проскочить логику arc-а, сформировать zio и уже в дальнейшем извлечь из bp данные, заодно не париться с обратным ходом данных. Но недосмотрел или не проверял как поведёт себя статистика, а в этой ветке ставится прохах (формирование zio это уже обращение к диску). В принципе ничего страшного, а я не любитель вживую общаться по техническим вопросам на английском :-). К тому же потом видел (по моему на freebsd-fs), что тоже были недовольные статистикой и кто-то в комментариях так же видел лажу с bp embeded.

Я оставлю на недельку(другую)

Я оставлю на недельку(другую), посмотрю что там с ARC.
У меня на этом сервере
а) чистый файлер, причем записей заметно больше, чем чтений (потому что бэкапы, в районе терабайта в неделю).
б) чуть-чуть rsync с удаленных серверов (тоже бэкапы)
Торренты тоже, но это utorrent на моей виндовой машине, а файлы - на этом файлере. И чуть-чуть, я раздаю только когда сам что-то качаю, а качаю я очень мало.

Пока писал - ARC подрос до 40G, т.е. вот тенденции к его угасанию. я не вижу.

А PR на это есть? Это же тоже

А PR на это есть? Это же тоже очень серьёзный баг.

Можно подробностей?

У нас, очевидно, очень разный

У нас, очевидно, очень разный паттерн доступа и ожидать одинакового поведения кешей было бы странною

Я сравниваю то, что вижу сейчас с тем, что было в 11.0, и то, что сейчас, выглядит гораздо хуже. Могу коротко описать в одном сообщении:

Загрузка → Наращивание ARC до всей свободной памяти, раздел Wired опережает ARC на 0.5-1G → Wired больше никогда не меняется (так и остаётся в 90% памяти) а ARC сдувается по ~ 1GB/день до 5-7GB и стабилизируется в таком виде.

Это при 32GB памяти.

В результате через две недели после загрузки под постоянной и одинаковой нагрузкой (торренты) — свободной памяти ноль (это само по себе ничем не плохо), но кэш — 5-7GB а остальная память занята неизвестно чем.

Хитрейт упал пропорциолнально

Вспомнил, я ж его себе фиксил и вывел для контроля счётчик bpe. Установил zfs-stats.
ARC Efficiency: 94.87m
Cache Hit Ratio: 97.69% 92.67m
Cache Miss Ratio: 2.31% 2.20m
Actual Hit Ratio: 97.62% 92.61m
Смотрим count_bpe: 7486974. Получается 92.67 - 7.45 = 85,22 или 89,82%. Обманывает не много не мало на 7,87%.

Подросло до 39.

Подросло до 39.

Продолжаем наблюдения....

UPD: но да, ARC 5.2, Free: 37

UPD: но да, ARC 5.2, Free: 37, т.е. если никто память жрать не будет, то ARC подрастет до своих 42..... Верифицирую ка я бэкапчик например.

У меня оно как-то не так

У меня оно как-то не так работает:
за ночь ARC сдулся до 39G, Wired - 45 (было вчера, после всяких экспериментов с тем что попадает в ARC: 42/45)
Т.е. дельта стала 6Gb.
Аллоцировал с юзерленда 40Gb. Результат ARC: 5.2G, Wired: 10G (чуть меньше). Дельта - соотв. 5G,

Т.е. аллокация + освобождение - не работает так как ты пишешь.

FreeBSD у меня свежая stable, пересобрал уж до кучи: FreeBSD 12.0-STABLE r347380 GENERIC

Продолжаю наблюдение. В принципе, исходя из паттернов использования, насильный evict из ARC (подозреваю что частично - в L2) - это не самый плохой в моем случае вариант, т.к. всякий там утренний бэкап - он будет новый (а всякие MFU-файлы c которыми часто работаю, я планирую что в L2 уедут).

Мне не удалось найти

Мне не удалось найти вменяемого API.

Оно вероятно таки есть (потому что autohotkey умеет), но я не понимаю с какой стороны подходить к снаряду.

неужели никакого там API нет

неужели никакого там API нет чтобы существующее окошко наверх послать ?

Ну вот я не выдержал,

Ну вот я не выдержал, заалоцировал в юзерлендле 20 гигабайт (ARC ужался до 7 гигов, Wired стал 7.5 гигов) и подождал после этого буквально час и вот результат

Mem: 33M Active, 185M Inact, 55M Laundry, 30G Wired, 1200M Free
ARC: 26G Total, 3008M MFU, 21G MRU, 2511K Anon, 39M Header, 1299M Other
23G Compressed, 24G Uncompressed, 1.03:1 Ratio

Но скоро опять начнёт ARC сдуваться. И как так жить?!

Не знаю как поправить.

Не знаю как поправить.

А вот у меня например в FRV

А вот у меня например в FRV стоит в том числе след. запуск external editor'а = "C:\Program Files\Phase One\Capture One 12\CaptureOne.exe" и окно ейное (процесс при этом уже запущен уже и живет себе в своем окне) наверх не вылазит... как бы поправить ситуацию ибо надоело уже все время ALT-TAB туда ?

У меня, по всей видимости, не столько метаданных

Если бы всё как из коробки, то ratio был бы до 1.2. Это после перераспределения в арке лимитов для meta и data и изменения порядка вытеснения из арка (из коробки недоступно). Можно сказать это субъективное видение настройки арка для самба сервера, а мои попытки просто наращивать объём доступной памяти при дефолтовых настройках имели слабый эффект.

ZFS, оно же родное только на Солярке.

Даже для БСД оно - падчерица. А для Линукса и вообще двоюродная!

БСД у меня вообще не прижилось (хотя zfs была основным поводом).
Линукс кое где прижился, но ZoL рассматривался уже как неочевидная опция.

Несколько раз пытался себя заставить, но чувство самосохранения всегда побеждало (не в пример жабе).
И вот читаю я это сегодня, и чувство самосохранения удовлетворённо кивает.

ИМХО, надо было давным давно написать почти с нуля нативный аналог.

Это было мнение "домохозяйки"

Хитрейт упал пропорциолнально

Если имеется ввиду хитрейт при включенной компрессии, то он нещадно врал, так как считал все запросы BP embedded к арку как промах. Перестал смотреть, поэтому не знаю поправили ли.

Да меня всё эта ситуация

Да меня всё эта ситуация очень печалит, да :-(

facepalm.jpg

facepalm.jpg

Ну, гм, ZFS который мы знали

Ну, гм, ZFS который мы знали - тоже, как мы видим, не очень.
А в ZOL есть хотя бы живые люди.

Там Слава написал мой E-mail, если вдруг кому интересно из там - напишут.

"ARC <= 1/2 Wired"

У ZoL по умолчанию в отличии от FreeBSD arc_max устанавливается в 1/2 от доступной памяти :-).

Ну блин

Ну блин
1) Я не могу открыть issue на ZOL - потому что у меня FreeBSD
2) Я, на самом деле, не на 100% уверен что меня спасло отключение компрессии - поскольку я же перезагрузился, т.е. может быть там какое еще issue.
Это будет понятно через месяц.

Да, arc_max дефолтовый. Но я

Да, arc_max дефолтовый. Но я хочу сказать, что с началом вот этих проблем "ARC <= 1/2 Wired" война за память у меня кончилась. Лучше бы была война за память, честное слово.

Если ты не следишь — из-за

Если ты не следишь — из-за фактической стагнации Illumos / OpenZFS FreeBSD собирается сделать апстримом своего кода ZFS именно ZFSonLinux. И если не поднимать шум сейчас, а просто молча включать опцию и успокаиваться, то через пол-года опции просто не будет.

Так что воевать с пионерами из ZoL надо сейчас. Или попрощаться с ZFS как мы его знали :-(

Аптайм всего 10 дней после

Аптайм всего 10 дней после переезда на 12, поэтому мне нечего пока про что-то говорить. Посмотрим. arc_max если не задан при инициализации устанавливался на гигабайт меньше доступной памяти. С такой установкой в период пиковых нагрузок стали возникать проблемы, поэтому пришлось явно уменьшать. Заодно не стало постоянной войны за память.

https://github.com/zfsonlinux

https://github.com/zfsonlinux/zfs/issues/7896#issuecomment-491408300

Гм, а "люди жаждут

Гм, а "люди жаждут подробностей" - где-то в фоне, я на гитхабе этого не вижу?

У тебя дофига подробностей —

У тебя дофига подробностей — какой процессор, сколько дисков и какие, сколько памяти, какой софт и какой объём данных как обрабатывает (хотя бы примерный паттерн доступа).

Т.е. вообще-то ты можешь назвать достаточно подробностей, что бы люди могли собрать стенд и попытаться повторить, если у них на то будет желание.

У меня нет подробностей.

У меня нет подробностей. Отключил (с перезагрузкой) - деградация чтения исчезла.

Но, возможно, она потом появится, через месяц-другой.

Pages

Subscribe to comments_recent_new