Свежие комментарии

Title	Comment
Сколько метаданных у 100	Сколько метаданных у 100 файлов по сравнению с 20 гигабайтами самих файлов? # zfs-stats -E ------------------------------------------------------------------------ ZFS Subsystem Report Sun May 12 19:27:24 2019 ------------------------------------------------------------------------ ARC Efficiency: 6.62b Cache Hit Ratio: 95.55% 6.33b Cache Miss Ratio: 4.45% 294.58m Actual Hit Ratio: 95.24% 6.31b Data Demand Efficiency: 95.65% 2.19b Data Prefetch Efficiency: 16.64% 144.26m CACHE HITS BY CACHE LIST: Most Recently Used: 16.17% 1.02b Most Frequently Used: 83.50% 5.28b Most Recently Used Ghost: 0.09% 5.71m Most Frequently Used Ghost: 0.32% 20.43m CACHE HITS BY DATA TYPE: Demand Data: 33.13% 2.10b Prefetch Data: 0.38% 24.01m Demand Metadata: 66.27% 4.19b Prefetch Metadata: 0.22% 14.16m CACHE MISSES BY DATA TYPE: Demand Data: 32.39% 95.41m Prefetch Data: 40.82% 120.25m Demand Metadata: 25.81% 76.04m Prefetch Metadata: 0.98% 2.87m ------------------------------------------------------------------------ #
Покажите zfs-stats -E	Покажите zfs-stats -E
где нет файлов меньше 500 мегабайт?	При чём здесь размер файла? На том сервере с которого я показывал статистику тоже нет мелких файлов. Сидят операторы с дизайнерами и ежедневно ворочают приходящие большие файлы для цифровой печати. Сжимаются не файлы, а блоки. zfs это дерево и данные находятся в его листьях (на самом нижнем уровне), а чтобы получить к ним доступ нужно пройти все блоки по пути вниз.
или вот даже универсальнее	или вот даже универсальнее nircmd.exe" win activate process "CaptureOne.exe" nircmd.exe" win max process "CaptureOne.exe" чтобы искало по имени executable
Много ли у меня в кэше	Много ли у меня в кэше метаданных при том, что 95% нагрузки на сервер — 50 активных торрент-раздач, где нет файлов меньше 500 мегабайт? Т.е. 95% ARC'а — это данные условно 30-50 файлов которые сейчас активно раздаются.
А, ну тогда это моей статистики точно не касается	Вам это только кажется ;-). В основном так жмутся только метаданные, а они жмутся всегда и независимо от установок пользователя.
А, ну тогда это моей	А, ну тогда это моей статистики точно не касается, у меня там нет ничего сжимаемого и ничего мелкого.
нагуглил https://www.nirsoft	нагуглил https://www.nirsoft.net/utils/nircmd.html , буду теперь командный фай запускать с nircmd.exe win activate title "Untitled Session" nircmd.exe win max title "Untitled Session" C:\Program Files\Phase One\Capture One 12\CaptureOne.exe %1
Что такое bp embedded?	feature@embedded_data https://www.freebsd.org/cgi/man.cgi?query=zpool-features&sektion=7&n=1
Что такое bp embedded?	Что такое bp embedded?
Можно подробностей?	Я бы сказал недосмотр при формировании статистики. Давненько это было, наверно при переходе с 10 на 11. Тоже тогда заметил, что ухудшился хитрейт. Помню простые тесты говорили, что статистика врёт. Полез смотреть :-). Создатель bp embedded хотел видимо сделать всё "элегантно" и оставить путь прохождения запроса почти без изменений. В начале arc_read сразу проверить на bp embedded и если да, то с минимальными изменениями проскочить логику arc-а, сформировать zio и уже в дальнейшем извлечь из bp данные, заодно не париться с обратным ходом данных. Но недосмотрел или не проверял как поведёт себя статистика, а в этой ветке ставится прохах (формирование zio это уже обращение к диску). В принципе ничего страшного, а я не любитель вживую общаться по техническим вопросам на английском :-). К тому же потом видел (по моему на freebsd-fs), что тоже были недовольные статистикой и кто-то в комментариях так же видел лажу с bp embeded.
Я оставлю на недельку(другую)	Я оставлю на недельку(другую), посмотрю что там с ARC. У меня на этом сервере а) чистый файлер, причем записей заметно больше, чем чтений (потому что бэкапы, в районе терабайта в неделю). б) чуть-чуть rsync с удаленных серверов (тоже бэкапы) Торренты тоже, но это utorrent на моей виндовой машине, а файлы - на этом файлере. И чуть-чуть, я раздаю только когда сам что-то качаю, а качаю я очень мало. Пока писал - ARC подрос до 40G, т.е. вот тенденции к его угасанию. я не вижу.
А PR на это есть? Это же тоже	А PR на это есть? Это же тоже очень серьёзный баг. Можно подробностей?
У нас, очевидно, очень разный	У нас, очевидно, очень разный паттерн доступа и ожидать одинакового поведения кешей было бы странною Я сравниваю то, что вижу сейчас с тем, что было в 11.0, и то, что сейчас, выглядит гораздо хуже. Могу коротко описать в одном сообщении: Загрузка → Наращивание ARC до всей свободной памяти, раздел Wired опережает ARC на 0.5-1G → Wired больше никогда не меняется (так и остаётся в 90% памяти) а ARC сдувается по ~ 1GB/день до 5-7GB и стабилизируется в таком виде. Это при 32GB памяти. В результате через две недели после загрузки под постоянной и одинаковой нагрузкой (торренты) — свободной памяти ноль (это само по себе ничем не плохо), но кэш — 5-7GB а остальная память занята неизвестно чем.
Хитрейт упал пропорциолнально	Вспомнил, я ж его себе фиксил и вывел для контроля счётчик bpe. Установил zfs-stats. ARC Efficiency: 94.87m Cache Hit Ratio: 97.69% 92.67m Cache Miss Ratio: 2.31% 2.20m Actual Hit Ratio: 97.62% 92.61m Смотрим count_bpe: 7486974. Получается 92.67 - 7.45 = 85,22 или 89,82%. Обманывает не много не мало на 7,87%.
Подросло до 39.	Подросло до 39. Продолжаем наблюдения....
UPD: но да, ARC 5.2, Free: 37	UPD: но да, ARC 5.2, Free: 37, т.е. если никто память жрать не будет, то ARC подрастет до своих 42..... Верифицирую ка я бэкапчик например.
У меня оно как-то не так	У меня оно как-то не так работает: за ночь ARC сдулся до 39G, Wired - 45 (было вчера, после всяких экспериментов с тем что попадает в ARC: 42/45) Т.е. дельта стала 6Gb. Аллоцировал с юзерленда 40Gb. Результат ARC: 5.2G, Wired: 10G (чуть меньше). Дельта - соотв. 5G, Т.е. аллокация + освобождение - не работает так как ты пишешь. FreeBSD у меня свежая stable, пересобрал уж до кучи: FreeBSD 12.0-STABLE r347380 GENERIC Продолжаю наблюдение. В принципе, исходя из паттернов использования, насильный evict из ARC (подозреваю что частично - в L2) - это не самый плохой в моем случае вариант, т.к. всякий там утренний бэкап - он будет новый (а всякие MFU-файлы c которыми часто работаю, я планирую что в L2 уедут).
Мне не удалось найти	Мне не удалось найти вменяемого API. Оно вероятно таки есть (потому что autohotkey умеет), но я не понимаю с какой стороны подходить к снаряду.
неужели никакого там API нет	неужели никакого там API нет чтобы существующее окошко наверх послать ?
Ну вот я не выдержал,	Ну вот я не выдержал, заалоцировал в юзерлендле 20 гигабайт (ARC ужался до 7 гигов, Wired стал 7.5 гигов) и подождал после этого буквально час и вот результат Mem: 33M Active, 185M Inact, 55M Laundry, 30G Wired, 1200M Free ARC: 26G Total, 3008M MFU, 21G MRU, 2511K Anon, 39M Header, 1299M Other 23G Compressed, 24G Uncompressed, 1.03:1 Ratio Но скоро опять начнёт ARC сдуваться. И как так жить?!
Не знаю как поправить.	Не знаю как поправить.
А вот у меня например в FRV	А вот у меня например в FRV стоит в том числе след. запуск external editor'а = "C:\Program Files\Phase One\Capture One 12\CaptureOne.exe" и окно ейное (процесс при этом уже запущен уже и живет себе в своем окне) наверх не вылазит... как бы поправить ситуацию ибо надоело уже все время ALT-TAB туда ?
У меня, по всей видимости, не столько метаданных	Если бы всё как из коробки, то ratio был бы до 1.2. Это после перераспределения в арке лимитов для meta и data и изменения порядка вытеснения из арка (из коробки недоступно). Можно сказать это субъективное видение настройки арка для самба сервера, а мои попытки просто наращивать объём доступной памяти при дефолтовых настройках имели слабый эффект.
ZFS, оно же родное только на Солярке.	Даже для БСД оно - падчерица. А для Линукса и вообще двоюродная! БСД у меня вообще не прижилось (хотя zfs была основным поводом). Линукс кое где прижился, но ZoL рассматривался уже как неочевидная опция. Несколько раз пытался себя заставить, но чувство самосохранения всегда побеждало (не в пример жабе). И вот читаю я это сегодня, и чувство самосохранения удовлетворённо кивает. ИМХО, надо было давным давно написать почти с нуля нативный аналог. Это было мнение "домохозяйки"
Хитрейт упал пропорциолнально	Если имеется ввиду хитрейт при включенной компрессии, то он нещадно врал, так как считал все запросы BP embedded к арку как промах. Перестал смотреть, поэтому не знаю поправили ли.
Да меня всё эта ситуация	Да меня всё эта ситуация очень печалит, да :-(
facepalm.jpg	facepalm.jpg
Ну, гм, ZFS который мы знали	Ну, гм, ZFS который мы знали - тоже, как мы видим, не очень. А в ZOL есть хотя бы живые люди. Там Слава написал мой E-mail, если вдруг кому интересно из там - напишут.
"ARC <= 1/2 Wired"	У ZoL по умолчанию в отличии от FreeBSD arc_max устанавливается в 1/2 от доступной памяти :-).

Свежие комментарии

Pages