Свежие комментарии

Title Comment
(я понимаю, ты получил это от

(я понимаю, ты получил это от гитхаба, но для протокола)

issue похоже repeatable: просто при повторном пере-чтении 32GB файлов (влезают в ARC) - я вижу ~460MB/sec. А не пару гигабайт, как ожидал бы.

Надо заводить freebsd issue. Ну то есть я завтра обновлюсь до 12-stable свежей и повторю еще раз-другой.

Ну, гм.

Ну, гм.

Я, надо сказать, разнеся файлер и "остальной сервер" - всерьез подумываю а не посмотреть ли на Windows Server в качестве файлера.

Когда изведу дома совсем старые макоси (которые не умеют тайм машину на SMB) - задумаюсь еще серьезнее.

Спасибо в любом случае!

Спасибо в любом случае!

Make ZFS on FreeBSD great again!

Блин. Ну я же сам -

Блин. Ну я же сам - разработчик и понимаю как писать issue.

issue должна быть repeatable. А пока я имею "у меня тут в подполе застучало, я сделал вот так, продолжаю наблюдения".

https://github.com/zfsonlinux/zfs/issues/7896#issuecomment-491919238

Если оно повторится (с выключенной компрессией) - одна история. Не повторится - другая.

Давай заведём issue во

Давай заведём issue во FreeBSD (в багзилле) и просто я дам ссылку там на него.
Это будет может даже правильней.

И, главное, дам ссылку Алану Джуду, который один из рулителей и идеологов OpenZFS и при этом во FreeBSD, а не где-то ещё.

Ну хорошо, у тебя нет проблем

Ну хорошо, у тебя нет проблем с ZoL, но у тебя есть явно паталогичский случай с FreeBSD ZFS, который достоин что бы быть багрепортом. Давай заведём багрепорт во FreeBSD'шной багзилле.

(и зачем я в эту политику ввязался, вечно хочешь как лучша, а....)

Ну, ок. Ну то есть я не вижу

Ну, ок. Ну то есть я не вижу как бы я мог создать issue на то, чем не пользуюсь. Но я уж как минимум напишу что это не вполне low end CPU

Будет общая code base для

Будет общая code base для всех систем. И она живёт вот в этом репозитории, который исторически называется ZoL.

Раньше такая общая codebase жила в Illumos'е, но теперь — здесь.

Для Linux, для BSD, для MacOS X, для Windows (да, для Windows) — для всех.

Это больше не ZoL, это

Это больше не ZoL, это OpenZFS теперь, и он будет в FreeBSD через пол-года. А тогда будет поздно.

Я правда не понимаю, в чём проблема.

Ну и я не буду. Потому что у

Ну и я не буду. Потому что у меня нет issue ZoL

В переписке про compressed

В переписке про compressed arc, от Алана Джуда, который как раз может иметь большой вес в решении таких вопросов:

> I am not sure we want to maintain that extra code complexity just to
> support people running ZFS on Atom CPUs. If you actually have such a use
> case, please provide the details, but if your only reference to such a
> use case is one single paragraph post in russian on a random blog, it
> won't have as much weight, since it lacks all of the detail required to
> actually determine what the bottleneck is.

Как я и говорил — нужны точные подробности. Видимо, сами они тебе писать не будут (и я могу их понять, если честно).

Я пользы как фотограф не вижу

Я пользы как фотограф не вижу ;)
А как "разработчик" - не сильно люблю говорить "это экспериментальная фича" в ответ на вопрос, почему Nikon View показывает одно, а FastRawViewer - другое.
Никакой помощи от пользователей в этом месте не будет, тут надо формат знать - примеры, "где не работает", пойдут тоннами, пользы от них мало. Реальная помощь "от пользователей" - написать модуль к LibRaw и сопровождать его хотя бы лет 10. Я вот лично на такое не рассчитываю.
Я просто объясняю свою позицию, ни в коем случае не стремясь поддеть или обидеть.

Илья, мне кажется всегда

Илья, мне кажется всегда можно расписать функцию как "экспериментальную", но дать возможность ей пользоваться там, где это возможно. программы тоже не пишутся без багов, тем не менее они правятся и бывает правятся по отзывам самих пользователей.

по поводу полезности информации: возможно вы как разработчик не видите пользы от этого, но мне было бы интересно увидеть что цветок выпал из "грип" по причине, например фокуса на мдф. как разработчику я могу конечно вам доверять что эта функция потребует у вас N-ого кол-ча человека дней, но готов поспорить с малополезностью "оной". может есть где голосовалка за "хотелки от народа"?

тем не менее, за продукт - спасибо

большое спасибо за надежду.

большое спасибо за надежду. будем ждать :)

А давайте проверим! Лёгкий же

А давайте проверим! Лёгкий же эксперимент. Вот сейчас:

Mem: 30M Active, 380M Inact, 64M Laundry, 30G Wired, 445M Free
ARC: 13G Total, 4305M MFU, 7933M MRU, 2180K Anon, 53M Header, 1143M Other
11G Compressed, 12G Uncompressed, 1.06:1 Ratio

Читаем файл на G который не в торрентах:

# dd if=Paris-Roubaix\ 2016\ \[FULL\ RACE]_720.mp4 of=/dev/null bs=128k
92952+1 records in
92952+1 records out
12183471924 bytes transferred in 21.152020 secs (575995657 bytes/sec)
#

Смотрим в top:

Mem: 28M Active, 380M Inact, 67M Laundry, 30G Wired, 441M Free
ARC: 13G Total, 4288M MFU, 7956M MRU, 2108K Anon, 54M Header, 1142M Other
11G Compressed, 12G Uncompressed, 1.05:1 Ratio

читаем ещё раз:

# dd if=Paris-Roubaix\ 2016\ \[FULL\ RACE]_720.mp4 of=/dev/null bs=128k
92952+1 records in
92952+1 records out
12183471924 bytes transferred in 19.810496 secs (615000861 bytes/sec)
#

И снова в top:

Mem: 28M Active, 380M Inact, 66M Laundry, 30G Wired, 441M Free
ARC: 13G Total, 4290M MFU, 7965M MRU, 2784K Anon, 54M Header, 1142M Other
11G Compressed, 12G Uncompressed, 1.05:1 Ratio

Не-а, нифига.

По поводу "здутия" и Вашей

По поводу "здутия" и Вашей статистики мне подумалось, а будет ли увеличиваться arc после сдутия, если прочитать в null/zero какой-то объём гарантированно ранее не читаемый?

Ну, было 98.9% когда-то. В 11

Ну, было 98.9% когда-то. В 11.0 :-)

Всю мою метадату можно прочесть на старте сервера в память

Когда-то я пытался это делать. Хотел проверить идею и узнать какой объем у метадаты на реальном сервере. Сейчас уже точно не помню и могу ошибаться. Где-то у миллиона файлов (каталогов не считал, но много, общий объём был около 4TB) помнится видел 9GB сжатых (сжатие было до 25 раз). Не уверен, что мне удалось тогда прочитать/удержать всю метадату и наверняка в каждом конкретном случае будут свои результаты. Удержание оказалось самой большой проблемой и из коробки её не решить (по крайней мере мне не удалось и пришлось лезть внутрь).
У Вас же очень хорошая статистика (даже если чуть и подвирает) или хотите ещё лучше :-) ?

Всю мою метадату можно

Всю мою метадату можно прочесть на старте сервера в память по хорошему. Там немного по отношению к объёмы самой даты.

К сожалению, данные о точках

К сожалению, данные о точках фокусировки
- различаются от вендора к вендору
- различаются от камеры к камере
- могут, вероятно, меняться с версией firmware
- и не документированы толком.

Поскольку мы заявляем поддержку большого количества камер - нам надо разобраться в этом месте у заметной их части.

Мы работаем над этим, но быстрого результата не ждите.

У Никона есть информация о

У Никона есть информация о том, как интерпретировать соответствующую метадату. У нас есть только догадки. Отсюда возникает неприятная возможность неверной индикации. Неверная индикация, в свою очередь, может привести к реальным проблемам - например, к тому, что человек сочтет, что его камера сфокусировалась не на ту точку из-за какой-то неисправности.

Кроме того, по моему скромному мнению, информация о точке фокусировки малополезна и не стоит затраченного труда. То, что хотелось иметь в резкости - или в ней, или вне нее.

а можно ли добавить точку фокусировки

можно ли показывать (опционально) точку фокусировки для камер где это возможно? например viewnx-i такое делает на никонах.

запускать его все равно

запускать его все равно всегда - ибо CaptureOne.exe должен получить raw из FRV ...

Как мне кажется так универсальнее

@ECHO OFF
Set ProcessName=CaptureOne.exe

TaskList /FI "ImageName EQ %ProcessName%" | Find /I "%ProcessName%">nul

IF %ERRORLEVEL% NEQ 0 (
rem ECHO %ProcessName% is not running
******************************* Запускаем....
)
) else (
rem ECHO %ProcessName% is running
******************************* Активирум...
)
)

снижает время отклика.

увеличивает :-)

IOPSы тоже ж волнуют?

По умолчанию сейчас indirect block pointers 128k. Любой промах в arc-е влечёт за собой обращение к дискам. indirect block pointers по умолчанию имеет по 2-3 разнесённые копии. Если во время чтения будет выбран далекостоящий, то получим ещё и дополнительное перемещение головок. Соотношение запросов 2:1 (довольно малое соотношение, наверно преобладает recordsize=1M, у меня соотношение значительно больше, да и статистика показывает что arc хорошо справляется с данным патерном) всё равно говорит, что желательно чтобы как можно больше метаданных читалось из arc-а (в идеале все :-)). Например для самба сервера, если клиенты имеют на своей стороне много оперативной памяти, то лучше не увлекаться кешированием данных с двух сторон, а больше внимания уделить кешированию метаданных. О которых клиент ничего не знает и дисковое обращение к которым снижает время отклика.

IOPSы тоже ж волнуют?

IOPSы тоже ж волнуют?

На размеры запросов домножьте.

А как это влияет на хитрейт arc-а о котором Вы говорили?

На размеры запросов домножьте

На размеры запросов домножьте.

Меня волнует трансфер с блинов а не штуки, конечно же.

Сколько метаданных у 100 файлов по сравнению с 20 гигабайтами са

Ваш arc получил по данным 2.10b + 24.01m + 95.41m + 120.25m запросов, а по метаданным 4.19b + 14.16m + 76.04m + 2.87m запросов. Получается в два раза больше по метаданным. Так причём здесь размер файлов?

Pages

Subscribe to comments_recent_new