О выравнивании

lexa - 05/Июл/2011 11:54

Подниму, пожалуй, из комментариев тему о выравнивании разделов на флэшках.

Имею сказать:

  • Взял в одну руку три флэшки, медленные и быстрые: Transcend 120x (8Gb), Transcend 300x UDMA (16Gb), Sandisk Extreme 60Mb/s UDMA (16Gb). Все три - compact flash, скорость на SD меня пока мало волнует.
  • Во вторую руку взял камеру (5D MkII) и читалку карточек памяти. Читалка несовременная, какая-то левая, USB2.
  • В третью руку ногу взял Paragon Alignment Tool 3.0, а в еще одну руку ногу - Crystal Disk Mark 3.
  • И все это совокупил, благо на эксперимент надо ну минут 10.
Получается
  1. Все разделы на флэшках оказались, по мнению Парагоновской тулзы, выровнены неправильно. Поправил ей же, на пустых разделах это быстро.
  2. После форматирования (правильно выровненой) флэшки в камере - раздел опять не выровнен.
  3. Дальше стал мерять скорости на выровненых/не выровненых разделах и
    1. Значимой разницы по Crystal Disk Mark (только по линейному чтению/записи, остальное вообще не парит) не увидел. Ну на самой медленной карточке где-то может быть процентов 5 есть (чтение было 18, стало 19Mb/sec). Вероятно, читалка карточек уперта в USB2 и 30Mb/sec - предел, но и для Сандиска, который по чтению показал 25Mb/sec ускорения от выравнивания нет.
    2. Значимой разницы с точки зрения камеры нет. Я снимал серию из 35 кадров: AF выключен, выдержка 1/500, объектив закрыт крышкой, мерялось время от нажатия кнопки до погасания лампочки записи. Если что-то и есть, то оно ниже точности измерений.

Остается возможность, что Парагоновская тулза делает не то. Эксперименты с линуксной тулзой как предлагается тут тоже будут проведены, только вот не прямо сейчас.

Мало снимаю сериями и никогда это место не мерял, а тут призадумался: на карточку 120x 35 кадров снимаются 58 секунд, а на 300x - 19 секунд. Удивительно, но ускорение даже больше, чем по рейту карточек (58/19=3, 300/120=2.5).

Comments

todofoto (not verified) - 05/Июл/2011 12:28

Очень интересно, поскольку я как раз наоборот всегда снимаю сериями 5-7 кадров(для последующей сборки в Photoacute), благо аппарат, в отличие от Кэнона нормальный и позволяет скоростную съёмку, а теперь и камера появилась, которая тоже снимает на CF.
Причем замечаю переполнение буфера из-за высокого потока, честно говоря вообще не понимаю как она снимает на обычные 133х Transcend

lexa - 05/Июл/2011 12:42

Для других камер и результат может быть другой, надо самому мерять.

5-7 кадров вообще не проблема, буфер на 15.

todofoto (not verified) - 05/Июл/2011 12:45

Ну да серия короткая, но поскольку перерыв между сериями меньше секунды, то буфер переполняется, приходится ждать пока запишется. Допустим снимаю панораму из 10 кадров сериями по 7 итого 70 кадров при скорости 11 к/сек

vasiliy (not verified) - 05/Июл/2011 12:44

1) На самом деле, форматирование в камере не меняет выравнивание раздела, а только зануляет FAT-таблицу. Проверить легко - если скормить камере карту без раздела, то она может ею "подавиться"
2) по линейному чтению оценивать некорректно, т.к. при правильном кэшировании контроллера разницы не будет вовсе или ее трудно заметить
3) по линейной записи - тоже не очень показательно, намного полезнее RandomWrite в данном случае, и то, все это еще сильно зависит от размера блока. (хотя нормальные фотоаппараты пишут буферизовано, моя мыльница WB2000 почему-то пишет мелкими блоками без кэширования)
4) 18-19 -- нормальный потолок для обычного USB2.0 картридера, 30-32 на USB2.0 можно получить только с некоторыми моделями ридеров полноценно поддерживающих UDMA.
5) Еще можно оценить, сколько в Мб весят эти кадры и получить фактическую скорость записи камерой на карту.
6) Вот тут (http://www.robgalbraith.com/bins/camera_multi_page.asp?cid=6007-9784&sor...) уже проведены замеры скорости записи камерой на различные карты, откуда, например, можно сделать вывод, что для 5Dmk2 карты быстрее 32Мб/сек на запись (т.е. ~233x) уже не требуются.
7) Например, для 7D размер RAW около 26Мб, тут (http://www.dpreview.com/reviews/canoneos7d/page13.asp) намерили, что за 14.3 секунды записывается 24 кадра, т.е. скорость записи уже около 45Мб/сек и овчинка выделки стоит.
8) Аналогично, для 5Dmk2, за 12 секунд 17 кадров по 21.5Мб, т.е. около 30.5Мб/сек (совпадает с пп. 6)

lexa - 05/Июл/2011 12:56

По пунктам в вашей нумерации:

1) "Выравниваешь" парагоном, форматируешь камерой, суешь обратно в парагон - говорит что невыровнено. В детали не смотрел пока.
2) В реальной жизни кроме линейного чтения-записи (20-35Mb на кадр - линейная уже, почти секунда) на этих карточках ничего и не бывает. Random access вообще не парит.
4) Ну вот я вижу ~30 на чтение, 20 на запись. Читалка трансценд, покупалась по принципу "давайте самую маленькую").

6-8) 35 темновых кадров (20Mb) за 19 секунд - это 38Mb/sec.

Я, собственно, пытался оценить, получу ли я значимое ускорение при штатном режиме эксплуатации флэшек и моей камере
* съемка одиночными кадрами - очевидно не получу ибо буфер.
* съемка сериями - пока разницы не вижу
* чтение с карты в компьютер - сколько-то заметной разницы не вижу.

Для других камер выводы могут быть другими.

Возможно, парагоновская тулза кривая и эту тему, но уже не на трех карточках, а на одной - я изучу еще.

vasiliy (not verified) - 05/Июл/2011 13:16

Собственно, с выводами по пунктам * в данном случае полностью согласен.
Причем даже по ресурсу выигрыша особо не будет, т.к. дважды перезаписываются только крайние блоки файла, а их немного.
Хотя в пп. * и ** выигрыш будет для камер, которые может и пишут линейно, но маленькими блоками без кэширования (хотя это откровенная халтура разработчиков прошивок и за это надо наказывать, имхо, однако мне такой компакт и попался).

Какие-то копейки тут можно снять с камеры, если в нее зарядить б/у карточку, на которой много кадров было снято, потом часть стерта, потом опять подснято и т.п.... т.е. сильно фрагментированную. Но так редко кто эксплуатирует и случай явно вырожденный.

По пп. 6-8 приятно увидеть, что получены более высокие результаты - это значит, что смысл в более быстрых картах все же есть. А те тесты, что я привел, датируются 2008м годом, и, похоже на то, что уже устарели в этой части.

PS: я карточку на 64Гб еще как очень быструю флэшку использую и для мелких файлов вопрос выравнивания (и ресурса) для меня актуален, т.к. предыдущую карточку на Transcend 16Gb 133х я успешно "убил" записью мелких файлов.

lexa - 05/Июл/2011 13:41

Я "как флэшки" использую старые карты, 2-4Gb, убью - и хрен с ними :)

neuda4nik (not verified) - 05/Июл/2011 18:28

а почему РАВ с 7 больше РАВа с 5?
семёрка РАВ не жмёт что ли?

lexa - 05/Июл/2011 18:40

А почему больше? У меня в попавшейся под руку выборке с 5D самый большой файл - 37M, что больше указанных 26M

А мои 20 - это темновой кадр, с крышечкой, он вообще до нуля должен жаться :)

neuda4nik (not verified) - 05/Июл/2011 18:44

ну автор так пишет
я удивляюсь и поэтому его спрашиваю
откуда он это взял

при прочих равных
кадр с 21М камеры должен быть больше чем с 17М

lexa - 05/Июл/2011 18:52

Автор пишет, что у семерки скорость записи больше, а не кадр.

vasiliy (not verified) - 05/Июл/2011 22:06

В кадрах бывает разная детализация -- это сильно влияет на сжатие, и динамический диапазон. Например, RAW свечи в темной комнате около 8Мб, а фотография человека в светлой комнате на ISO3200 уже 30Мб.

vasiliy (not verified) - 05/Июл/2011 21:59

Я для примера взял папку с парой тысяч фоток и взвесил. А так и под 35 бывают.

neuda4nik (not verified) - 06/Июл/2011 04:24

так надо было средневзвесить с обоих камер
кстати по ссылке цифры совсем другие

Burst of RAW images
Timing
32 GB GB SanDisk
Frame rate 8.0 fps
Number of frames 24
Buffer full rate 4.9*1
Write complete 9.4 sec

lexa - 06/Июл/2011 11:39

У меня средневзвешенные с пятака - 27.5М, но надо учесть что ISO отличное 200 я ставлю черезвычайно редко т.е. мое среднее будет заниженным.

vasiliy (not verified) - 06/Июл/2011 11:56

Ну 5D я не занимался, а для 7D средний размер и взят, см. комментарий выше.
Тут да, чуток промахнулся но в правильную сторону ;) Если брать (24*26)/(24/8+9.4), то выйдет аж 50.3Мб/сек. Размер кадра в Мб можно подставить свой.